Model Card for Kumru-2B-EPDK-dapt

ogulcanakca/epdk_corpus (v2) veri setindeki ham metinler kullanılarak "Next Token Prediction" görevine devam etmiştir.

Önemli Not: Bu bir "sohbet" (SFT) adaptörü değildir. EPDK hakkında soru-cevap (SFT) eğitimi için bir temel olarak kullanılmak üzere ilerlenmiştir.

Model, 4-bit (QLoRA) ile yüklenip üzerine bu DAPT adaptörü eklenerek kullanılmalıdır.

!pip install -q \
    "transformers>=4.41.0" \
    "peft>=0.10.0" \
    "accelerate>=0.30.0" \
    "bitsandbytes>=0.43.0" \
    "trl>=0.8.6" \
    "datasets>=2.19.0"

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

# 1. Base Modeli ve Tokenizer'ı Yükle
base_model_name = "vngrs-ai/Kumru-2B-Base"
adapter_name = "ogulcanakca/Kumru-2B-EPDK-dapt"

# 4-bit QLoRA konfigürasyonu
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

# Base modeli 4-bit olarak yükle
model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    quantization_config=bnb_config,
    device_map="auto",
    dtype=torch.bfloat16
)

tokenizer = AutoTokenizer.from_pretrained(base_model_name)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

# 2. DAPT Adaptörünü Modele Yükle
print(f"'{adapter_name}' DAPT adaptörü yükleniyor...")
model.load_adapter(adapter_name)
print("Adaptör başarıyla yüklendi.")

# Artık model, EPDK terminolojisine hakim.
# Bu model, bir sonraki "EPDK Soru-Cevap SFT" eğitimi için hazırdır.

prompt = "EPDK mevzuatında dengeleme güç piyasası"
inputs = tokenizer(prompt, return_tensors="pt", return_token_type_ids=False).to(model.device)

# Adapter'sız
model_no_adapter = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    quantization_config=bnb_config,
    device_map="auto"
)
out1 = model_no_adapter.generate(
        **inputs,
        max_new_tokens=150,
        temperature=0.7,
        top_p=0.9,
        do_sample=True
    )
out2 = model.generate(
        **inputs,
        max_new_tokens=150,
        temperature=0.7,
        top_p=0.9,
        do_sample=True
    )

print("Base Model:\n", tokenizer.decode(out1[0], skip_special_tokens=True))
print("\nAdaptörlü Model:\n", tokenizer.decode(out2[0], skip_special_tokens=True))

{
  "prompt": "EPDK mevzuatında dengeleme güç piyasası",
  "Base Model": "EPDK, EPDK mevzuatında dengeleme güç piyasasını düzenleyen maddeleri belirledi. Buna göre piyasa katılımcıları dengeleme güç piyasası kapsamında dengeleme faaliyetlerini yürütecek, dengesizlik durumunda ilgili piyasa katılımcısına ceza kesilecek.
Enerji Piyasası Düzenleme Kurumu (EPDK), Elektrik Piyasası Dengeleme ve Uzlaştırma Yönetmeliği'nde değişiklik yapılmasına ilişkin yönetmelik taslağını yayınladı.
EPDK'nın bugünkü Resmi Gazete'de yayınlanan yönetmeliğine göre dengeleme güç piyasasına ilişkin olarak piyasa katılımcısına dengeleme faaliyetleri için ceza kesilmesine ilişkin usul ve esaslar belirlendi.
Buna göre dengeleme güç piyasası kapsamında dengeleme faaliyetlerini yürütmek, dengesizlik durumunda ilgili piyasa katılımcısına ceza kesmek, piyasa katılımcısının dengeleme güç piyasası kapsamında dengeleme faaliyetlerini yürütmesine ilişkin usul ve esas",
  "Adapter'lı Model": "Enerji Piyasası Düzenleme Kurumu (EPDK), elektrik piyasasında, dengeleme ve uzlaştırma piyasası kurulmasına ilişkin usul ve esasları belirledi. Buna göre, piyasa işletim lisansı kapsamındaki yükümlülükler yerine getirilmeden veya piyasa işletimini gerçekleştirmek üzere piyasa katılımcısı olan tüzel kişiler piyasa işletim lisansı başvurularında bulunamayacak.
Enerji Piyasası Düzenleme Kurumunun (EPDK) Elektrik Piyasası Dengeleme ve Uzlaştırma Yönetmeliği'nde Değişiklik Yapılmasına Dair Yönetmeliği, Resmi Gazete'nin bugünkü sayısında yayımlanarak yürürlüğe girdi.
Buna göre, piyasa işletim lisansı kapsamındaki yükümlülükler yerine getirilmeden veya piyasa işletimini gerçekleştirmek üzere piyasa katılımcısı olan tüzel kişiler piyasa işletim lisansı başvurularında bulunamayacak.
Piyasa katılımcısı tüzel kişilerin piyasa katılımcısı tüzel kişilere ilişkin bildirimleri piyasa işletmecisi tarafından değerlendirilecek ve ilgili"

}

Model değerlendirmelerinde, EPDK mevzuatına ait metinlerde perplexity değerinde ortalama %17’lik bir iyileşme elde edilmiştir. Bu, DAPT aşamasının modelin enerji piyasası terminolojisine ve yazım biçimine uyum sağladığını göstermektedir.

---

Eğitim Parametreleri (Kaggle P100)

Ana Yapılandırma (SFTConfig)

• GPU: 1x Tesla P100 (16GB)
• Model: vngrs-ai/Kumru-2B-Base
• Veri Seti: ogulcanakca/epdk_corpus (v2)
• Quantization: 4-bit (NF4)
• Compute Precision: bfloat16 (Kritik)
• max_length (Chunking): 4096 (8K, P100 VRAM'ine sığmadı)
• packing: True (Verimlilik için %0 padding)
• optim: paged_adamw_8bit (Kritik)
• gradient_checkpointing: True (Kritik)
• learning_rate: 1e-5 (LR Tipi: cosine)
• num_train_epochs: 3
• Batch Size:
  • per_device_train_batch_size: 1
  • gradient_accumulation_steps: 16
  • (Effective Batch Size: 16)

LoRA Yapılandırması (LoraConfig)

• r (Rank): 16
• lora_alpha: 32
• lora_dropout: 0.05
• target_modules:
  • q_proj
  • k_proj
  • v_proj
  • o_proj
  • gate_proj
  • up_proj
  • down_proj