Yegor25/llm-course-hw3-lora

Дообученая модель OuteAI/Lite-Oute-1-300M-Instruct на задаче определения сентимента текста

Для дообучения использовался датасет OuteAI/Lite-Oute-1-300M-Instruct с 3 типами эмоций: положительный, нейтральный и негативный

Для дообучения использовался кастомный LoRA-адаптер с параметрами:

config = {
  r: 32 
  alpha: 16
  target_submodules: ["q_proj", "k_proj", "v_proj"],
  lr: 5e-5,
  batch_size: 2,
  num_epoches: 2
}

Итоговая модель получила значение f-score = 0.52

Примеры генерации:

Текст: Chase Headley's RBI double in the 8th inning off David Price snapped a Yankees streak of 33 consecutive scoreless innings against Blue Jays

Ответ модели: neutral

Текст: QT @user In the original draft of the 7th book, Remus Lupin survived the Battle of Hogwarts. #HappyBirthdayRemusLupin

Ответ модели: positive

Текст: Amazon prime is literally a lie....I ordered a book LAST MONDAY & it still isn't here. do better @user

Ответ модели: negative