llm-course-hw3-PEFT
Collection
Дообучение LLM с помощью методов PEFT
•
3 items
•
Updated
LoRA (Low-Rank Adaptation of Large Language Models) for sentiment analysis task
Описание задания
В этой домашке была дообучена языковая модель Lite-Oute-1-300M-Instruct с помощью LoRA на датасете cardiffnlp/tweet_eval для задачи анализа тональности текстов
Пример генерации
Вопрос
QT @user In the original draft of the 7th book, Remus Lupin survived the Battle of Hogwarts. #HappyBirthdayRemusLupin
Ответ модели
positive
Качество на тестовой выборке
F1 macro: 0.53
Пример запуска
from transformers import AutoModelForCausalLM, AutoTokenizer
REPO_NAME = "MurDanya/llm-course-hw3-lora"
model = AutoModelForCausalLM.from_pretrained(REPO_NAME, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(REPO_NAME)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = "left"
- Downloads last month
- 5
Inference Providers
NEW
This model isn't deployed by any Inference Provider.
🙋
Ask for provider support
Model tree for MurDanya/llm-course-hw3-lora
Base model
OuteAI/Lite-Oute-1-300M-Instruct