llm-course-hw3-PEFT
Collection
Дообучение LLM с помощью методов PEFT
•
3 items
•
Updated
QLoRA (Efficient Finetuning of Quantized LLMs) for sentiment analysis task
Описание задания
В этой домашке была дообучена языковая модель TinyLlama-1.1B-Chat-v1.0 с помощью QLoRA на датасете cardiffnlp/tweet_eval для задачи анализа тональности текстов
Пример генерации
Вопрос
@user Alciato: Bee will invest 150 million in January, another 200 in the Summer and plans to bring Messi by 2017
Ответ модели
positive
Качество на тестовой выборке
F1 macro: 0.34
Пример запуска
from transformers import AutoModelForCausalLM, AutoTokenizer
REPO_NAME = "MurDanya/llm-course-hw3-tinyllama-qlora"
model = AutoModelForCausalLM.from_pretrained(REPO_NAME, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(REPO_NAME)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = "left"
Inference Providers
NEW
This model isn't deployed by any Inference Provider.
🙋
Ask for provider support
Model tree for MurDanya/llm-course-hw3-tinyllama-qlora
Base model
TinyLlama/TinyLlama-1.1B-Chat-v1.0