Jiyoung1218/kogpt2-chatbot-lora

LoRA 한국어 챗봇

모델 설명

• 한국어 챗봇 대화 데이터셋으로 파인튜닝된 한국어 챗봇 모델입니다.

모델 상세

• 베이스 모델: skt/kogpt2-base-v2
• 파인튜닝 방법: LoRA
• 언어: 한국어

LoRA 설정

• r: 16
• lora_alpha: 32
• lora_dropout: 0.05

학습 설정

• epoch: 10
• 배치 크기:4
• 학습률: 0.0002

학습 결과

• Loss: 0.4730

사용 방법

# 1. 토크나이저 불러오기
tokenizer_reload = AutoTokenizer.from_pretrained(model_name_upload)

# 2. 베이스 모델 불러오기
base_reload = AutoModelForCausalLM.from_pretrained("skt/kogpt2-base-v2")

# 3. 학습할 때와 똑같이 크기 조정
base_reload.resize_token_embeddings(len(tokenizer_reload))
base_reload.config.pad_token_id = tokenizer_reload.pad_token_id

# 4. LoRA 불러오기
model_reload = PeftModel.from_pretrained(base_reload, model_name_upload)

모델 정보

• 제작자: JY
• 제작일: 2025.11.5.