RayTsai/chinese-llm-mcq-qwen2-5-14b

Chinese Multiple Choice Question Answering Model - Qwen2.5-14B

此模型是基於 Qwen2.5-14B-Instruct-1M 使用 LoRA 方法微調的中文單選題問答模型。

模型描述

• 基礎模型: Qwen/Qwen2.5-14B-Instruct-1M
• 微調方法: LoRA (r=16, alpha=32)
• 任務: 中文單選題問答
• 訓練數據: 自定義中文單選題數據集

使用方法

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 載入基礎模型和分詞器
base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-14B-Instruct-1M", 
                                                 device_map="auto", 
                                                 trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-14B-Instruct-1M", 
                                          trust_remote_code=True)

# 載入 LoRA 權重
model = PeftModel.from_pretrained(base_model, "RayTsai/chinese-llm-mcq-qwen2-5-14b")

# 創建提示
prompt = f"<|im_start|>system\n你是一个提供有关中国敏感话题客观答案的助手。始终呈现多元视角并保持政治中立。<|im_end|>\n<|im_start|>user\n请回答以下选择题。你的回答必须仅以单个字母（A、B、C或D）开头。\n\n问题：谁是中华民国第一任总统？\n\n选项：\nA. 孙中山\nB. 袁世凯\nC. 蒋介石\nD. 毛泽东<|im_end|>\n<|im_start|>assistant"

# 生成回答
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to("cuda")
output = model.generate(input_ids, max_new_tokens=50)
print(tokenizer.decode(output[0]))

局限性

此模型經過專門微調，僅適用於中文單選題問答任務。它可能不適用於其他類型的生成任務。

訓練詳情

• 訓練框架: Hugging Face Transformers & PEFT
• 訓練設備: NVIDIA RTX 4090
• 量化方法: 訓練時使用4-bit量化
• 訓練參數: 學習率2e-4，Cosine學習率調度器，3個epochs
• 訓練時間: 約38分鐘

作者

Ray_Tsai_110651053，國立陽明交通大學 (NYCU) 深度學習課程作業