bootscoder/Llama-3-Medical-8B-CPT-lora

Llama-3 8B Medical CPT - LoRA 适配器

模型描述

这是一个基于 meta-llama/Meta-Llama-3-8B 训练的 LoRA 适配器。

本适配器是医疗聊天机器人项目的第一阶段——继续预训练 (CPT) 的产物。

训练数据为中文医疗百科和中文医疗书籍，目标是向 Llama-3 8B 基础模型中注入专业的中文医疗领域知识。

• 开发者: bootscoder
• 基础模型: meta-llama/Meta-Llama-3-8B
• 语言: 中文 (zh), 英文 (en)
• License: meta-llama-3

如何使用 (PEFT)

必须先加载基础模型 (meta-llama/Meta-Llama-3-8B)，然后再将此适配器（补丁）应用到它上面。

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

# 基础模型ID (Llama-3 8B)
base_model_id = "meta-llama/Meta-Llama-3-8B"

# 你的 LoRA 适配器仓库 ID (替换为你的最终上传路径)
# 例如: "bootscoder/Llama-3-Medical-8B-CPT-lora"
lora_adapter_id = "bootscoder/Llama-3-Medical-8B-CPT-lora"

# 1. 加载基础模型和分词器
print(f"正在加载基础模型: {base_model_id}")
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True)

# 2. 加载 LoRA 适配器并应用
print(f"正在加载 LoRA 适配器: {lora_adapter_id}")
model = PeftModel.from_pretrained(base_model, lora_adapter_id)

# 3. (可选) 合并 LoRA 权重以提高推理速度
# 这将返回一个标准的 Llama-3 模型，但已包含医疗知识
print("正在合并 LoRA 适配器...")
merged_model = model.merge_and_unload()
print("合并完成。")

# 'merged_model' 现在可以像标准模型一样用于推理
# 'tokenizer' 也应随模型一起保存和使用