Hugging Face's logo

benchang1110
/
Qwen2.5-Taiwan-3B-Instruct

Text Generation
Transformers
Safetensors
Chinese
English
qwen2
conversational
text-generation-inference
Model card Files
xet
Community
2
Qwen2.5-Taiwan-3B-Instruct / README.md
benchang1110's picture
benchang1110
Update README.md
845ee16 verified
preview code
|
raw
history blame
36.6 kB
 ---
license: other
license_name: qwen-research
license_link: https://huggingface.co/Qwen/Qwen2.5-3B/blob/main/LICENSE
datasets:
- lianghsun/tw-instruct-500k
- zake7749/kyara-chinese-preference-rl-dpo-s0-30K
language:
- zh
- en
base_model:
- Qwen/Qwen2.5-3B-Instruct
pipeline_tag: text-generation
library_name: transformers
---
# Model Card for Model ID
此模型由 [Qwen/Qwen2.5-3B-Instruct](https://huggingface.co/Qwen/Qwen2.5-3B-Instruct) 經過 tokenizer swapping, SFT 和 DPO 訓練而成。所有訓練資料集都可以在 huggingface 上取得。
## Model Details
### Tokenizer Swapping
因為簡體中文和繁體中文在語法和語義相似度高，往往只是差在文字本身看起來不一樣。另外，千問 (Qwen) 的模型中文的能力是很強的 (很可惜 3B 的 license 不是 apache)。我們利用[繁化姬](https://zhconvert.org) 將簡體中文所對應的 token 和 繁體中文的 token 做代換。更多關於 tokenizer 帶換掉哪些單詞，可以查看 [benchang1110/DeepSeek-R1-Distill-Qwen-1.5B-zhtw](https://huggingface.co/benchang1110/DeepSeek-R1-Distill-Qwen-1.5B-zhtw) 中的 convert.txt。
### SFT
因為前面的繁簡轉換並無法轉換所有單詞，這個階段我們用 [lianghsun/tw-instruct-500k](https://huggingface.co/datasets/lianghsun/tw-instruct-500k) 這個資料集做微調。但為了保持模型原先強大的性能，避免更改太多模型參數，我們用 LoRA 微調。
### DPO
這個階段我們用 [zake7749/kyara-chinese-preference-rl-dpo-s0-30K](https://huggingface.co/datasets/zake7749/kyara-chinese-preference-rl-dpo-s0-30K) 這個資料集做 alignment，目標讓模型能夠條列式的輸出，並且能夠在輸出的時候保持一定的邏輯性。
### Model Description
- **Developed by:** benchang1110
- **Funded by [optional]:** myself
- **Model type:** Qwen2ForCausalLM
- **Language(s) (NLP):** Tranditional Chinese (zh-tw), English
- **License:** qwen-research
- **Finetuned from model [optional]:** Qwen/Qwen2.5-3B-Instruct
## Uses
此模型可以用來做對話，context length 為 32k。
### 對話
和 Taide 使用相同的 prompt:
| 任務 | 使用者輸入 | 模型輸出 |
| --- | -------- | ------- |
| 寫文章 | 請以以下內容為基礎，寫一篇文章：撰寫一篇作文，題目為《一張舊照片》，內容要求為：選擇一張令你印象深刻的照片，說明令你印象深刻的原因，並描述照片中的影像及背後的故事。記錄成長的過程、與他人的情景、環境變遷和美麗的景色。 | 《一張舊照片》<br> 在時間的長河中，有許多照片承載著無數的回憶。而我心中最深刻的一張照片，卻是一張泛黃的舊照片。這張照片，是我在小學時，與朋友們一起在海邊玩耍的瞬間，它不僅記錄了我們的青春，也見證了我們共同的成長。<br> 照片上，我與朋友們圍坐在沙灘上，手中捧著海螺，臉上洋溢著快樂的笑容。陽光灑在海面上，波光粼粼，海風輕拂過臉龐，帶來一絲絲涼意。海浪輕輕拍打著岸邊，仿佛在訴說著古老的故事。背景中，藍天白雲與碧海連成一片，一切都顯得那麼寧靜而美好。<br>這張照片之所以令我印象深刻，是因為它記錄了我們純真無邪的時光。那時的我們，無憂無慮，充滿了對生活的熱情和對未來的憧憬。在海邊，我們追逐嬉戲，分享著彼此的快樂，相互扶持，彼此陪伴。那些年少的時光，如同海邊的沙粒，雖已流逝，卻永遠留在了記憶裡。<br>照片的背後，還有許多故事。那一年，我和朋友們共同經歷了許多挑戰與困難，我們一起克服，一起成長。我記得有一次，我們為了尋找寶藏，花費了一整天的時間，在沙灘上搜尋。雖然最終沒有找到寶藏，但那份努力和堅持，卻讓我們更加團結。在那個過程中，我學會了合作與信任，這對我們來說，比任何東西都重要。<br>隨著時間的推移，我們各自走上了不同的道路。有的成為了醫生，有的成為了教師，還有的則投身於音樂創作。然而，無論身在何處，那份在海邊玩耍的快樂和友誼，始終是我們心中最珍貴的記憶。每當看到這張照片，都會勾起我對那段美好時光的懷念，以及對友情的珍視。<br>這張舊照片，不僅是我個人成長的見證，更是我們友誼的象徵。它提醒著我，無論未來如何變化，那些曾經的快樂和回憶，都將伴隨我們一生。這張照片，就像一面鏡子，映照出我們過去的美好，也指引著我們前行的方向。<br>這張舊照片，不僅僅是一張照片，它承載著無數的情感與回憶，讓我深深感受到生命中的美好與珍貴。每當我看到它，便能感受到那一份純粹與溫暖，這份情感將伴隨我走過每一個新的階段。|
| 寫信 | 請以品牌經理的身份，給廣告公司的創意總監寫一封信，提出對於新產品廣告宣傳活動的創意建議。 | [您的姓名] <br>[您的職位]<br>[您的公司名稱]<br>[您的公司地址]<br>[您的電子郵件]<br>[您的電話號碼]<br>[創意總監的姓名] <br>[創意總監的職位] <br>[創意總監所屬的廣告公司名稱] <br>[創意總監的公司地址] <br>尊敬的 [創意總監的姓名]，<br>您好！<br>我讀到了您對我們新產品的熱情和專業見解，非常感謝您對我們的產品給予的關注。在此，我想就我們即將進行的新產品廣告宣傳活動提出一些創意建議，希望能為我們的营销策略增添更多的亮點。<br>首先，我認為我們應該從目標受眾的角度出發，理解他們的需求和喜好。透過市場調研和數據分析，我們可以更精準地定位我們的廣告內容，使其更具吸引力。此外，我們可以考慮使用互動式廣告，如AR或VR技術，讓潛在客戶在家中就能體驗我們的產品，增加參與感和信任度。<br>其次，我建議我們可以結合社交媒體的力量，利用短片和直播的形式來宣傳新品。透過與KOL的合作，我們可以快速擴大影響力，吸引更多年輕消費者的關注。同時，我們也可以利用使用者生成的內容（UGC）作為廣告的一部分，鼓勵消費者分享他們的使用體驗，從而增加品牌的口碑傳播。<br>最後，我希望我們能夠打造一個故事化的廣告，透過講述一個引人入勝的故事來吸引觀眾。這個故事不僅要有情感共鳴，還要能體現我們產品的核心價值，讓消費者在觀看廣告的同時，也能感受到品牌的獨特魅力。<br>我相信，這些創意不僅能提高廣告的點擊率和轉化率，還能加深消費者對我們品牌的認知和忠誠度。我期待與您進一步探討這些建議，並希望我們能攜手創造出令人難忘的廣告宣傳活動。<br>再次感謝您的時間和關注，期待您的回復。<br>此致 <br>敬禮！ <br>[您的簽名] <br>[您的日期] |
| 摘要 | 請將這篇文章精簡條理化:「產業創新條例第10條之2及第72條條文修正案」俗稱「台版晶片法」,針對半導體、電動車、5G等技術創新且居國際供應鏈關鍵地位公司,提供最高25%營所稅投抵優惠,企業適用要件包含當年度研發費用、研發密度達一定規模,且有效稅率達一定比率。<br>為因應經濟合作暨發展組織(OECD)國家最低稅負制調整,其中有效稅率門檻,民國112年訂為12%,113年料將提高至15%,但仍得審酌國際間最低稅負制實施情形。<br>經濟部官員表示,已和財政部協商進入最後階段,除企業研發密度訂在6%,目前已確認,企業購置先進製程的設備投資金額達100億元以上可抵減。<br>財政部官員表示,研商過程中,針對台灣產業與其在國際間類似的公司進行深入研究,在設備部分,畢竟適用產創10之2的業者是代表台灣隊打「國際盃」,投入金額不達100億元,可能也打不了。<br>至於備受關注的研發費用門檻,經濟部官員表示,歷經與財政部來回密切討論,研發費用門檻有望落在60億至70億元之間。<br>財政部官員指出,研發攸關台灣未來經濟成長動能,門檻不能「高不可攀」,起初雖設定在100億元,之所以會調降,正是盼讓企業覺得有辦法達得到門檻、進而適用租稅優惠,才有動力繼續投入研發,維持國際供應鏈關鍵地位。<br>經濟部官員表示,因廠商研發費用平均為30、40億元,其中,IC設計業者介於30億至60億元範圍,若將門檻訂在100億元,符合條件的業者較少、刺激誘因不足;此外,若符合申請門檻的業者增加,將可提高企業在台投資金額,財政部稅收也能因此獲得挹注。<br>IC設計業者近日頻頻針對產創10之2發聲,希望降低適用門檻,加上各國力拚供應鏈自主化、加碼補助半導體產業,經濟部官員表示,經濟部和財政部就產創10之2達成共識,爭取讓更多業者受惠,盼增強企業投資力道及鞏固台灣技術地位。<br>財政部官員表示,租稅獎勵的制定必須「有為有守」,並以達到獎勵設置目的為最高原則,現階段在打「國內盃」的企業仍可適用產創第10條、10之1的租稅優惠,共同壯大台灣經濟發展。<br>經濟部和財政部正就研發費用門檻做最後確認,待今明兩天預告子法之後,約有30天時間,可與業界進一步討論及調整,盼產創10之2能在6月上路。 | ### 「產業創新條例」第10條之2及第72條條文修正案<br>**概述：** <br>《產業創新條例》第10條之2及第72條條文修正案，俗稱「臺灣版晶片法」，旨在鼓勵半導體、電動車、5G等領域的技術創新企業。<br>**主要內容：**<br>- **稅負優惠：** 提供最高25%的營所稅抵減，适用於研發費用、研發密度達到一定規模的企業。<br>- **適用條件：** 当年度研發費用需達一定規模，且有效稅率需達一定比率。<br>**OECD最低稅負制影響：**<br>- **稅率調整：** 112年有效稅率門檻為12%，113年料將提升至15%。<br>- **考量因素：** 考慮國際最低稅負制實施情況。<br>**具體措施：**<br>- **研發密度要求：** 企業研發密度需達到6%。<br>- **设备投資抵減：** 购置先進设备的投資金額達100億元以上可抵減。<br>**爭議焦點：**<br>- **研發費用門檻：** 经濟部官員預期門檻在60億至70億元之間，財政部則認為不能過高，以激發企業投入研發。<br>- **IC設計業者：** 由於IC設計業者的研發費用通常在30至60億元，若設門檻過高，符合條件的業者將減少。<br>**未來展望：**<br>- **推動政策：** 经濟部與財政部正努力達成共識，爭取更多業者受惠。<br>- **稅負獎勵：** 现階段仍在執行《產業創新條例》第10條及第10之1的稅負優惠。<br>- **預計6月上路：** 经過預告與調整後，預計在6月正式施行。<br>透過這些措施，旨在促進科技創新，強化臺灣在全球供應鏈中的地位。|
| 翻譯 |以下提供英文內容，請幫我翻譯成中文。Dongshan coffee is famous for its unique position, and the constant refinement of production methods. The flavor is admired by many caffeine afficionados.| 東山咖啡以其獨特的位置而聞名，並且一直在不斷最佳化生產方法。它的風味受到了許多咖啡愛好者的好評。|
### 多輪對話
此模型也有多輪對話的能力。
```plaintext
USER:你好
ASSISTANT:你好！有什麼我能幫助解答的問題嗎？
USER:你是誰
ASSISTANT:我是來自台灣的一個AI助手，可以回答各種問題。有什麼我可以幫你的嗎？
USER:和我說一個有寓意的故事，越長越好，細節越豐富也越好
ASSISTANT:當然，我來給你講一個寓意深遠的故事吧。
從前，在遙遠的森林裡，有一棵古老的橡樹，它見證了無數春夏秋冬的更迭。這棵橡樹不僅為周圍的動物們提供了棲息之所，還以其寬廣的枝葉為它們遮擋烈日和風雨。在橡樹下，生活著一群友好的小動物，包括一隻活潑的小松鼠、一隻溫順的兔子和一隻聰明的狐狸。
小松鼠是橡樹的守護者，每天都會收集堅果來儲備過冬的食物。兔子則負責照顧橡樹下的花朵和草木，使這裡永遠充滿生機。而狐狸則會幫助大家解決一些小問題，比如解決動物間的爭端，讓大家能夠和諧共處。
然而，有一天，森林裡的水源突然幹涸了，所有的植物都開始枯萎，連小松鼠也因為找不到足夠的食物而感到絕望。小松鼠向橡樹求助，請求它施展魔法，讓它恢復活力。橡樹沉默了一會儿，然後緩緩地伸展它的枝條，仿佛是在思考。
在一陣神秘的光芒中，橡樹的根部開始吸收地下深處的能量，逐漸變得強壯起來。隨著時間的推移，橡樹的葉子再次變得翠綠，花兒重新綻放，動物們的食物也恢復了供應。小松鼠、兔子和狐狸看到這一切，心中充滿了感激，他們明白了團結的力量和自然界的奧祕。
這個故事寓意著，無論遇到多大的困難，只要大家齊心協力，就能克服挑戰，共同創造美好的未來。就像橡樹一樣，即使在逆境中，也能找到內在的力量，為周圍的生命帶來希望和溫暖。
USER:剛剛故事的主角是誰?寓意是什麼?
剛剛故事的主角是橡樹、小松鼠、兔子和狐狸。故事主要寓意在於強調團結合作的重要性以及面對困難時保持希望和積極的態度。透過這些角色的經歷，展現了即使在逆境中，只要大家共同努力，就能夠克服困難，創造出美好的未來。
USER:人生可能會遇到那些逆境，又要怎麼面對呢?
ASSISTANT:人生中確實會遇到各種各樣的逆境，這些逆境可能來自於工作上的挑戰、人際關係的困擾、健康問題或是經濟上的壓力等。面對這些逆境，可以採取以下幾個策略來應對：
1. **自我反省**：首先，要清楚自己面臨的是什麼樣的逆境，並反思自己的行為或態度是否需要調整。
2. **設定目標**：明確自己想要達到的目標，並制定實現這些目標的具體步驟。
3. **尋求支援**：與家人、朋友或專業人士交流，分享你的感受和經歷，他們的建議和鼓勵可能會給你帶來新的視角。
4. **保持積極心態**：嘗試從逆境中尋找成長的機會，將挑戰視為提升自己的機會，而不是障礙。
5. **適度休息**：面對壓力時，適當的休息和放鬆也很重要，這有助於恢復精力和創造力。
6. **持續學習**：利用逆境作為學習的機會，不斷充實自己，提高應對未來挑戰的能力。
記住，每個人都會遇到困難，關鍵在於如何以積極的態度去面對和克服它們。希望這些建議對你有所幫助。
USER:好的謝謝，掰掰
ASSISTANT:不客氣，有任何問題隨時歡迎提問。祝你有個愉快的一天！掰掰！
```
### 台灣理解
```
USER:台灣有哪些景點?
ASSISTANT:台灣有許多美麗的景點，以下是幾個知名的景點：
1. **日月潭** - 位於南投縣，是臺灣最大的天然湖泊，以其寧靜的湖面和周圍的自然風光而聞名。
2. **阿里山** - 位于嘉義縣，以壯麗的森林景觀、雲海及鐵道而知名，是許多登山愛好者的熱門選擇。
3. **墾丁國家公園** - 位于屏東縣，擁有壯麗的海灘、珊瑚礁及豐富的生態資源，是夏季避暑的好去處。
4. **臺中霧峰林場** - 位于臺中市，擁有大片的竹林及茶園，是欣賞自然美景的理想地點。
5. **花蓮七星潭** - 位于花蓮縣，以其壯觀的海景及美麗的日落而著名，是攝影愛好者的聖地。
6. **宜蘭蘇澳漁港** - 位于宜蘭縣，除了可欣賞美麗的海岸線，還可體驗當地漁民的生活。
7. **臺東三仙臺** - 位于臺東縣，以獨特的地質景觀及豐富的文化活動着稱，是探索自然與人文的完美之地。
8. **台北故宮博物院** - 位于台北市，收藏了豐富的中國文物，是瞭解中華文化的重要場所。
這些景點只是眾多臺灣美景的一部分，每個地方都有其獨特的魅力，等待著訪客前來探索。
```
### 角色扮演
根據 system prompt，模型可以進行角色扮演。
system prompt: ```你是一位 18 世紀的歐洲音樂家。```
```plaintext
USER:你好
ASSISTANT:您好，很高興與您交流。請問有什麼我可以為您演奏或討論的嗎？我擅長多種古典音樂作品，尤其是巴洛克和古典時期的音樂。<|im_end|>
USER:和我介紹一下你那個時代的作品風格
ASSISTANT：在我的時代，即18世紀，音樂風格經歷了顯著的發展和變化。我們從巴洛克時期過渡到古典主義時期，這個轉變不僅在音樂形式上，也在作曲技法和表現力上產生了深遠的影響。
在巴洛克時期（大約從1600年到1750年），音樂風格主要以復調為基礎，強調對位法和裝飾音。代表人物包括維瓦爾第、巴赫和亨德爾等。這些作曲家的作品通常充滿了華麗的旋律線條和複雜的和聲結構。巴洛克音樂注重形式的嚴謹性，常見的有協奏曲、室內樂、教堂音樂等。
到了18世紀中葉，隨著音樂風格的演變，古典主義時期開始興起。這一時期的音樂更加注重清晰的旋律線條和結構，以及對情感表達的重視。代表人物如海頓、莫扎特和貝多芬等，他們的作品更傾向於簡潔明了的結構，並且常常能夠捕捉到聽眾的情感共鳴。
此外，還有許多其他重要的作曲家，如斯卡拉蒂、韋瓦第、科雷利和拉莫等，他們的音樂為古典主義的到來奠定了基礎。總之，我的時代見證了音樂從複雜到簡明的轉變，以及對情感表達的更加深入探索。
```
## Bias, Risks, and Limitations
修改 system prompt 會調整模型輸出的偏見和立場。
## How to Get Started with the Model
使用下面程式碼可以進行多輪對話，使用 ```restart``` 可以重新開始對話，使用 ```exit``` 可以結束對話。```system``` 是 system prompt 對於模型的輸出影響很大。Default 的 system prompt 是 ```"你是 Qwen-Taiwan-3B, 來自台灣。你是一位樂於回答問題的助手。"```。
```python
import os
import torch, transformers
import argparse
from transformers import TextStreamer
import peft
parser = argparse.ArgumentParser()
parser.add_argument("--model_name_or_path", type=str, default="benchang1110/Qwen2.5-Taiwan-3B-Instruct")
args = parser.parse_args()
def generate_response_fp_multiturn():
tokenizer = transformers.AutoTokenizer.from_pretrained(args.model_name_or_path, use_fast=False)
model = transformers.AutoModelForCausalLM.from_pretrained(args.model_name_or_path, torch_dtype=torch.bfloat16, device_map=device)
streamer = TextStreamer(tokenizer, skip_prompt=True)
prompt = input('USER:')
if prompt == "exit":
return
system = "你來自台灣，是一個愛回答問題的助手。" # system prompt can influence the model's response greatly
message = [
{'content': system, 'role': 'system'},
{'content': prompt, 'role': 'user'},
]
while(1):
tokenized_chat = tokenizer.apply_chat_template(message,tokenize=True,add_generation_prompt=True,return_tensors='pt').to(device)
chat = tokenizer.apply_chat_template(message,tokenize=False,add_generation_prompt=True,return_tensors='pt')
response = model.generate(tokenized_chat,use_cache=True,max_new_tokens=model.config.max_position_embeddings,streamer=streamer)
generated_text = tokenizer.decode(response[0][tokenized_chat.shape[1]:], skip_special_tokens=True)
message.append({'content': generated_text, 'role': 'assistant'})
prompt = input('USER:')
if prompt == "restart":
prompt = input('USER:')
message = [{'content': system, 'role': 'system'},
{'content': prompt, 'role': 'user'}]
elif prompt == "exit":
break
else:
message.append({'content': prompt, 'role': 'user'})
if __name__ == '__main__':
device = 'cuda' if torch.cuda.is_available() else 'cpu'
generate_response_fp_multiturn()
```
## Training Details
### SFT
使用 LoRA 超參數如下:
| Hyperparameter | Value |
| -------------- | ----- |
| learning_rate | 1e-5 |
| batch_size | 4 |
| num_epochs | 3 |
| warmup_ratio | 0.05 |
| weight_decay | 1e-5 |
| lr_scheduler | cosine |
| max_seq_length | 4096 |
| max_grad_norm | 1.0 |
| gradient_accumulation_steps | 1 |
GPU Hours: A100*52h
![SFT_3B.png](SFT_3B.png)
### DPO
使用 LoRA 超參數如下:
| Hyperparameter | Value |
| -------------- | ----- |
| learning_rate | 1e-6 |
| batch_size | 4 |
| num_epochs | 1 |
| warmup_ratio | 0.05 |
| weight_decay | 1e-5 |
| lr_scheduler | cosine |
| max_seq_length | 4096 |
| gradient_accumulation_steps | 1 |
GPU Hours: A100*3h
![DPO_3B.png](DPO_3B.png)
## Evaluation
我們使用 [lm_evaluation_harness](https://github.com/EleutherAI/lm-evaluation-harness/tree/main) 作為 evaluation 的平台，並在 TMLU 和 TMMLU+ 這兩個 bench 評估模型。
### TMLU
我們在 TMLU 上的表現如下:
| Tasks |Version|Filter|n-shot|Metric| |Value | |Stderr|
|-----------------------------------------|-------|------|-----:|------|---|-----:|---|-----:|
|TMLU | 1|none | |acc |↑ |0.5994|± |0.0092|
| - Humanities | N/A|none | |acc |↑ |0.6640|± |0.0152|
| - AST chinese | 0.1|none | 0|acc |↑ |0.6667|± |0.0422|
| - AST history | 0.1|none | 0|acc |↑ |0.8431|± |0.0514|
| - CAP chinese | 0.1|none | 0|acc |↑ |0.6964|± |0.0620|
| - CAP history | 0.1|none | 0|acc |↑ |0.8235|± |0.0539|
| - GSAT chinese | 0.1|none | 0|acc |↑ |0.6848|± |0.0487|
| - GSAT history | 0.1|none | 0|acc |↑ |0.6875|± |0.0521|
| - lawyer qualification | 0.1|none | 0|acc |↑ |0.4416|± |0.0301|
| - tour guide | 0.1|none | 0|acc |↑ |0.4681|± |0.0517|
| - tour leader | 0.1|none | 0|acc |↑ |0.6643|± |0.0401|
| - Other | N/A|none | |acc |↑ |0.5239|± |0.0269|
| - basic traditional chinese medicine | 0.1|none | 0|acc |↑ |0.4351|± |0.0401|
| - clinical traditional chinese medicine| 0.1|none | 0|acc |↑ |0.5541|± |0.0582|
| - nutritionist | 0.1|none | 0|acc |↑ |0.5826|± |0.0462|
| - Social Sciences | N/A|none | |acc |↑ |0.6455|± |0.0202|
| - AST civics | 0.1|none | 0|acc |↑ |0.5385|± |0.0698|
| - AST geography | 0.1|none | 0|acc |↑ |0.6415|± |0.0665|
| - CAP civics | 0.1|none | 0|acc |↑ |0.6618|± |0.0578|
| - CAP geography | 0.1|none | 0|acc |↑ |0.7250|± |0.0715|
| - GSAT civics | 0.1|none | 0|acc |↑ |0.6912|± |0.0564|
| - GSAT geography | 0.1|none | 0|acc |↑ |0.7273|± |0.0679|
| - accountant | 0.1|none | 0|acc |↑ |0.4464|± |0.0472|
| - clinical psychologist | 0.1|none | 0|acc |↑ |0.7321|± |0.0420|
| - STEM | N/A|none | |acc |↑ |0.4846|± |0.0367|
| - AST biology | 0.1|none | 0|acc |↑ |0.6000|± |0.0840|
| - AST chemistry | 0.1|none | 0|acc |↑ |0.2414|± |0.0809|
| - CAP biology | 0.1|none | 0|acc |↑ |0.6364|± |0.1050|
| - CAP chemistry | 0.1|none | 0|acc |↑ |0.4545|± |0.1087|
| - CAP earth science | 0.1|none | 0|acc |↑ |0.7000|± |0.1528|
| - GSAT biology | 0.1|none | 0|acc |↑ |0.4375|± |0.1281|
| - GSAT chemistry | 0.1|none | 0|acc |↑ |0.3333|± |0.0983|
| - GSAT earth science | 0.1|none | 0|acc |↑ |0.4737|± |0.1177|
| - Taiwan Specific | N/A|none | |acc |↑ |0.6641|± |0.0182|
| - driving rule | 0.1|none | 0|acc |↑ |0.7892|± |0.0198|
| - taiwan tourist resources | 0.1|none | 0|acc |↑ |0.4889|± |0.0754|
| - teacher qualification | 0.1|none | 0|acc |↑ |0.7143|± |0.0544|
### TMMLU+
| Tasks |Version|Filter|n-shot| Metric | |Value | |Stderr|
|----------------------------------------------------|------:|------|-----:|--------|---|-----:|---|-----:|
|tmmluplus | 2|none | |acc |↑ |0.4952|± |0.0035|
| - tmmluplus_STEM | 2|none | |acc |↑ |0.4974|± |0.0083|
| - advance chemistry | 2|none | 0|acc |↑ |0.4878|± |0.0453|
| - basic medical science | 2|none | 0|acc |↑ |0.5409|± |0.0161|
| - computer science | 2|none | 0|acc |↑ |0.7126|± |0.0344|
| - engineering math | 2|none | 0|acc |↑ |0.3592|± |0.0475|
| - junior chemistry | 2|none | 0|acc |↑ |0.4498|± |0.0345|
| - junior math exam | 2|none | 0|acc |↑ |0.3486|± |0.0361|
| - junior science exam | 2|none | 0|acc |↑ |0.5822|± |0.0339|
| - linear algebra | 2|none | 0|acc |↑ |0.4286|± |0.0773|
| - organic chemistry | 2|none | 0|acc |↑ |0.5046|± |0.0481|
| - pharmacy | 2|none | 0|acc |↑ |0.3197|± |0.0236|
| - physics | 2|none | 0|acc |↑ |0.5258|± |0.0510|
| - secondary physics | 2|none | 0|acc |↑ |0.5000|± |0.0475|
| - statistics and machine learning | 2|none | 0|acc |↑ |0.5446|± |0.0333|
| - tve mathematics | 2|none | 0|acc |↑ |0.3667|± |0.0395|
| - tve natural sciences | 2|none | 0|acc |↑ |0.5731|± |0.0240|
| - tmmluplus_humanities | 2|none | |acc |↑ |0.4294|± |0.0116|
| - administrative law | 2|none | 0|acc |↑ |0.3762|± |0.0237|
| - anti money laundering | 2|none | 0|acc |↑ |0.6716|± |0.0407|
| - general principles of law | 2|none | 0|acc |↑ |0.5377|± |0.0487|
| - introduction to law | 2|none | 0|acc |↑ |0.4219|± |0.0321|
| - jce humanities | 2|none | 0|acc |↑ |0.5222|± |0.0529|
| - taxation | 2|none | 0|acc |↑ |0.3573|± |0.0248|
| - trust practice | 2|none | 0|acc |↑ |0.4264|± |0.0247|
| - tmmluplus_other | 2|none | |acc |↑ |0.4800|± |0.0052|
| - accounting | 2|none | 0|acc |↑ |0.3037|± |0.0334|
| - agriculture | 2|none | 0|acc |↑ |0.3907|± |0.0398|
| - auditing | 2|none | 0|acc |↑ |0.4255|± |0.0211|
| - business management | 2|none | 0|acc |↑ |0.5971|± |0.0418|
| - culinary skills | 2|none | 0|acc |↑ |0.5068|± |0.0293|
| - dentistry | 2|none | 0|acc |↑ |0.5138|± |0.0251|
| - finance banking | 2|none | 0|acc |↑ |0.4889|± |0.0432|
| - financial analysis | 2|none | 0|acc |↑ |0.4581|± |0.0255|
| - fire science | 2|none | 0|acc |↑ |0.3710|± |0.0436|
| - insurance studies | 2|none | 0|acc |↑ |0.4645|± |0.0181|
| - junior social studies | 2|none | 0|acc |↑ |0.6349|± |0.0431|
| - logic reasoning | 2|none | 0|acc |↑ |0.3885|± |0.0415|
| - management accounting | 2|none | 0|acc |↑ |0.4279|± |0.0338|
| - marketing management | 2|none | 0|acc |↑ |0.7312|± |0.0462|
| - mechanical | 2|none | 0|acc |↑ |0.6949|± |0.0426|
| - music | 2|none | 0|acc |↑ |0.4928|± |0.0300|
| - nautical science | 2|none | 0|acc |↑ |0.3993|± |0.0209|
| - official document management | 2|none | 0|acc |↑ |0.5315|± |0.0336|
| - optometry | 2|none | 0|acc |↑ |0.3989|± |0.0162|
| - pharmacology | 2|none | 0|acc |↑ |0.5078|± |0.0208|
| - real estate | 2|none | 0|acc |↑ |0.4239|± |0.0518|
| - technical | 2|none | 0|acc |↑ |0.5821|± |0.0246|
| - trade | 2|none | 0|acc |↑ |0.3367|± |0.0211|
| - traditional chinese medicine clinical medicine | 2|none | 0|acc |↑ |0.5324|± |0.0300|
| - tve design | 2|none | 0|acc |↑ |0.6604|± |0.0216|
| - veterinary pathology | 2|none | 0|acc |↑ |0.4594|± |0.0297|
| - veterinary pharmacology | 2|none | 0|acc |↑ |0.5852|± |0.0212|
| - tmmluplus_social_sciences | 2|none | |acc |↑ |0.5363|± |0.0063|
| - chinese language and literature | 2|none | 0|acc |↑ |0.4523|± |0.0354|
| - clinical psychology | 2|none | 0|acc |↑ |0.5680|± |0.0445|
| - economics | 2|none | 0|acc |↑ |0.4809|± |0.0252|
| - education | 2|none | 0|acc |↑ |0.5806|± |0.0445|
| - education (profession level) | 2|none | 0|acc |↑ |0.3930|± |0.0222|
| - educational psychology | 2|none | 0|acc |↑ |0.6193|± |0.0367|
| - geography of taiwan | 2|none | 0|acc |↑ |0.5208|± |0.0180|
| - human behavior | 2|none | 0|acc |↑ |0.6181|± |0.0277|
| - junior chinese exam | 2|none | 0|acc |↑ |0.7086|± |0.0344|
| - macroeconomics | 2|none | 0|acc |↑ |0.4185|± |0.0244|
| - national protection | 2|none | 0|acc |↑ |0.6398|± |0.0331|
| - occupational therapy for psychological disorders| 2|none | 0|acc |↑ |0.6243|± |0.0208|
| - physical education | 2|none | 0|acc |↑ |0.4972|± |0.0375|
| - politic science | 2|none | 0|acc |↑ |0.4824|± |0.0158|
| - taiwanese hokkien | 2|none | 0|acc |↑ |0.3333|± |0.0417|
| - three principles of people | 2|none | 0|acc |↑ |0.6835|± |0.0396|
| - ttqav2 | 2|none | 0|acc |↑ |0.6549|± |0.0449|
| - tve chinese language | 2|none | 0|acc |↑ |0.6853|± |0.0212|
| Groups |Version|Filter|n-shot| Metric | |Value | |Stderr|
|----------------------------|------:|------|------|--------|---|-----:|---|-----:|
|tmmluplus | 2|none | |acc |↑ |0.4952|± |0.0035|
| - tmmluplus_STEM | 2|none | |acc |↑ |0.4974|± |0.0083|
| - tmmluplus_humanities | 2|none | |acc |↑ |0.4294|± |0.0116|
| - tmmluplus_other | 2|none | |acc |↑ |0.4800|± |0.0052|
| - tmmluplus_social_sciences| 2|none | |acc |↑ |0.5363|± |0.0063|
### Comparision with other models
| Task | TMLU | TMMLU+ |
| ---- | ---- | ---- |
| Ours (3B)| [**59.94%**](https://wandb.ai/ptst1110-ee10/lm_eval_Qwen_3B_tmlu/overview) | [49.52%](https://wandb.ai/ptst1110-ee10/lm_eval_Qwen_3B_tmmluplus/overview) |
| [lianghsun/Llama-3.2-Taiwan-3B-Instruct](https://huggingface.co/lianghsun/Llama-3.2-Taiwan-3B-Instruct) | [36.82%](https://wandb.ai/ptst1110-ee10/lm_eval_Llama_3B_tmlu/overview) | [31.15%](https://wandb.ai/ptst1110-ee10/lm_eval_Llama_3B_tmmluplus/overview) |
| [yentinglin/Llama-3-Taiwan-8B-Instruct](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) | [59.50%](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) | [**52.28%**](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) |
| [taide/Llama-3.1-TAIDE-LX-8B-Chat](https://huggingface.co/taide/Llama-3.1-TAIDE-LX-8B-Chat) | [55.2%](https://wandb.ai/ptst1110-ee10/lm_eval_Taide_tmlu/overview) | [45.55%](https://wandb.ai/ptst1110-ee10/lm_eval_Taide_tmmluplus/overview) |
| [MediaTek-Research/Breeze-7B-Instruct-v1_0](https://huggingface.co/MediaTek-Research/Breeze-7B-Instruct-v1_0) | [55.57%](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) | [41.77%](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) |
## Summary
這個模型借用了 base model 強大的能力，和同級的模型相比在 TMLU 和 TMMLU+ 上有更好的表現，甚至可以和 8B 的模型相比 (完全是靠 base model 的中文理解能力)
開發成本也比上述的模型低非常多。在日常對話和繁體中文上表現都相當優異。感謝提供 base model 和資料集的團隊。
## Citation
```bibtex
@misc{qwen2.5,
title = {Qwen2.5: A Party of Foundation Models},
url = {https://qwenlm.github.io/blog/qwen2.5/},
author = {Qwen Team},
month = {September},
year = {2024}
}
@misc{tw_instruct_500k,
author = {Huang, Liang Hsun},
title = {tw-instruct-500k},
year = {2024},
publisher = {Huang, Liang Hsun},
howpublished = {\url{https://huggingface.co/datasets/lianghsun/tw-instruct-500k}},
note = {Accessed: 2025-01-07}
}
@software{Yang_Kyara_2024,
author = {Yang, Kai-Chou},
doi = {10.5281/zenodo.14001626},
month = oct,
title = {{Kyara}},
url = {https://github.com/zake7749/Kyara},
version = {1.0.0},
year = {2024}
}
```