AresMath1.0-IT / tokenizer.json
MoreThought's picture
Update tokenizer.json
3fd51b1 verified
Raw History Blame Contribute Delete
388 Bytes
{
"model_type": "aresmath1.0-it",
"vocab": [
"<pad>",
"<bos>",
"<eos>",
"<sep>",
"0",
"1",
"2",
"3",
"4",
"5",
"6",
"7",
"8",
"9",
"+",
"-",
"*",
"/",
"=",
"(",
")"
],
"special_tokens": {
"pad_token": "<pad>",
"bos_token": "<bos>",
"eos_token": "<eos>",
"sep_token": "<sep>"
}
}