| { | |
| "additional_special_tokens": [ | |
| "<NL>", | |
| "<TAB>", | |
| "<|system|>", | |
| "<|user|>", | |
| "<|assistant|>", | |
| "<|eot|>", | |
| "<think>", | |
| "</think>", | |
| "<tool_call>", | |
| "</tool_call>", | |
| "<tool_result>", | |
| "</tool_result>", | |
| "<fim_prefix>", | |
| "<fim_middle>", | |
| "<fim_suffix>", | |
| "<|endofdocument|>", | |
| "<emoji>", | |
| "<NUM>", | |
| "<extra_0>", | |
| "<extra_1>", | |
| "<extra_2>", | |
| "<extra_3>", | |
| "<extra_4>", | |
| "<extra_5>", | |
| "<extra_6>", | |
| "<extra_7>", | |
| "<extra_8>", | |
| "<extra_9>", | |
| "<extra_10>", | |
| "<extra_11>", | |
| "<extra_12>", | |
| "<extra_13>", | |
| "<extra_14>", | |
| "<extra_15>", | |
| "<extra_16>", | |
| "<extra_17>", | |
| "<extra_18>", | |
| "<extra_19>", | |
| "<extra_20>", | |
| "<extra_21>", | |
| "<extra_22>", | |
| "<extra_23>", | |
| "<extra_24>", | |
| "<extra_25>", | |
| "<extra_26>", | |
| "<extra_27>", | |
| "<extra_28>", | |
| "<extra_29>", | |
| "<extra_30>", | |
| "<extra_31>", | |
| "<extra_32>", | |
| "<extra_33>", | |
| "<extra_34>", | |
| "<extra_35>", | |
| "<extra_36>", | |
| "<extra_37>", | |
| "<extra_38>", | |
| "<extra_39>", | |
| "<extra_40>", | |
| "<extra_41>", | |
| "<extra_42>", | |
| "<extra_43>", | |
| "<extra_44>", | |
| "<extra_45>", | |
| "<extra_46>", | |
| "<extra_47>", | |
| "<extra_48>", | |
| "<extra_49>", | |
| "<extra_50>", | |
| "<extra_51>", | |
| "<extra_52>", | |
| "<extra_53>", | |
| "<extra_54>", | |
| "<extra_55>", | |
| "<extra_56>", | |
| "<extra_57>", | |
| "<extra_58>", | |
| "<extra_59>", | |
| "<extra_60>", | |
| "<extra_61>", | |
| "<extra_62>", | |
| "<extra_63>", | |
| "<extra_64>", | |
| "<extra_65>", | |
| "<extra_66>", | |
| "<extra_67>", | |
| "<extra_68>", | |
| "<extra_69>", | |
| "<extra_70>", | |
| "<extra_71>", | |
| "<extra_72>", | |
| "<extra_73>", | |
| "<extra_74>", | |
| "<extra_75>", | |
| "<extra_76>", | |
| "<extra_77>", | |
| "<extra_78>", | |
| "<extra_79>", | |
| "<extra_80>", | |
| "<extra_81>", | |
| "<extra_82>", | |
| "<extra_83>", | |
| "<extra_84>", | |
| "<extra_85>", | |
| "<extra_86>", | |
| "<extra_87>", | |
| "<extra_88>", | |
| "<extra_89>", | |
| "<extra_90>", | |
| "<extra_91>", | |
| "<extra_92>", | |
| "<extra_93>", | |
| "<extra_94>", | |
| "<extra_95>", | |
| "<extra_96>", | |
| "<extra_97>", | |
| "<extra_98>", | |
| "<extra_99>" | |
| ], | |
| "bos_token": { | |
| "content": "<bos>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "eos_token": { | |
| "content": "<eos>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "pad_token": { | |
| "content": "<pad>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "unk_token": { | |
| "content": "<unk>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| } | |
| } | |