kojikojiprg/ai-theories-tokenizer-en

ai-theories 標準トークナイザ(英語・バイトレベル BPE)

ai-theories(https://github.com/kojikojiprg/ai-theories)プロジェクトの成果物。 バイトレベル Byte Pair Encoding(BPE、語彙サイズ 8192)のスクラッチ実装によるトークナイザ。

研究・教育目的で構築したものであり、品質保証は行っていない。商用・実運用での利用は 想定しない。

由来

006. 小型 GPT の事前学習 の本番実験で、英語について 5 つのトークナイザ条件(文字レベル・バイトレベル BPE × 4 語彙サイズ・Unigram 言語モデル)の中から選定された条件(バイトレベル BPE、語彙サイズ 8192)である。学習済みの語彙・マージ規則自体は 008. デコーディング戦略 の学習済みモデルに同梱されていたものをそのまま引き継いでおり、再学習は行っていない。

構成

• 方式: バイトレベル BPE(byte-level Byte Pair Encoding)
• 語彙サイズ: 8192
• 事前分割チャンクの最大バイト数(max_chunk_bytes): 64

tokenizer.json は merges・vocab・byte_level・chunk_split_mode・max_chunk_bytes・ symbol_to_id を含む(src/data/tokenizer.py の load_bpe_id_tokenizer_json() で 読み込める)。