u-10bei/JINIAC_tokenizer_v0.1

This version was created using sentencepiece.
The vocabulary was obtained by filtering Japanese wikipedia and trained using the unigram method.

---

このバージョンは、sentencepieceを使用し作りました。
日本語wikipediaをフィルタリングして得られた語彙で、unigram手法を使って学習しています。