Tokenizadores, listo!

Gran trabajo terminando este capítulo!

Luego de esta profundizacion en los tokenizadores, deberías:

• Ser capaz de entrenar un nuevo tokenizador usando un existente como plantilla
• Entender como usar los offsets para mapear las posiciones de los tokens a sus trozos de texto original
• Conocer las diferencias entre BPE, WordPiece y Unigram
• Ser capaz de mezclar y combinar los bloques provistos por la librería 🤗 Tokenizers para construir tu propio tokenizador
• Ser capaz de usar el tokenizador dentro de la librería 🤗 Transformers.

Update on GitHub