# Quiz de sfârșit de capitol[[end-of-chapter-quiz]]

Hai să testăm ceea ce ai învățat în acest capitol!

### 1. Când ar trebui să antrenezi un nou tokenizer?

### 2. Care este avantajul utilizării unui generator de liste de texte în comparație cu o listă de liste de texte atunci când utilizați `train_new_from_iterator()`?

train_new_from_iterator() îl acceptă.",
			explain: "O listă de liste de texte este un tip special de generator de liste de texte, astfel încât metoda o va accepta și pe aceasta. Încercați din nou!"
		},
		{
			text: "Veți evita încărcarea întregului dataset în memorie.",
			explain: "Corect! Fiecare batch de texte va fi eliberat din memorie atunci când iterați, iar câștigul va fi vizibil mai ales dacă utilizați 🤗 Datasets pentru a stoca textele.",
			correct: true
		},
		{
			text: "Acest lucru va permite bibliotecii 🤗 Tokenizers să utilizeze multiprocessing.",
			explain: "Nu, oricum va folosi multiprocessing."
		},
        {
			text: "Tokenizerul pe care îl vei antrena va genera texte mai bune.",
			explain: "Tokenizerul nu generează text - îl confundați cu un model lingvistic?"
		}
	]}
/>

### 3. Care sunt avantajele utilizării unui tokenizer "rapid"?

### 4. Cum tratează pipelineul `token-classification` entitățile care se întind pe mai mulți tokeni?

### 5. Cum gestionează pipelineul `question-answering` contextele lungi?

### 6. Ce este normalizarea?

### 7. Ce este pre-tokenizarea pentru un subword tokenizer?

### 8. Selectați propozițiile care se aplică modelului de tokenizare BPE.

### 9. Selectați propozițiile care se aplică modelului de tokenizare WordPiece.

### 10. Selectați propozițiile care se aplică modelului de tokenizare Unigram.