LLM Course

0. स्थापना

1. ट्रांसफार्मर मॉडल

2. ट्रांसफॉर्मर का उपयोग करना

3. पूर्व-प्रशिक्षित मॉडल की फाइन-ट्यूनिंग

परिचय डेटा संसाधित करना मॉडल कि फाइन-ट्यूनिंग Trainer API या Keras के साथ एक पूर्ण प्रशिक्षण फाइन-ट्यूनिंग, चेक!अध्याय-का-अंत प्रश्नोत्तरी

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

अध्याय-का-अंत प्रश्नोत्तरी

इस अध्याय में आपने जो सीखा, उसका परीक्षण करें!

1. इमोशन डेटासेट में ट्विटर संदेश है जिनहे भावनाओं के साथ लेबल किया गया है। इसे हब में खोजें, और डेटासेट कार्ड पढ़ें। इनमें से कौन सा इसकी मूल भावनाओं में से एक नहीं है?

हर्ष प्रेम कन्फ्यूश़न सप्राइज़

2. हब में ar_sarcasm डेटासेट खोजें। यह कौन से कार्य का समर्थन करता है?

भाव वर्गीकरण मशीन अनुवाद नैम्ड एन्टिटी रेकग्निशन क्वेश्चन आंसरिंग

3. BERT मॉडल वाक्यों की एक जोड़ी को कैसे संसाधित करने की अपेक्षा करता है?

वाक्य_के_टोकन_1 [SEP] वाक्य_के_टोकन_2 [CLS] वाक्य_के_टोकन_1 वाक्य_के_टोकन_2 [CLS] वाक्य_के_टोकन_1 [SEP] वाक्य_के_टोकन_2 [SEP] [CLS] वाक्य_के_टोकन_1 [SEP] वाक्य_के_टोकन_2

4. Dataset.map() विधि के क्या लाभ हैं?

फ़ंक्शन के परिणाम कैश किए जाते हैं, इसलिए यदि हम कोड को फिर से निष्पादित करते हैं तो इसमें कोई समय नहीं लगेगा। यह डेटासेट के प्रत्येक तत्व पर फ़ंक्शन को लागू करने के बजाए तेज़ी से आगे बढ़ने के लिए बहुप्रक्रमण लागू कर सकता है। यह पूरे डेटासेट को मेमोरी में लोड नहीं करता है, जैसे ही एक तत्व संसाधित होता है उसके परिणामो को सहेजता हैं।

5. डायनेमिक पैडिंग का क्या अर्थ है?

यह तब होता है जब आप प्रत्येक बैच के लिए इनपुट को अधिकतम लंबाई तक संपूर्ण डेटासेट में पैड करते हैं। यह तब होता है जब आप बैच बनाते समय अपने इनपुट को पैड करते हैं, उस बैच के अंदर वाक्यों की अधिकतम लंबाई तक। यह तब होता है जब आप अपने इनपुट को पैड करते हैं ताकि प्रत्येक वाक्य में टोकन की समान संख्या हो जितने पिछले वाले में है डेटासेट के।

6. कोलेट फ़ंक्शन का उद्देश्य क्या है?

यह सुनिश्चित करता है कि डेटासेट में सभी अनुक्रमों की लंबाई समान हो। यह सभी सैम्पल्स को एक बैच में एक साथ रखता है। यह पूरे डेटासेट को पूर्व प्रसंस्करण यानि प्रीप्रोसेस करता है। यह डेटासेट में अनुक्रमों को छोटा कर देता है।

7. क्या होता है जब आप AutoModelForXxx कक्षाओं में से एक को पूर्व-प्रशिक्षित भाषा मॉडल (जैसे कि बर्ट-बेस-अनकेस्ड ) के साथ इन्स्टैन्शीऐट करते हैं, जो भिन्न कार्य से मेल खाता है बजाये उसके जिसके लिए उसे प्रशिक्षित किया गया ?

कुछ नहीं, लेकिन आपको चेतावनी मिलती है। पूर्व-प्रशिक्षित मॉडल के प्रमुख को त्याग दिया जाता है और इसके बजाये कार्य के लिए उपयुक्त एक नया प्रमुख डाला जाता है। पूर्व-प्रशिक्षित मॉडल के प्रमुख को त्याग दिया जाता है । कुछ भी नहीं, चूंकि मॉडल को अभी भी भिन्न कार्य के लिए ठीक यानि फाइन-ट्यून किया जा सकता है।

8. TrainingArguments का क्या उद्देश्य है?

इसमें Trainer के साथ प्रशिक्षण और मूल्यांकन के लिए उपयोग किए जाने वाले सभी हाइपरपैरामीटर शामिल हैं। यह मॉडल के आकार को निर्दिष्ट करता है। इसमें केवल मूल्यांकन के लिए उपयोग किए जाने वाले हाइपरपैरामीटर शामिल हैं। इसमें सिर्फ प्रशिक्षण के लिए उपयोग किए जाने वाले हाइपरपैरामीटर शामिल हैं।

9. आपको 🤗 Accelerate लाइब्रेरी का उपयोग क्यों करना चाहिए?

यह तेज मॉडल तक पहुंच प्रदान करता है। यह एक उच्च स्तरीय API प्रदान करता है इसलिए मुझे अपना खुद का प्रशिक्षण लूप लागू करने की आवश्यकता नहीं है। यह हमारे प्रशिक्षण लूप्स को वितरित रणनीतियों पर काम कराता है यह अधिक ऑप्टिमाइजेशन फंक्शन्स प्रदान करता है।

Update on GitHub

←फाइन-ट्यूनिंग, चेक!

अध्याय-का-अंत प्रश्नोत्तरी 1. इमोशन डेटासेट में ट्विटर संदेश है जिनहे भावनाओं के साथ लेबल किया गया है। इसे हब में खोजें, और डेटासेट कार्ड पढ़ें। इनमें से कौन सा इसकी मूल भावनाओं में से एक नहीं है?2. हब में ar_sarcasm डेटासेट खोजें। यह कौन से कार्य का समर्थन करता है?3. BERT मॉडल वाक्यों की एक जोड़ी को कैसे संसाधित करने की अपेक्षा करता है?4. Dataset.map() विधि के क्या लाभ हैं?5. डायनेमिक पैडिंग का क्या अर्थ है?6. कोलेट फ़ंक्शन का उद्देश्य क्या है?7. क्या होता है जब आप AutoModelForXxx कक्षाओं में से एक को पूर्व-प्रशिक्षित भाषा मॉडल (जैसे कि बर्ट-बेस-अनकेस्ड ) के साथ इन्स्टैन्शीऐट करते हैं, जो भिन्न कार्य से मेल खाता है बजाये उसके जिसके लिए उसे प्रशिक्षित किया गया ?8. TrainingArguments का क्या उद्देश्य है?9. आपको 🤗 Accelerate लाइब्रेरी का उपयोग क्यों करना चाहिए?4. क्या होता है जब आप TFAutoModelForXxx कक्षाओं में से एक को पूर्व-प्रशिक्षित भाषा मॉडल (जैसे कि बर्ट-बेस-अनकेस्ड ) के साथ इन्स्टैन्शीऐट करते हैं, जो भिन्न कार्य से मेल खाता है बजाये उसके जिसके लिए उसे प्रशिक्षित किया गया ?5. ट्रांसफॉर्मर से TensorFlow मॉडल पहले से ही Keras मॉडल हैं। यह क्या लाभ प्रदान करता है?6. आप अपनी खुद की कस्टम मीट्रिक कैसे परिभाषित कर सकते हैं?