पाठ 4 / 27
LLMs किसमें अच्छे और किसमें कमज़ोर हैं
ताक़तें और आम विफलता-रूप जानें।
धाराप्रवाह का मतलब सही नहीं
LLMs भाषा-कार्यों में मज़बूत हैं: सार, पुनर्लेखन, अनुवाद, वर्गीकरण, fields निकालना, समझाना, कोड का मसौदा और उदाहरण अनुसरण। आम कमज़ोरियाँ: hallucination (आत्मविश्वास से गढ़े तथ्य या citations), knowledge cutoff (प्रशिक्षण के बाद का कुछ नहीं जब तक दिया न जाए), सटीक अंकगणित और गिनती में अविश्वसनीयता, चलाने-दर-चलाने असंगति, शब्दों के प्रति संवेदनशीलता, और सीमित स्मृति (सिर्फ़ जो context window में आए)। व्यावहारिक नियम: LLMs वहाँ उपयोग करें जहाँ ग़लत उत्तर पकड़ना सस्ता या सत्यापित हो सके, और जहाँ नहीं वहाँ retrieval, tools और जाँचें जोड़ें।
जिसमें ग़लती नहीं सह सकते उसे सत्यापित करें
ख़ुद से पूछें: उत्तर ग़लत हुआ तो किसे नुक़सान होगा और मुझे कितनी जल्दी पता चलेगा? उत्तर "बुरा और देर से" हो तो जाँच या मनुष्य जोड़ें।
त्वरित जाँच: Hallucination क्या है?
- GPU का गरम होना
- आत्मविश्वास से दिया गया झूठा या गढ़ा हुआ आउटपुट
- धीमा network
- Prompt compress करना
Answer
आत्मविश्वास से दिया गया झूठा या गढ़ा हुआ आउटपुट — मॉडल विश्वसनीय लगने वाला पाठ बनाता है, सत्यापित तथ्य नहीं।