Fine-Tuning, LoRA और कब नहीं

शैली और format सिखाएँ, तथ्य नहीं

Fine-tuning पहले से प्रशिक्षित मॉडल का प्रशिक्षण आपके उदाहरणों पर जारी रखता है। LoRA जैसे parameter-efficient तरीक़े मूल weights जमा देते हैं और जोड़े गए छोटे matrices को प्रशिक्षित करते हैं, जिससे स्मृति और लागत बहुत घटती है और छोटी adapter फ़ाइलें बनती हैं। Fine-tuning एकसमान शैली, format, लहजे या संकरे कौशल के लिए अच्छी है। तेज़ी से बदलता ज्ञान जोड़ने के लिए वह ख़राब तरीक़ा है: बदलने वाले या स्रोत-सहित तथ्यों के लिए retrieval (RAG) उपयोग करें, और पहले बेहतर prompts और उदाहरण आज़माएँ क्योंकि वे सबसे सस्ते हैं। आज़माने का आम क्रम है prompt, फिर retrieval, फिर fine-tuning।

50 बेहतरीन उदाहरणों से शुरू करें

गुणवत्ता मात्रा से बेहतर: कुछ दर्जन सावधानी से लिखे उदाहरण अक्सर दिखा देते हैं कि fine-tuning मदद करेगी या नहीं, हज़ारों में निवेश से पहले।

त्वरित जाँच: कौन-सी समस्या fine-tuning की जगह retrieval से सबसे अच्छी हल होती है?

• रोज़ बदलते और स्रोत-सहित दस्तावेज़ों से उत्तर देना
• हमेशा तयशुदा brand लहजे में उत्तर देना
• तयशुदा output format सीखना
• मॉडल को छोटा करना