Embedding Model चुनना

कोई सार्वभौमिक सर्वश्रेष्ठ मॉडल नहीं

विकल्पों में hosted APIs (provider प्रति-token शुल्क पर पाठ embed करता है; आसान, पर डेटा आपके system से बाहर जाता है और आप provider पर निर्भर हैं) और अपने चलाए open models (sentence-transformers-शैली encoders, बहुभाषी मॉडल; डेटा और लागत पर नियंत्रण, पर hardware आप सँभालते हैं) शामिल हैं। मापदंड: भाषाएँ (आपके users हिंदी लिखते हों तो मॉडल को हिंदी समर्थित करनी चाहिए, और मिश्रित हिंदी-अंग्रेज़ी पाठ परखना चाहिए), domain (क़ानूनी, चिकित्सा, कोड), अधिकतम इनपुट लंबाई (लंबे chunks कट जाते हैं), आयाम (भंडारण और गति), latency और throughput, क़ीमत, licence, और आपके डेटा पर गुणवत्ता। MTEB जैसे सार्वजनिक leaderboards उपयोगी shortlist हैं, पर वे ऐसे कार्यों पर औसत लेते हैं जो आपके जैसे न हों, इसलिए प्रतिबद्ध होने से पहले 2 से 3 उम्मीदवारों को अपने सवालों के छोटे labelled set पर परखें। उपयोग किए मॉडल का सटीक नाम और संस्करण दर्ज करें।

मॉडल-चयन checklist

उम्मीदवारों की निष्पक्ष तुलना के लिए उपयोग करें।

[ ] supports all my languages (test real Hindi / Hinglish queries)
[ ] max input tokens >= my chunk size (otherwise text is silently cut)
[ ] dimensions x vectors fits my memory/budget (see the storage arithmetic)
[ ] latency / throughput OK for indexing the corpus and for live queries
[ ] licence and data-handling terms acceptable (hosted: where does the text go?)
[ ] recall@k / MRR measured on 50+ of MY questions, for 2-3 candidates
[ ] exact model name + version recorded; plan for a future re-index

मॉडल संस्करण pin करें

Providers embedding models हटाते और अद्यतन करते हैं। संस्करण pin करें और re-index की पहले से योजना बनाएँ।

त्वरित जाँच: सिर्फ़ leaderboard पर निर्भर रहने की जगह उम्मीदवार मॉडल अपने सवालों पर क्यों परखें?

• Leaderboards ऐसे कार्यों पर औसत लेते हैं जो आपके domain या भाषाओं जैसे न हों
• Leaderboards हमेशा ग़लत हैं
• आपके सवाल गुप्त हैं
• यह क़ानून से अनिवार्य है