Error विश्लेषण और गुणवत्ता सुधार

Tune करने से पहले निदान करें

हर विफल query के लिए क्रम से पूछें: क्या उत्तर corpus में है भी? क्या वह समझदारी से chunk हुआ (विचार के बीच कटा नहीं, विशाल chunk में दबा नहीं)? क्या पाठ अलग शब्दावली उपयोग करता है (keyword/hybrid search, query rewriting, या बेहतर या domain-अनुकूलित मॉडल जोड़ें)? क्या सही chunk retrieve हुआ पर बहुत नीचे rank हुआ (reranker जोड़ें)? क्या embedding model भाषा या domain के लिए कमज़ोर है (दूसरा आज़माएँ, या अपने सवाल-अंश जोड़ियों पर hard negatives के साथ fine-tune करें)? क्या ANN index recall खो रहा है (flat से तुलना करें; nprobe/efSearch बढ़ाएँ)? क्या filters उत्तर हटा रहे हैं? पूरे golden set में कारण के अनुसार विफलताएँ गिनें और सबसे बड़ी श्रेणी पहले ठीक करें।

विफलता गणना और पहले सुधार

उदाहरण कि टीम 40 विफल queries कैसे छाँट सकती है। संख्याएँ उदाहरणात्मक हैं, मापी हुई नहीं।

Cause                                     Count   First fix to try
answer not in the corpus                    3     add content / return "not found"
bad chunking (idea split / buried)          7     structure-aware chunks, titles in chunks
vocabulary mismatch (exact words differ)   11     hybrid search, query rewrite, better model
right chunk found but ranked low           10     cross-encoder reranker
ANN index missed it (flat finds it)         4     raise nprobe / efSearch, check quantisation
filter removed the answer                   5     check metadata, over-fetch before filtering

त्वरित जाँच: प्रासंगिक chunk retrieve हुआ पर 14वें स्थान पर है। सबसे सीधा सुधार क्या है?

• Shortlist का क्रम बदलने को reranker जोड़ें
• Filter हटाएँ
• आयाम दोगुने करें
• अनदेखा करें