पाठ 27 / 27
Revision: Cheat Sheet और Self-Check
पूरे कोर्स के मुख्य विचार दोहराएँ।
Cheat sheet
विचार: प्रासंगिक chunks retrieve करें, prompt augment करें, आधारित, उद्धृत उत्तर generate करें। Ingest: साफ़ extraction, संरचना-जागरूक chunks (200 से 500 tokens, छोटा overlap), filters, अनुमतियों और citations के लिए metadata। Retrieve: सटीक शब्दों के लिए BM25, अर्थ के लिए embeddings, RRF से hybrid, बड़े पैमाने पर ANN indexes। सुधार: query rewriting, cross-encoder reranking, विविधता के लिए MMR, प्रासंगिकता सीमा के साथ tuned k। Generate: क्रमांकित संदर्भ, "सिर्फ़ संदर्भ से उत्तर", कोड में citations सत्यापन, groundedness जाँच, शालीन इनकार। मूल्यांकन: golden set, recall@k और MRR, faithfulness, अनुत्तरणीय सवाल, चरण-अनुसार विफलता गणना। Production: वृद्धिशील अद्यतन, access control, injection बचाव, latency और लागत नियंत्रण; agentic या graph RAG तभी जोड़ें जब मापी हुई ज़रूरत दिखे।
त्वरित जाँच: Users "work from home" खोजते हैं पर नीति में "remote work" लिखा है। कौन-सा retrieval तरीक़ा सबसे ज़्यादा मदद करता है?
- Temperature घटाना
- सिर्फ़ सटीक keyword मिलान
- Chunk overlap बढ़ाना
- Embedding (semantic) search, आदर्श रूप से BM25 के साथ
Answer
Embedding (semantic) search, आदर्श रूप से BM25 के साथ — Embeddings अलग शब्दांकन जोड़ते हैं; BM25 सटीक शब्द फिर भी सँभालता है।
त्वरित जाँच: कौन-सी संख्या सबसे अच्छी बताती है कि retrieval प्रमाण ढूँढ रहा है?
- औसत शब्द लंबाई
- Golden set पर Recall@k
- GPU temperature
- फ़ाइलों की संख्या
Answer
Golden set पर Recall@k — Recall@k मापता है कि प्रासंगिक chunks retrieved समूह में कितनी बार आते हैं।
त्वरित जाँच: प्रति-user दस्तावेज़ access लागू करने का सबसे सुरक्षित तरीक़ा क्या है?
- मॉडल से रहस्य न बताने को कहना
- Retrieval query में filter करना ताकि निषिद्ध पाठ कभी न आए
- UI में छिपाना
- Chunk आकार पर निर्भर रहना
Answer
Retrieval query में filter करना ताकि निषिद्ध पाठ कभी न आए — निषिद्ध पाठ prompt तक पहुँचे तो लीक हो सकता है।