केस स्टडी: Support Knowledge-Base सहायक

डिज़ाइन

लक्ष्य: support agents सवाल पूछें और help-centre लेखों के links सहित उत्तर पाएँ। Ingestion: रात्रिकालीन crawl और संपादनों पर webhook; साफ़ पाठ निकालें, headings रखें, अनुभाग के अनुसार लेख-शीर्षक आगे जोड़कर 300-token chunks में बाँटें; उत्पाद, भाषा, दर्शक (सार्वजनिक या आंतरिक), लेख संस्करण और URL का metadata। Retrieval: RRF से मिले hybrid BM25 + embeddings, उत्पाद व दर्शक से छने, शीर्ष 30 में से 5 rerank। Generation: सिर्फ़ क्रमांकित अंशों से उत्तर देने, [n] से cite करने, वरना "नहीं मिला" कहने के निर्देश, JSON आउटपुट। सुरक्षा उपाय: कोड citation IDs सत्यापित करे, groundedness जाँच कमज़ोर उत्तर चिह्नित करे, injection-प्रतिरोधी शब्दांकन, और आंतरिक लेख बाहरी users तक कभी न पहुँचें। मूल्यांकन: 20 अनुत्तरणीय सहित 150-सवालों का golden set, हर बदलाव पर recall@5, faithfulness, refusal सटीकता, latency और लागत का ट्रैक। संचालन: वृद्धिशील re-indexing, deletion सँभाल, feedback बटन और विफल सवालों की साप्ताहिक समीक्षा।

मापा हुआ, भरोसेमंद सहायक

Ingestion, hybrid retrieval, आधारित generation और evaluation को एक भरोसेमंद system में जोड़ें।

एक पन्ने पर डिज़ाइन

हर पंक्ति इस कोर्स के एक खंड से जुड़ती है।

Ingest      clean text, section chunks (300 tok), title prefix, metadata   (Sec 2)
Retrieve    BM25 + embeddings -> RRF -> filter -> rerank 30->5              (Sec 3, 4)
Generate    numbered excerpts, cite [n], "not found" allowed, JSON          (Sec 5)
Guard       citation-ID check, groundedness flag, injection wording, ACLs   (Sec 5, 7)
Evaluate    150-question golden set incl. unanswerable; recall@5, faithful  (Sec 6)
Operate     incremental index, deletes, feedback, weekly failure review     (Sec 7)

त्वरित जाँच: आंतरिक लेख retrieval query में क्यों छाने जाते हैं?

• ताकि बाहरी users को आंतरिक सामग्री कभी न मिले
• Font तेज़ करने के लिए
• Chunks बड़े करने के लिए
• क्योंकि embeddings उन्हें नापसंद करते हैं