केस स्टडी: Policy प्रश्न-उत्तर सहायक

डिज़ाइन

लक्ष्य: कर्मचारी HR सवाल पूछें और सटीक, स्रोत-सहित उत्तर पाएँ। डेटा: नीति PDFs को metadata (दस्तावेज़, अनुभाग, तिथि, देश) सहित overlapping chunks में बाँटना। Retrieval: कर्मचारी के देश से छना hybrid keyword + embedding search, फिर re-ranking। Prompt: system नियम ("सिर्फ़ दिए अंशों से उत्तर दें, अनुभाग उद्धृत करें, वरना कहें नहीं पता"), अंश, सवाल; कम temperature; answer और citations वाला JSON आउटपुट। सुरक्षा उपाय: कोड जाँचे कि हर citation retrieved अंशों में मौजूद है, दस्तावेज़ों पर prompt-injection filter, logs में व्यक्तिगत डेटा नहीं, और क़ानूनी या संवेदनशील विषयों पर मनुष्य को escalation। मूल्यांकन: संदर्भ उत्तरों वाले 100 असली सवाल, हर बदलाव पर शुद्धता, groundedness और refusal व्यवहार पर scored। संचालन: लागत, latency, thumbs-up/down feedback और अनुत्तरित सवाल मॉनिटर करें, और नीतियाँ बदलने पर index ताज़ा करें।

विचार से भरोसेमंद सुविधा तक

Prompting, retrieval, evaluation और सुरक्षा उपाय मिलाकर भरोसेमंद सुविधा बनाएँ।

एक पन्ने पर डिज़ाइन

हर पंक्ति इस कोर्स के एक खंड से जुड़ती है।

Tokens/cost     count tokens, cap output, cache the fixed prompt        (Sec 1, 5)
Retrieval       chunk + metadata filter + hybrid search + re-rank       (Sec 2, 5)
Prompt          answer only from excerpts, cite, abstain if unsure      (Sec 5)
Sampling        low temperature, JSON schema output                     (Sec 2, 5)
Guardrails      citation check in code, injection filter, no PII logs   (Sec 6)
Evaluation      100-question test set run on every change               (Sec 6)
Ops             monitor cost/latency/feedback, refresh index            (Sec 7)

त्वरित जाँच: सहायक कोड में citations क्यों सत्यापित करता है?

• मॉडल citations गढ़ सकते हैं, इसलिए उन्हें retrieved पाठ से जाँचना होगा
• उत्तर लंबे करने के लिए
• मॉडल प्रशिक्षित करने के लिए
• Citations कभी ग़लत नहीं होते