केस स्टडी: Support Assistant का Launch

Launch checklist

Safety: PII masking, review band के साथ input व output moderation, help-centre लेखों में आधारित उद्धरण सहित उत्तर, "मुझे नहीं पता" की अनुमति, खातों में बदलाव करने वाले tools नहीं, प्रति-user rate limits, injection tests। Evaluation: हिंदी और अंग्रेज़ी slices वाले 250 labelled मामले; तभी शिप करें जब grounded-correct कम से कम 90% हो और निचली confidence सीमा 85% से ऊपर हो, और कोई slice 8 अंक से ज़्यादा पीछे न हो। Monitoring: प्रति अनुरोध trace, p95 latency, thumbs-down दर और moderation-block alerts। Cost: alerts सहित मासिक budget, स्थिर निर्देशों पर prompt caching, FAQ-प्रकार के सवालों के लिए छोटा model और बाक़ी के लिए ज़्यादा सक्षम।

सुरक्षित, मापा हुआ और किफ़ायती

असली launch को safeguards, evaluation gate, monitoring और cost योजना साथ में चाहिए।

एक पन्ने पर launch gate

हर पंक्ति इस कोर्स के एक खंड से जुड़ती है। अंक अपनाने के लिए उदाहरण हैं।

Safeguards   PII mask, moderation + review band, grounding check      (Sec 1-3)
Responsible   system card, AI disclosure, human handoff, Hindi slice tested (Sec 4)
Evaluation    250 cases; >= 90% (lower bound > 85%); slice gap <= 8 pts   (Sec 5)
Regression    eval runs in CI on every prompt/model change                 (Sec 5)
Monitoring    traces, p95 latency, feedback, moderation + cost alerts      (Sec 6)
Cost          budget + alerts, caching, routing, per-user token limits     (Sec 7)

छोटे से launch करें, फिर बढ़ाएँ

पहले users के छोटे हिस्से को जारी करें, dashboards और प्रतिक्रिया देखें, जो मिले उसे ठीक करें, फिर दायरा बढ़ाएँ। चरणबद्ध rollout उस हर चीज़ का असर सीमित करता है जो आपके tests चूक गए।

त्वरित जाँच: पहले users के छोटे हिस्से को जारी क्यों करें?

• क्योंकि छोटे launch मुफ़्त हैं
• प्रतिक्रिया इकट्ठा करने से बचने के लिए
• उन समस्याओं का असर सीमित करने के लिए जो आपके tests चूक गए
• Evaluation छोड़ने के लिए