निगरानी और निरंतर सुधार

लॉन्च के बाद का चक्र

लॉन्च के बाद गुणवत्ता संकेत (validation विफलता दर, retry दर, refusal दर, thumbs up/down, मनुष्यों को escalation), latency, token उपयोग और लागत, और drift (users के सवाल बदलते हैं; provider मॉडल अद्यतन करता है) ट्रैक करें। Privacy सुरक्षा के साथ साप्ताहिक असली बातचीत का नमूना लें, विफलताओं को label करें, उन्हें test set में जोड़ें, prompt समायोजित करें, परखें, और नए संस्करण के रूप में जारी करें। इन संख्याओं में अचानक बदलाव पर alert लगाएँ। देखना, परखना, ठीक करना और जारी करना का यह चक्र prompt-आधारित उत्पाद को समय के साथ भरोसेमंद रखता है।

त्वरित जाँच: सुधार का चक्र क्या पूरा करता है?

• मॉडल random बदलना
• शिकायतें अनदेखी करना
• Logs हटाना
• Prompt बदलने से पहले असली विफलताएँ test set में जोड़ना