क्या log करें और देखें

व्यवहार दिखाई देने योग्य बनाएँ

हर अनुरोध के लिए trace दर्ज करें: model और version, prompt template version, retrieved दस्तावेज़ IDs, tool calls, token गिनती, latency, ख़र्च, लिए गए safety निर्णय, और user की प्रतिक्रिया (thumbs, edits, escalations)। व्यक्तिगत डेटा छिपाएँ और logs पढ़ने वालों को सीमित रखें। इनसे आप जवाब दे सकते हैं "उसने ऐसा क्यों कहा?", अपने evaluation set में जोड़ने के लिए नए विफलता पैटर्न खोज सकते हैं, और देख सकते हैं कि गुणवत्ता, safety या ख़र्च कब बदल रहा है।

देखें कि असल में क्या होता है

Launch के बाद गुणवत्ता, safety और ख़र्च बदलते रहते हैं, इसलिए संकेत इकट्ठे करें और alerts लगाएँ।

एक trace रिकॉर्ड

इसे एक JSON पंक्ति के रूप में log करें ताकि tools खोज और चार्ट कर सकें। कच्चा व्यक्तिगत डेटा नहीं।

{"request_id":"r-5521","model":"model-x","prompt_version":"v14",
 "docs":["kb-102","kb-377"],"tools":[],"input_tokens":1480,"output_tokens":212,
 "latency_s":1.9,"cost_usd":0.0076,"moderation":"pass","grounded":true,
 "feedback":"thumbs_down","pii_masked":2}

हर चीज़ का version रखें

Prompts, retrieval settings और models व्यवहार बदलते हैं। हर trace में version लेबल रखने से आप गुणवत्ता गिरने को उस ठीक बदलाव से जोड़ सकते हैं जिसने उसे किया।

त्वरित जाँच: हर trace में prompt version क्यों दर्ज करें?

• व्यवहार में बदलाव को उस ठीक version से जोड़ने के लिए जिसने उसे किया
• क्योंकि logs लंबे होने चाहिए
• Prompt छिपाने के लिए
• यह अपने आप ख़र्च घटाता है