काम के Metrics

हर run का एक रिकॉर्ड

हर run के अंत में एक संरचित रिकॉर्ड लिखें: उपयोग हुए steps, input और output tokens, cost, घड़ी का समय, stop reason और tool calls की गिनती। इनका चार्ट दिखाता है कि सामान्य क्या है, कौन-से runs असामान्य हैं और prompt बदलाव से स्थिति सुधरी या बिगड़ी।

देखें, फिर परखें

जिस loop को आप देख नहीं सकते उसे ट्यून नहीं कर सकते, और जिसे परख नहीं सकते उस पर भरोसा नहीं कर सकते।

Run का सार रिकॉर्ड

इसे एक JSON पंक्ति के रूप में log करें ताकि tools filter और chart कर सकें। Secrets या पूरी user सामग्री शामिल न करें।

{"run_id":"r-8841","steps":9,"input_tokens":61200,"output_tokens":2400,
 "cost_usd":0.22,"seconds":41.7,"stop_reason":"end_turn",
 "tools":{"search":4,"read_file":3,"write_file":1}}

औसत नहीं, पूँछ देखें

औसत उस दुर्लभ run को छिपाता है जो पचास गुना महँगा है। 95वाँ percentile और अधिकतम ट्रैक करें, और कड़ी सीमा छूने वाले runs पर alert लगाएँ।

त्वरित जाँच: हर run का stop reason log क्यों करें?

• यह देखने के लिए कि runs कैसे ख़त्म होते हैं और कौन-सी सीमाएँ छुई जा रही हैं
• यह runs तेज़ करता है
• Logs क़ानूनन ज़रूरी हैं
• यह tokens बचाता है