Usage ट्रैक करना और Budgets तय करना

जो नहीं मापते वह चौंकाएगा

हर response में usage होता है। उसे प्रति अनुरोध user या tenant, सुविधा, मॉडल और prompt संस्करण के साथ दर्ज करें, ताकि "कौन-सी सुविधा सबसे महँगी है?" और "कौन-सा ग्राहक महँगा है?" का उत्तर दे सकें। Provider console और अपने कोड में बजट और alerts लगाएँ (प्रति-user दैनिक token सीमा, प्रति अनुरोध सीमा, मासिक सीमा जो ग़ैर-ज़रूरी सुविधाएँ बंद करे)। दुरुपयोग और bugs के विरुद्ध guardrails जोड़ें: max_tokens सीमित करें, agents में loop चरण सीमित करें, इनपुट आकार सीमित करें, users को rate-limit करें। सबसे महँगे अनुरोधों की नियमित समीक्षा करें; वे अक्सर बहुत लंबा हुआ prompt या कभी न रुकने वाला loop उजागर करते हैं।

बजट guard, चलाकर

मैंने यह सादा-Python (सिर्फ़ standard library) उदाहरण चलाया। तीन calls के बाद tracker 6,000-token बजट में से 5,700 उपयोग कर चुका है। 1,000-token का अनुरोध इसे पार करेगा और अस्वीकृत है; 300-token का अनुरोध ठीक बैठता है और अनुमत है।

class UsageTracker:
    def __init__(self, budget_tokens):
        self.budget, self.used, self.calls = budget_tokens, 0, 0
    def record(self, input_tokens, output_tokens):
        self.used += input_tokens + output_tokens; self.calls += 1
    def allow_next(self, estimate):
        return self.used + estimate <= self.budget

t = UsageTracker(budget_tokens=6000)
for inp, out in [(1200, 300), (1500, 400), (1800, 500)]:
    t.record(inp, out)
print("used", t.used, "of", t.budget, "after", t.calls, "calls")
print("allow a 1000-token call?", t.allow_next(1000))
print("allow a 300-token call? ", t.allow_next(300))

Output:

used 5700 of 6000 after 3 calls
allow a 1000-token call? False
allow a 300-token call?  True

त्वरित जाँच: Usage को feature और user labels के साथ क्यों दर्ज करें?

• मॉडल तेज़ करने के लिए
• यह जानने के लिए कि कौन-सी सुविधाएँ और ग्राहक लागत बढ़ाते हैं
• Keys से बचने के लिए
• क्योंकि API को यह चाहिए