पाठ 20 / 25

Budgets और Rate Limits

हर session के लिए steps, समय, tokens और जोखिम भरे कर्मों की सीमा तय करें।

एक session कितना नुक़सान कर सकता है, सीमित करें

पूरे session पर लागू सीमाएँ जोड़ें: अधिकतम steps, घड़ी का समय, tokens या ख़र्च, और जोखिम भरे कर्मों की सीमा (जैसे 5 से ज़्यादा file deletions या 3 package installs नहीं)। सीमा छूने पर agent रुके और इंसान से जारी रखने को पूछे। यह उन loops और बेक़ाबू व्यवहार को पकड़ता है जिन्हें कोई एक कर्म-जाँच नहीं देखती।

सरल कर्म सीमक, चलाकर

मैंने यह चलाया। 3 की सीमा के साथ पहले तीन जोखिम भरे कर्म पास होते हैं और अगले दो अस्वीकार।

class Limiter:
    def __init__(self, n): self.n, self.used = n, 0
    def hit(self):
        self.used += 1
        return self.used <= self.n

l = Limiter(3)
print([l.hit() for _ in range(5)])

Output:

[True, True, True, False, False]

सीमा पर इंसान से पूछें

Budget छूने पर दिखाएँ कि agent ने क्या किया और आगे क्या करना चाहता था। तब व्यक्ति जानबूझकर सीमा बढ़ा सकता है, agent के चुपचाप चलते रहने की जगह।

त्वरित जाँच: Session-वार budget क्या पकड़ता है जो प्रति-कर्म जाँचें चूकती हैं?

  • वर्तनी की ग़लतियाँ
  • कई व्यक्तिगत रूप से ठीक कर्मों में फैले loops और बेक़ाबू व्यवहार
  • धीमे keyboards
  • छूटे semicolons
Answer

कई व्यक्तिगत रूप से ठीक कर्मों में फैले loops और बेक़ाबू व्यवहार — हर कर्म अकेले ठीक दिख सकता है जबकि कुल स्पष्ट रूप से ज़्यादा है।