Context Window का बँटवारा

हिस्सों की योजना

Window को निश्चित पाई की तरह सोचें। System prompt और tool परिभाषाएँ स्थिर लागत हैं जो हर बारी चुकानी पड़ती है। इतिहास बढ़ता हिस्सा है। Reply को आरक्षित जगह चाहिए, क्योंकि इतिहास window भर दे तो उत्तर के लिए जगह नहीं बचती। एक trigger तय करें, जैसे "इतिहास window के 60% से ऊपर जाए तो छँटाई शुरू करें"।

योजना तालिका

अंक 200,000-token window का उदाहरण हैं। अपने model और काम के अनुसार बदलें।

Window                       200,000
- System prompt + tool defs    -6,000   (fixed, every turn)
- Output reserve              -16,000   (max_tokens + safety)
= Available for history       178,000
Start trimming at 60%         ~107,000

Tool परिभाषाएँ जुड़ती जाती हैं

लंबे descriptions वाले पचास tools हर बारी हज़ारों tokens ख़र्च करा सकते हैं। सिर्फ़ मौजूदा काम से जुड़े tools लोड करें।

त्वरित जाँच: Model के reply के लिए जगह क्यों आरक्षित करें?

• Replies मुफ़्त हैं
• इतिहास window भर दे तो उत्तर के लिए जगह नहीं बचती
• यह tools को तेज़ बनाता है
• API को reserve flag चाहिए