पाठ 17 / 29
लंबे इतिहास सँभालना: Trim और Summarise
Message सूची को मॉडल की context window के भीतर रखें।
बढ़ती सूची बढ़ता बिल है
Message इतिहास हर turn और tool call के साथ बढ़ता है जब तक context window और बिल पार न हो जाए। रणनीतियाँ: अंतिम N messages या token बजट तक trim (system संदेश और पिन किए तथ्य रखकर); पुराने messages का एक छोटे संदेश में सार करके वही रखना; भारी tool आउटपुट छानना (कच्चा डेटा कहीं और रखें और messages में छोटा परिणाम रखें); और टिकाऊ तथ्य दीर्घकालिक स्मृति में ले जाना। Trimming मॉडल call से पहले समर्पित node या message-तैयारी चरण में करें, ताकि संचित इतिहास audit के लिए पूरा रहे और मॉडल को सिर्फ़ वही दिखे जो चाहिए।
मॉडल के लिए trim करें, पूरा log रखें
मॉडल call को trim की हुई प्रति दें पर debugging और audits के लिए checkpoint में पूरा इतिहास रखें।
त्वरित जाँच: पुराने messages का सार क्यों करें?
- Tools बंद करने के लिए
- Thread हटाने के लिए
- मुख्य जानकारी बचाते हुए context छोटा और सस्ता रखने के लिए
- Recursion limit बढ़ाने के लिए
Answer
मुख्य जानकारी बचाते हुए context छोटा और सस्ता रखने के लिए — सार इतिहास को संपीड़ित करते हैं ताकि वह window में समाए।