AI के लिए Budgets, Quotas और FinOps

ख़र्च को दिखाई देने वाला और सीमित बनाएँ

हर अनुरोध पर feature, टीम और environment का tag लगाएँ ताकि दिखे कि कौन कितना ख़र्च करता है। कड़ी सीमाएँ (provider-पक्ष की ख़र्च सीमाएँ, प्रति-key quotas, प्रति-user token सीमाएँ) और मासिक budget के, मान लें, 50%, 80% और 100% पर नरम alerts लगाएँ। Development, testing और production के लिए अलग API keys रखें ताकि test script production budget ख़त्म न कर सके। बिल की नियमित समीक्षा करें और पूछें कि क्या हर बड़ा ख़र्च मूल्य ख़रीद रहा है।

Budget नीति

इसे लिख लें ताकि alerts और सीमाओं के मालिक हों। यहाँ अंक उदाहरण के लिए हैं।

Monthly AI budget      1,000 USD  (support assistant 600, search 250, internal 150)
Soft alerts             50% / 80% / 100%  -> Slack #ai-costs + feature owner
Hard limits             provider spend cap at 110%; per-user 200k tokens/day
Keys                    dev, staging, prod are separate; prod key not in CI
Monthly review          cost per resolved ticket; top 5 costly prompts; routing hit-rate

त्वरित जाँच: Development और production के लिए अलग API keys क्यों उपयोग करें?

• ताकि test script production budget ख़त्म न कर सके, और ख़र्च का श्रेय तय हो सके
• Keys क़ानूनन अनोखी होनी चाहिए
• यह model को तेज़ बनाता है
• यह budgets की ज़रूरत हटाता है