Fallbacks और शालीन गिरावट

हर निर्भरता के लिए Plan B

कोई भी बाहरी API कभी धीमी या अनुपलब्ध होगी। पहले से तय करें कि आपका उत्पाद क्या करेगा: साफ़ संदेश दिखाएँ और user को retry करने दें; अनुरोध queue करें और पूरा होने पर सूचित करें; cached या सरल उत्तर दें; दूसरे मॉडल या provider पर जाएँ (prompts और parsing provider-निरपेक्ष रखें, और fallback को नियमित परखें); या मनुष्य को सौंपें। Circuit breaker उपयोग करें ताकि बार-बार विफलता के बाद आप timeouts ढेर करने की जगह थोड़ी देर call करना रोकें। Error दर, latency percentiles और fallback उपयोग मॉनिटर करें, और बदलने पर alert दें। शालीन विफलता सुविधा का हिस्सा है, बाद का विचार नहीं।

त्वरित जाँच: बार-बार विफलता के बाद circuit breaker क्या करता है?

• Timeouts ढेर होने से बचाने को कुछ देर calls रोकता है
• API key हटाता है
• Retries दोगुने करता है
• Logging बंद करता है