# चरणबद्ध Rollouts, Shadow Mode और Rollback — LLM Engineering की बुनियाद

Source: https://www.geekswithgeeks.com/hi/llm-engineering/s-release

> Prompt और मॉडल बदलाव क्रमिक रूप से जारी करें और उन्हें पलटने में सक्षम रहें।

## पहले थोड़े traffic पर साबित करें

Offline मूल्यांकन पास करने के बाद भी बदलाव असली traffic पर अलग व्यवहार कर सकता है। चरणों में जारी करें: **shadow mode** (live अनुरोधों पर नया संस्करण समानांतर चलाएँ, आउटपुट log करें, users को पुराना दिखाएँ, ऑफ़लाइन तुलना करें); **canary** (traffic का 1 से 5% नए संस्करण को भेजें और गुणवत्ता, latency, लागत, error व प्रतिक्रिया metrics देखें); फिर संख्याएँ टिकें तो **बढ़ाएँ** (25%, 50%, 100%)। **पुराना संस्करण** तैनात रखें और redeploy की जगह configuration या feature flag से नियंत्रित एक-चरण **rollback** रखें। User-दिखने वाले बदलावों के लिए स्पष्ट सफलता metric और उस अंतर को पहचानने लायक़ पर्याप्त traffic के साथ **A/B test** चलाएँ; शोर के सबक़ याद रखें: छोटे अंतरों को कई नमूने चाहिए। पहले से तय करें कि कौन-सा परिणाम rollback ट्रिगर करता है, और कौन निर्णय करता है। बदलाव support और product टीमों को बताएँ ताकि उन्हें पता हो व्यवहार कब बदलता है।

## Rollout योजना

हर चरण की अवधि, देखने की सूची और rollback नियम है। संख्याएँ उदाहरण हैं।

```text
stage        traffic   duration   watch                                   rollback if
shadow       0% (logged) 2 days    judge score vs old, cost, latency        new version loses by > noise margin
canary       2%        1 day      validity rate, p95, thumbs-down, cost    p95 +30% or validity < 99%
ramp 1       25%       2 days     same + category breakdown                any category -5 points
ramp 2       50%       2 days     same                                     any critical safety event
full         100%      keep old   dashboards + alerts                      one-step switch to previous release
```

## Rollback नियम पहले तय करें

लिखें कि कौन-सा परिणाम rollback ट्रिगर करता है और कौन निर्णय करता है।

**Quiz:** Shadow mode क्या करता है?

- [ ] पुराना संस्करण हटाता है
- [ ] नया संस्करण तुरंत सबको दिखाता है
- [x] नए संस्करण को live अनुरोधों पर चलाता है, उसका आउटपुट users को दिखाए बिना, तुलना के लिए
- [ ] Logging बंद करता है

*Answer:* नए संस्करण को live अनुरोधों पर चलाता है, उसका आउटपुट users को दिखाए बिना, तुलना के लिए. यह users के जोखिम के बिना असली-traffic प्रमाण देता है।