# Prototype से Production तक: चरणबद्ध रास्ता — LLM Engineering की बुनियाद

Source: https://www.geekswithgeeks.com/hi/llm-engineering/i-path

> चरणों से गुज़रें, हर एक की प्रवेश शर्तों के साथ।

## हर चरण कमाएँ

समझदार रास्ता: (1) **Prototype**: मज़बूत मॉडल से मुट्ठी भर उदाहरणों पर साबित करें कि विचार चलता है; कोई प्रतिबद्धता नहीं। (2) **मूल्यांकन set**: 50 से 200 यथार्थवादी मामले और scoring तरीक़ा जुटाएँ; अब आपके पास baseline है। (3) **दोहराएँ**: prompts, retrieval, मॉडल चुनाव सुधारें, और हर बदलाव set के विरुद्ध मापें; सबसे सस्ती configuration चुनें जो लक्ष्य पूरा करे। (4) **मज़बूत करें**: validation, retries, timeouts, सुरक्षा नियंत्रण, access control, logging और लागत सीमाएँ जोड़ें। (5) **Pilot**: छोटे समूह या shadow mode (मनुष्यों के साथ चलना बिना कार्य किए) में जारी करें और असली परिणामों से तुलना करें। (6) monitoring और rollback switch के साथ **क्रमिक rollout**। (7) **संचालन**: गुणवत्ता, लागत और drift देखें; विफलताएँ test set में लौटाएँ। हर चरण की **प्रवेश शर्तें** हैं (जैसे "ऑफ़लाइन set पर लक्ष्य गुणवत्ता पाई") ताकि आप आगे न कूदें। कई परियोजनाएँ चरण 1 पर अटकती हैं क्योंकि वे मूल्यांकन set कभी नहीं बनातीं; यही सबसे मूल्यवान शुरुआती निवेश है।

## चरण और उनकी प्रवेश शर्तें

कारण के बिना चरण न छोड़ें।

```text
Stage          Entry criterion                                  Output
prototype      an idea and a few examples                       "it can work"
eval set       prototype shows promise                          50-200 cases + scorer + baseline
iterate        eval set exists                                  config that hits the quality target at acceptable cost
harden         quality target met offline                       validation, retries, ACLs, caps, logging
pilot/shadow   hardening checklist done; red-team suite passes  real-world comparison with humans
rollout        pilot meets targets                              gradual traffic, alerts, rollback switch
operate        in production                                    dashboards; failures feed the eval set
```

## Users से पहले shadow

मनुष्यों के साथ बिना कार्य किए चलना असली इनपुट पर system का व्यवहार जानने का सबसे सुरक्षित तरीक़ा है।

**Quiz:** LLM परियोजना में सबसे मूल्यवान शुरुआती निवेश क्या है?

- [ ] सबसे लंबा संभव system prompt
- [x] स्कोरिंग तरीक़े के साथ यथार्थवादी मूल्यांकन set
- [ ] उपलब्ध सबसे बड़ा मॉडल
- [ ] आकर्षक logo

*Answer:* स्कोरिंग तरीक़े के साथ यथार्थवादी मूल्यांकन set. बाक़ी सब मापने की क्षमता पर निर्भर है।