Revision: Cheat Sheet और Self-Check

Cheat sheet

मानसिकता: LLM आउटपुट अनिश्चित और निर्दिष्ट करना कठिन है, इसलिए उसके आसपास engineering करें: मापें, version करें, द्वार लगाएँ, देखें, बाँधें। परिभाषित: बनाने से पहले metrics और लक्ष्य (गुणवत्ता, faithfulness, वैधता, latency, लागत, सुरक्षा, व्यावसायिक प्रभाव); चरणबद्ध रास्ता prototype, eval set, दोहराव, मज़बूती, pilot, rollout, संचालन। मूल्यांकन: पहले programmatic scorers वाला harness; श्रेणियाँ और held-out set; confidence intervals (bootstrap) क्योंकि छोटे sets शोर वाले हैं; असहमतियों पर paired sign test; LLM-as-judge को calibration (कच्ची सहमति नहीं, kappa) और क्रम बदलना चाहिए; leakage से बचें (n-gram overlap जाँच)। Engineering: release ID सहित versioned बंडल के रूप में prompt+मॉडल+settings; गुणवत्ता, सुरक्षा, latency, लागत पर CI द्वार; validation और सीमित repair loop सहित संरचित आउटपुट; पहले prompting, फिर RAG, फिर fine-tuning (LoRA weights के अंश को प्रशिक्षित करता है)। अनुकूलन: सटीक, normalised और semantic caching; सिरे-से-सिरे आँके cascades/routers; percentiles, timeouts, streaming, hedging; क्षमता के लिए Little का नियम; प्रति हल कार्य लागत। संचालन: spans वाले traces; drift (PSI) और गुणवत्ता sampling; परतदार विफलता-सँभाल और विफलता अभ्यास; संख्याओं से hosted बनाम self-hosted; memory, batching, quantisation; shadow, canary, ramp, एक-चरण rollback। शासन: सुरक्षा की बुनियाद, privacy व डेटा-प्रवाह नक़्शे, system card, भूमिकाएँ, दोषारोपण-रहित समीक्षाएँ।

त्वरित जाँच: 40 में से prompt B, prompt A से 3 और मामले पास करता है, और A वे 2 पास करता है जो B विफल। क्या B स्पष्ट रूप से बेहतर है?

• हाँ, हमेशा ऊँचा score चुनें
• नहीं: 5 बनाम 2 असहमतियाँ शोर के भीतर हैं; निर्णय से पहले और मामले जुटाएँ
• हाँ, क्योंकि B नया है
• दोनों आँके नहीं जा सकते

त्वरित जाँच: आपका LLM judge मनुष्यों से 70% सहमत है, पर 70% labels "good" हैं। आपको क्या जाँचना चाहिए?

• क्या judge rubric से लंबा है
• कुछ नहीं, 70% शानदार है
• Prompt का font
• Cohen's kappa, क्योंकि label असंतुलन से कच्ची सहमति फूली हुई है

त्वरित जाँच: अनुरोध प्रति सेकंड 40 हैं और प्रत्येक औसतन 5 सेकंड लेता है। एक साथ लगभग कितने उड़ान में हैं?

• 200
• 8
• 45
• 0.125