पाठ 27 / 27

Revision: Cheat Sheet और Self-Check

पूरे कोर्स के मुख्य विचार दोहराएँ।

Cheat sheet

बुनियाद: HTTPS + JSON, stateless (इतिहास दोबारा भेजें), key environment variable या secrets manager में, client कोड में कभी नहीं; Anthropic /v1/messages (x-api-key, anthropic-version, शीर्ष-स्तर system, आवश्यक max_tokens, content[0].text, stop_reason) बनाम OpenAI Chat Completions (Authorization: Bearer, system message, choices[0].message.content, finish_reason); नई OpenAI Responses API भी है; मॉडल नाम बदलते हैं, config में रखें। Parameters: max_tokens (कटाव जाँचें), निष्कर्षण के लिए कम temperature, temperature/top_p में से एक, stop sequences। आउटपुट: JSON माँगें, निकालें, validate करें, error के साथ retry। Streaming: SSE events, पाठ जोड़ें, upstream रद्द करें, backend से relay। Tools: मॉडल माँगता है, आपका कोड validate करके चलाता है, tool_result / role: "tool" messages लौटाएँ, loop सीमा, न्यूनतम विशेषाधिकार, अनुमोदन। भरोसेमंदी: 429/5xx/timeouts को exponential backoff + jitter और सीमा के साथ retry, 400/401 कभी retry नहीं, retry-after मानें, concurrency सीमित, timeouts, fallbacks, circuit breaker। लागत: input/output tokens अलग क़ीमत; इतिहास, system prompt और tool परिभाषाएँ हर call पर गिने जाते हैं; trim, output सीमा, छोटा मॉडल, prompt caching, batch; प्रति सुविधा usage ट्रैक। सुरक्षा: logs redact, आउटपुट escape, injection बचाव, डेटा न्यूनतमीकरण। Testing: integration के लिए fake server; गुणवत्ता के लिए अलग eval set।

त्वरित जाँच: आपकी call 429 Too Many Requests लौटाती है। सही प्रतिक्रिया क्या है?

  • हार मानें और डेटा हटाएँ
  • तंग loop में तुरंत retry करें
  • API key बदलें
  • Exponential backoff और jitter के साथ प्रतीक्षा करें, retry-after मानें, फिर सीमित बार retry करें
Answer

Exponential backoff और jitter के साथ प्रतीक्षा करें, retry-after मानें, फिर सीमित बार retry करें — 429 अस्थायी है; विनम्र, सीमित retries आम तौर पर सफल होते हैं।

त्वरित जाँच: उत्तर `stop_reason "max_tokens"` के साथ रुका। इसका क्या अर्थ है?

  • मॉडल ने पूरी तरह समाप्त किया
  • आउटपुट आपकी सीमा पर कट गया और अधूरा हो सकता है
  • Key expire हुई
  • Tool माँगा गया
Answer

आउटपुट आपकी सीमा पर कट गया और अधूरा हो सकता है — कटाव सँभालना होगा: सीमा बढ़ाएँ, अनुरोध छोटा करें या आगे बढ़ाएँ।

त्वरित जाँच: Tool-उपयोगी सहायक में "user सिर्फ़ अपने orders देखे" लागू करने की सबसे सुरक्षित जगह कौन-सी है?

  • सिर्फ़ system prompt में
  • Tool कोड में, प्रमाणित user id से filter करके
  • मॉडल के temperature में
  • Browser में
Answer

Tool कोड में, प्रमाणित user id से filter करके — Server-side कोड प्रवर्तन को चालाक prompting से टाला नहीं जा सकता।