पाठ 28 / 28
Revision: Cheat Sheet और Self-Check
पूरे कोर्स के मुख्य विचार दोहराएँ।
Cheat sheet
मूल: निर्देश और डेटा एक ही पाठ-धारा साझा करते हैं, इसलिए मॉडल जो भी पाठ पढ़े वह उसे मोड़ सकता है; मानें कि injection चलता है और प्रभाव क्षेत्र सीमित करें; lethal trifecta = निजी डेटा + अविश्वसनीय सामग्री + बाहरी संवाद। Injection: प्रत्यक्ष बनाम अप्रत्यक्ष; filters एक पतली परत हैं (पुनर्कथन, spacing, Unicode, encodings से बायपास); डेटा fence और लेबल करें; canary tokens prompt लीक पहचानते हैं; secrets prompts में कभी न रखें; क्षमता सीमाएँ सबसे मज़बूत परत। आउटपुट सँभाल: मॉडल आउटपुट को अविश्वसनीय इनपुट मानें: parameterised SQL, HTML escaping और सुरक्षित Markdown rendering (image/link निकासी पर नज़र), shell नहीं (argument lists + allow-lists), path सीमा, parse किए hostnames के साथ URL allow-lists और SSRF सुरक्षा, schema validation। स्वायत्तता: संकरे tools, न्यूनतम credentials, प्रति-user authorisation (confused deputy से बचें), argument सीमाओं वाला default-deny नीति engine, ठीक कार्रवाई से बँधा (हस्ताक्षरित) मानव अनुमोदन, redaction सहित audit logs। डेटा: PII न्यूनतम और redact करें, retrieval के भीतर access control, vector-store सुरक्षा, poisoning के विरुद्ध उत्पत्ति और ingestion स्वच्छता। Platform: मॉडल और packages pin व verify करें, pickle जैसे कोड-चलाने वाले formats से बचें, plugins और MCP servers जाँचें, rate limits, token/चरण सीमाएँ, ख़र्च सीमाएँ। संचालन: attack suite और regression tests, monitoring व alerts (canary hits, denials, लागत उछाल), kill switches, घटना runbook, शब्दांकन नहीं नियंत्रण ठीक करें।
त्वरित जाँच: Retrieved web page सहायक से ग्राहक सूची किसी बाहरी को ईमेल करने को कहता है। कौन-सा नियंत्रण सबसे भरोसे से नुक़सान रोकता है?
- विनम्र system prompt
- सहायक के पास असीमित ईमेल tool नहीं है और वह पूरी ग्राहक सूची तक नहीं पहुँच सकता
- अकेली keyword blocklist
- बड़ी context window
Answer
सहायक के पास असीमित ईमेल tool नहीं है और वह पूरी ग्राहक सूची तक नहीं पहुँच सकता — हेरफेर सफल होने पर भी क्षमता सीमाएँ नुक़सान बाँधती हैं।
त्वरित जाँच: मॉडल आउटपुट SQL string में डाला जाता है। सही सुधार क्या है?
- मॉडल से quotes से बचने को कहें
- Parameterised queries (और न्यूनतम-विशेषाधिकार database पहुँच) उपयोग करें
- Database हटाएँ
- बड़े अक्षर उपयोग करें
Answer
Parameterised queries (और न्यूनतम-विशेषाधिकार database पहुँच) उपयोग करें — Parameters मानों को SQL के रूप में व्याख्यायित होने से रोकते हैं।
त्वरित जाँच: RAG अनुमति filtering retrieval query में क्यों होनी चाहिए?
- यह सिर्फ़ दिखावटी है
- यह जानबूझकर retrieval धीमा करता है
- मॉडल अनुमतियाँ नहीं पढ़ सकते
- जो पाठ prompt तक पहुँचता है वह लीक हो सकता है, मॉडल को छिपाने को चाहे जो कहा जाए
Answer
जो पाठ prompt तक पहुँचता है वह लीक हो सकता है, मॉडल को छिपाने को चाहे जो कहा जाए — निषिद्ध सामग्री को prompt से पूरी तरह बाहर रखें।