घटना-प्रतिक्रिया और सुरक्षित विकास आदतें

ज़रूरत से पहले पहले घंटे की योजना बनाएँ

LLM घटना होने पर (उत्तर में डेटा लीक, tool का दुरुपयोग, विशाल बिल, सार्वजनिक रूप से पोस्ट हानिकारक आउटपुट) प्रतिक्रिया का सामान्य रूप होता है। रोकें: tool, सुविधा या पूरा सहायक बंद करने, user को रोकने, उजागर credentials rotate करने और prompt या मॉडल संस्करण वापस लेने के switches रखें। जाँचें: audit logs से देखें क्या पूछा गया, क्या retrieve हुआ, कौन-से tools किसकी अनुमतियों से चले। सूचित करें: अपने डेटा-उल्लंघन और ग्राहक-संचार दायित्व निभाएँ। ठीक करें और परखें: कमज़ोरी बंद करें (आम तौर पर ग़ायब नियंत्रण, बेहतर prompt नहीं), हमले को regression suite में जोड़ें, और सत्यापित करें। सीखें: दोषारोपण-रहित समीक्षा करें और threat model अद्यतन करें। आदतों के रूप में: हर नई क्षमता का threat model बनाएँ, AI सुविधाओं की code review में सुरक्षा checklist से समीक्षा करें, secrets prompts से बाहर रखें, न्यूनतम विशेषाधिकार मानें, dependencies pin रखें, और टीम को prompt injection पर प्रशिक्षित करें। अपने ऊपर लागू मानकों और क़ानूनों से तालमेल रखें।

LLM घटना runbook

अपने system के लिए स्वामी और switches भरें।

1. CONTAIN   disable feature flag "assistant-tools"; block user/IP; rotate exposed keys; pin previous prompt+model
2. PRESERVE  snapshot audit logs, prompts, retrieved chunks, tool calls (access-controlled)
3. ASSESS    what data/actions were reachable? which users affected? was it exfiltrated or only exposed?
4. NOTIFY    security lead, legal/privacy, affected customers as required by contract and law
5. FIX       add the missing control (permission, filter in retrieval, approval, cap); not just a prompt tweak
6. TEST      add the attack to the regression suite; re-run the full attack suite
7. LEARN     blameless review; update threat model and runbook

Kill switch का अभ्यास करें

अभ्यास करें: staging में tool बंद करें और पुष्टि करें कि app शालीनता से घटता है।

त्वरित जाँच: घटना के बाद आम तौर पर सही प्रकार का सुधार क्या होता है?

• ग़ायब नियंत्रण (अनुमतियाँ, validation, सीमाएँ) और regression test जोड़ना
• सिर्फ़ system prompt के शब्द बदलना
• आशा करना कि दोबारा न हो
• Logs हटाना