क्या बिगड़ सकता है

जोखिम के छह परिवार

(1) विनाशकारी कर्म: rm -rf, database drop करना, force-push। (2) Secret का उजागर होना: .env पढ़ना या keys को model या server को भेजना। (3) Prompt injection: files, issues या web pages में छिपे निर्देश। (4) Supply chain: ग़लत या दुर्भावनापूर्ण package install करना। (5) दायरा बढ़ना: उन files को बदलना जिनके बारे में आपने कहा ही नहीं, जैसे CI या infrastructure। (6) बेक़ाबू ख़र्च या समय: loops जो ख़त्म नहीं होते। हर एक को अपना नियंत्रण चाहिए।

जोखिम से नियंत्रण का नक़्शा

इसे checklist की तरह उपयोग करें: हर पंक्ति के लिए कम से कम एक नियंत्रण का नाम बता सकें।

Risk                    First control
Destructive actions     command policy + sandbox + branch
Secret exposure         deny secret paths, scrub env, redact
Prompt injection        least privilege, no network by default
Supply chain            approval for installs, lockfile review
Scope creep             protected paths, diff size gate
Runaway cost/time       step, time and token budgets

सबसे बुरे मामले से शुरू करें

पूछें: अगर यह agent पूरी तरह बहका दिया जाए तो आज के access से वह अधिकतम क्या कर सकता है? पहले उस सबसे बुरे मामले को घटाएँ, फिर संभावना पर काम करें।

त्वरित जाँच: Typo ठीक करने को कहने पर agent CI workflow बदल देता है। यह कौन-सा जोखिम परिवार है?

• दायरा बढ़ना
• Network latency
• Font rendering
• Cache misses