Agentic Apps के लिए Guardrails

स्वायत्तता को सीमाएँ चाहिए

Agents पाठ पर कार्य करते हैं, और पाठ शत्रुतापूर्ण हो सकता है (web page, ईमेल या दस्तावेज़ में prompt injection)। बचाव: tools को न्यूनतम विशेषाधिकार दें (जहाँ संभव केवल-पढ़ना, सीमित credentials, allow-list की कार्रवाइयाँ और domains); कोड में tool arguments validate करें; अपरिवर्तनीय या महँगी कार्रवाइयों (भुगतान, हटाना, बाहरी ईमेल) के लिए मानव अनुमोदन माँगें; कोड sandbox में चलाएँ; retrieved या tool आउटपुट को डेटा मानें, निर्देश नहीं; चरण, token, समय और लागत सीमाएँ रखें; audit के लिए हर call log करें; और विरोधी उदाहरणों से परखें। जब भी संभव हो खुली स्वायत्तता की जगह सरल, सीमित workflows चुनें।

पूछें: इस tool का सबसे बुरा असर क्या हो सकता है?

उत्तर डरावना हो तो अनुमोदन चरण जोड़ें या tool हटाएँ।

त्वरित जाँच: किस कार्रवाई को मानव अनुमोदन की सबसे स्पष्ट ज़रूरत है?

• तिथि format करना
• सार्वजनिक FAQ पढ़ना
• ग्राहक को refund जारी करना
• शब्द गिनना