Guardrails क्यों

शक्ति और ग़लतियाँ

Coding agent files पढ़ सकता है, कोड बदल सकता है, shell commands चला सकता है और कभी-कभी network तक पहुँच सकता है, सब आपकी permissions से। बहुत अच्छा model भी कभी अनुरोध ग़लत पढ़ता है, शॉर्टकट लेता है, या ऐसा निर्देश मान लेता है जो उसे नहीं मानना था। अगर वह 99% सही है तो दिन में सौ कर्म करने वाला agent फिर भी एक बार ग़लत होगा। Guardrails पक्का करते हैं कि जब वह ग़लत हो तो नुक़सान छोटा, दिखाई देने वाला और पलटने योग्य हो।

Agent के चारों ओर परतें

कोई एक नियंत्रण काफ़ी नहीं। Permissions, sandbox, network, Git और review हर एक वह पकड़ता है जो बाक़ी चूकते हैं।

सिर्फ़ ब्रेक नहीं, सीट-बेल्ट भी

अच्छे ड्राइवर भी सीट-बेल्ट पहनते हैं, क्योंकि लक्ष्य दुर्घटना की उम्मीद नहीं बल्कि उससे बच निकलना है। Guardrails agent के काम की सीट-बेल्ट, एयरबैग और गति-सीमाएँ हैं।

सिर्फ़ prompt पर निर्भर न रहें

Prompt में "फ़ाइलें कभी न हटाओ" ऐसा अनुरोध है जिसे model अनदेखा कर सकता है या जिससे उसे हटाया जा सकता है। हटाने से रोकने वाला permission नियम system लागू करता है। जो भी मायने रखता है उसके लिए निर्देश की जगह प्रवर्तन चुनें।

त्वरित जाँच: Guardrails का मुख्य लक्ष्य क्या है?

• ग़लतियाँ असंभव बनाना
• Agent को धीमा करना
• ग़लतियों को छोटा, दिखाई देने वाला और पलटने योग्य बनाना
• Code review की जगह लेना