AI Guardrails और Cost Control

Prompts सुरक्षा नहीं हैं

आपके agent द्वारा पढ़ा गया text (emails, web pages, tickets) prompt injection रख सकता है: छिपे निर्देश जो उसे आपके विरुद्ध काम कराने की कोशिश करते हैं। Model से "ऐसे निर्देश अनदेखे करो" कहना सिर्फ़ आंशिक मदद करता है। भरोसेमंद बचाव संरचनात्मक हैं: agent को सिर्फ़ ज़रूरी tools दें, write कर्म अलग रखें, जोखिम भरे steps पर इंसानी मंज़ूरी माँगें (जैसे Slack या email में मंज़ूरी अनुरोध भेजकर प्रतीक्षा करना), model output का उपयोग करने से पहले उसे जाँचें, और iteration सीमा रखें। Token उपयोग ट्रैक करें, क्योंकि AI steps हर run पर पैसा ख़र्च करते हैं।

Run की लागत का अनुमान

यह Node.js में प्रति दस लाख tokens 3 और 15 की उदाहरण क़ीमतों के साथ चला; अपने provider की असली क़ीमतें लगाएँ। 1,500 input और 300 output tokens वाला run 0.009 का है, इसलिए 1,000 runs का ख़र्च लगभग 9 है।

const cost = (inTok, outTok, pIn, pOut) =>
  +(inTok / 1e6 * pIn + outTok / 1e6 * pOut).toFixed(4);

console.log(cost(1500, 300, 3, 15), cost(1500, 300, 3, 15) * 1000);

Output:

0.009 9

चैट नहीं, कर्म को मंज़ूर कराएँ

मंज़ूरी संदेश में ठीक वही दिखे जो होगा ("order 10482 को 2,400 INR refund करें?"), Approve और Reject कड़ियों के साथ, ताकि व्यक्ति अस्पष्ट सार की जगह असली कर्म पर निर्णय ले।

त्वरित जाँच: Prompt injection के विरुद्ध सबसे भरोसेमंद बचाव कौन-सा है?

• सिर्फ़ लंबा system prompt
• Agent के tools सीमित करना और जोखिम भरे कर्मों पर मंज़ूरी माँगना
• Prompt छिपाना
• बड़े fonts उपयोग करना