Prompt Injection, Privacy और Bias

पाठ आदेश ले जा सकता है

Prompt injection: user इनपुट या retrieved सामग्री (web page, ईमेल, PDF) में छिपे निर्देश आपके नियम लाँघ सकते हैं, क्योंकि मॉडल भरोसे से डेटा और निर्देश में अंतर नहीं कर सकता। बचाव: secrets prompts से बाहर रखें, tools को न्यूनतम विशेषाधिकार दें, मॉडल आउटपुट shells, SQL या browsers तक पहुँचने से पहले validate और sanitise करें, दुष्प्रभाव वाली कार्रवाइयों के लिए मानव अनुमोदन माँगें, और भरोसेमंद निर्देशों को अविश्वसनीय पाठ से अलग रखें। Privacy: वैध आधार और डेटा-प्रबंधन समझौते के बिना व्यक्तिगत डेटा providers को न भेजें; सावधानी से log करें और redact करें। Bias और निष्पक्षता: मॉडल डेटा से रूढ़ियाँ सोखते हैं, इसलिए समूहों और भाषाओं में परीक्षण करें और नतीजे मॉनिटर करें। अपने ऊपर लागू क़ानूनों और नीतियों का पालन करें।

मान लें कि मॉडल बहकाया जा सकता है

ऐसे डिज़ाइन करें कि पूरी तरह हाइजैक हुआ मॉडल भी गंभीर नुक़सान न कर सके: संकरे tools, जहाँ संभव हो केवल-पढ़ने की पहुँच, अपरिवर्तनीय हर चीज़ के लिए अनुमोदन।

त्वरित जाँच: कौन-सा डिज़ाइन prompt injection से नुक़सान सबसे अच्छा सीमित करता है?

• न्यूनतम-विशेषाधिकार tools और जोखिम भरी कार्रवाइयों पर मानव अनुमोदन
• मॉडल को admin पहुँच देना
• सिर्फ़ system prompt छिपाना
• ऊँचा temperature