LLM Applications में क्या अलग है

मॉडल डिज़ाइन से ही confused deputy है

पारंपरिक सॉफ़्टवेयर कोड को डेटा से अलग रखता है: SQL driver जानता है कौन-सा हिस्सा query है और कौन-सा मान। Language model में ऐसी कोई सीमा नहीं। System निर्देश, user का संदेश, retrieved दस्तावेज़, web page और tool परिणाम सब एक prompt में पाठ के रूप में आते हैं, और मॉडल उस सबसे तय करता है क्या करना है। इसलिए application मॉडल को जो भी पाठ खिलाए वह निर्देश की तरह काम कर सकता है। दो और तथ्य जोड़ें: मॉडल का आउटपुट अनिश्चित और हमलावर-प्रभावित है, और आधुनिक apps मॉडल को शक्ति देते हैं (tools, APIs, डेटा पहुँच)। मिलकर ये नए जोखिम बनाते हैं, उन साधारण जोखिमों (authentication, injection, secrets, उपलब्धता) के ऊपर जो अब भी लागू हैं। व्यावहारिक रुख़: मॉडल को अविश्वसनीय घटक मानें जो अक्सर सहायक है, कठोर नियंत्रण उसके बाहर रखें, और मानें कि उसे बहकाया जा सकता है। यह कोर्स मुख्य जोखिम-परिवार कवर करता है; रखरखाव वाली सूची के लिए OWASP Top 10 for LLM Applications देखें, जिसकी श्रेणियाँ समय के साथ बदलती हैं।

एक ही channel में निर्देश और डेटा

Language model निर्देश और डेटा को पाठ की एक धारा के रूप में पढ़ता है, इसलिए वह जो भी पढ़े वह उसे मोड़ने की कोशिश कर सकता है।

सहायक कर्मचारी जो हर पर्ची पढ़ता है

ऐसे उत्साही सहायक की कल्पना करें जो मेज़ से गुज़रते किसी भी काग़ज़ की लिखित बात मान लेता है, ग्राहक के पत्र में सरकाई पर्ची भी। आप उसे कभी तिजोरी की चाबी नहीं देंगे। LLM apps को भी यही सावधानी चाहिए कि सहायक की पहुँच कहाँ तक है।

त्वरित जाँच: Prompt injection संभव होने का मूल कारण क्या है?

• Prompts बहुत छोटे होते हैं
• मॉडल कमज़ोर hardware पर चलते हैं
• मॉडल निर्देश और अविश्वसनीय डेटा को पाठ की एक धारा के रूप में पाता है
• धीमे networks के कारण