Data Poisoning और अविश्वसनीय ज्ञान स्रोत

ज़हरीला ज्ञान ज़हरीले उत्तर देता है

मॉडल जिससे सीखता या जो retrieve करता है वह सब poison हो सकता है। RAG में, जो हमलावर आपके index में दस्तावेज़ (wiki पृष्ठ, support लेख, अपलोड की file, crawl किया web page) जोड़ या संपादित कर सके वह झूठे तथ्य या छिपे निर्देश रख सकता है जो बाद में अन्य users के लिए retrieve होंगे। Fine-tuning में, बुरे उदाहरण ग़लत व्यवहार या विशेष वाक्यांश से चलने वाले backdoors बैठा सकते हैं। Agent memory में, injected "तथ्य" sessions के पार टिक सकते हैं। बचाव: कौन सामग्री जोड़ सकता है नियंत्रित करें और संवेदनशील स्रोतों के लिए समीक्षा माँगें; हर chunk पर उत्पत्ति (स्रोत, लेखक, तिथि) रखें और citations दिखाएँ; ingestion पर सामग्री साफ़ करें (छिपा पाठ और scripts हटाएँ); प्रशिक्षण डेटा को version और scan करें; तैयार system को उन सवालों से परखें जिनके उत्तर आप जानते हैं; और users को संचित memory देखने व हटाने दें। अपने knowledge base को हमले की सतह का हिस्सा मानें।

Poisoning-प्रतिरोधी ingestion checklist

वहाँ के नियंत्रण जहाँ सामग्री knowledge base में प्रवेश करती है।

[ ] who can add or edit sources? least privilege + review for sensitive collections
[ ] provenance stored per chunk: source URL/file, author, ingestion date, content hash
[ ] hidden text, scripts and metadata stripped before indexing
[ ] untrusted web content kept in a separate, lower-trust index; answers cite sources
[ ] fine-tuning data versioned, scanned, and spot-checked for odd trigger phrases
[ ] canary questions with known answers run after every index update
[ ] users can inspect and delete stored memory; entries have an owner and an expiry

अद्यतन के बाद canary सवाल चलाएँ

ज्ञात उत्तर वाले सवाल ज़हरीले या टूटे index को जल्दी उजागर करते हैं।

त्वरित जाँच: हर chunk के साथ उत्पत्ति (स्रोत, लेखक, तिथि) क्यों रखें?

• Chunks बड़े करने के लिए
• ज़हरीली या पुरानी सामग्री का पीछा, उद्धरण और हटाना संभव करने के लिए
• क्योंकि मॉडल को यह चाहिए
• कोई लाभ नहीं