AI Incident प्रबंधन

होने से पहले तैयारी करें

AI घटनाओं में शामिल हैं: उपयोगकर्ताओं तक पहुँचे हानिकारक या झूठे outputs, व्यक्तिगत डेटा का उजागर होना, audit में मिला पक्षपाती नतीजा, या vendor model बदलाव जो व्यवहार तोड़ दे। तैयारी करें: कर्मचारियों और users के लिए रिपोर्ट करने का तरीक़ा; प्रतिक्रिया समय वाले गंभीरता स्तर; runbook (रोकें, आँकें, सूचित करें, ठीक करें, समीक्षा करें); नामित निर्णयकर्ता; और जहाँ क़ानून माँगे वहाँ नियामकों व प्रभावित लोगों के लिए सूचना नियम। हर घटना के बाद दोष-रहित समीक्षा करें, व्यक्ति की जगह system सुधारें, और मामले को अपने evaluation set में जोड़ें।

Launch के बाद भी नज़र रखें

Governance launch के बाद भी चलता है: घटनाएँ सँभाली जाती हैं, नतीजे मापे जाते हैं और निष्कर्ष वापस जाते हैं।

गंभीरता वर्गीकरण, चलाकर

मैंने यह चलाया। कोई भी डेटा उजागर होना SEV1 है, 100 से ज़्यादा users तक पहुँचा हानिकारक output SEV1 है, छोटा हानिकारक output SEV2 है, और मामूली समस्या SEV3।

def severity(users_affected, harmful, data_exposed):
    if data_exposed or (harmful and users_affected > 100):
        return "SEV1"
    if harmful or users_affected > 100:
        return "SEV2"
    return "SEV3"

print(severity(5, False, True), severity(500, True, False), severity(10, False, False))

Output:

SEV1 SEV1 SEV3

एक बार अभ्यास करें

छोटा tabletop अभ्यास करें: "assistant ने अभी ग्राहकों को ग़लत refund नीति बता दी; पहले घंटे में हम क्या करें?" स्वामित्व और संपर्क सूचियों की कमियाँ तुरंत और सस्ते में दिख जाती हैं।

त्वरित जाँच: दोष-रहित incident-उपरांत समीक्षा का उद्देश्य क्या है?

• system और प्रक्रिया सुधारना ताकि दोबारा न हो
• संबंधित व्यक्ति को दंड देना
• घटना को गुप्त रखना
• कुछ न सीखना