Self-Consistency: कई sample लें, बहुमत लें

कई रास्ते, एक उत्तर

Sampling की randomness के कारण मॉडल कुछ बार सही reasoning कर सकता है और कुछ बार चूक सकता है। Self-consistency वही prompt कई बार (जैसे 5 से 10) मध्यम temperature पर चलाती है, हर अंतिम उत्तर निकालती है और सबसे आम उत्तर लौटाती है। यह उन समस्याओं में सबसे ज़्यादा मदद करती है जिनका एक जाँचने योग्य उत्तर हो (गणित, वर्गीकरण, निष्कर्षण) और प्रति सवाल कई गुना महँगी है, इसलिए उच्च-मूल्य मामलों में उपयोग करें। सहमति कम हो तो उसे अनिश्चितता का संकेत मानें और मनुष्य या मज़बूत तरीक़े को सौंपें।

बहुमत वोट, चलाकर

मैंने यह सादा-Python (सिर्फ़ standard library) उदाहरण चलाया। सात sampled उत्तर (प्रक्रिया दिखाने को गढ़े) 42 चार बार, 41 दो बार और 40 एक बार देते हैं; बहुमत 42 है और 7 में से 4 सहमत हैं, मध्यम स्तर जिसकी आप समीक्षा करना चाहें।

from collections import Counter

samples = ["42", "42", "41", "42", "40", "42", "41"]
counts = Counter(samples)
answer, votes = counts.most_common(1)[0]
print(dict(counts))
print("majority answer:", answer, f"({votes}/{len(samples)} agree)")

Output:

{'42': 4, '41': 2, '40': 1}
majority answer: 42 (4/7 agree)

त्वरित जाँच: Samples के बीच कम सहमति क्या सुझाती है?

• API बंद है
• उत्तर निश्चित रूप से सही है
• Prompt चलने के लिए बहुत छोटा है
• मॉडल अनिश्चित है और मामले की समीक्षा चाहिए हो सकती है