ईमानदारी से Benchmarking

Recall के बिना गति अर्थहीन है

तेज़ ANN index सिर्फ़ इसलिए तेज़ हो सकता है कि वह बदतर परिणाम लौटाता है, इसलिए हमेशा recall और latency साथ रिपोर्ट करें। ठोस benchmark आपका डेटा (या वही आयाम और clustering वाला यथार्थवादी डेटा), यथार्थवादी queries और filters, निश्चित recall लक्ष्य (जैसे 0.95) उपयोग करता है, और p50, p95 और p99 latency, concurrency पर throughput (1, 8, 32 clients के साथ queries प्रति सेकंड), index build समय, memory और disk, लिखावट throughput और ताज़गी मापता है, समान hardware पर गर्म caches और पर्याप्त दोहराव के साथ। हर system के लिए लक्ष्य recall तक पहुँचने वाली सबसे सस्ती configuration की तुलना करें, डिफ़ॉल्ट settings की नहीं। ऐसे vendor benchmarks से सावधान रहें जो आसान डेटा, छोटे filters या ऐसी tuned settings उपयोग करते हैं जो आपको production में नहीं मिलेंगी।

त्वरित जाँच: Benchmark को latency के साथ recall क्यों रिपोर्ट करना चाहिए?

• Latency अर्थहीन है
• Recall latency का एक प्रकार है
• यह SQL के लिए ज़रूरी है
• कोई system बदतर परिणाम लौटाकर ही तेज़ दिख सकता है