# ईमानदारी से Benchmarking — Vector Databases

Source: https://www.geekswithgeeks.com/hi/vector-databases/e-bench

> अपने डेटा पर recall, latency और throughput साथ मापें।

## Recall के बिना गति अर्थहीन है

तेज़ ANN index सिर्फ़ इसलिए तेज़ हो सकता है कि वह बदतर परिणाम लौटाता है, इसलिए हमेशा **recall और latency साथ** रिपोर्ट करें। ठोस benchmark **आपका डेटा** (या वही आयाम और clustering वाला यथार्थवादी डेटा), **यथार्थवादी queries** और **filters**, निश्चित **recall लक्ष्य** (जैसे 0.95) उपयोग करता है, और **p50, p95 और p99 latency**, **concurrency पर throughput** (1, 8, 32 clients के साथ queries प्रति सेकंड), **index build समय**, **memory और disk**, **लिखावट throughput** और **ताज़गी** मापता है, **समान hardware** पर गर्म caches और पर्याप्त दोहराव के साथ। हर system के लिए **लक्ष्य recall तक पहुँचने वाली सबसे सस्ती configuration** की तुलना करें, डिफ़ॉल्ट settings की नहीं। ऐसे vendor benchmarks से सावधान रहें जो आसान डेटा, छोटे filters या ऐसी tuned settings उपयोग करते हैं जो आपको production में नहीं मिलेंगी।

**Quiz:** Benchmark को latency के साथ recall क्यों रिपोर्ट करना चाहिए?

- [ ] Latency अर्थहीन है
- [ ] Recall latency का एक प्रकार है
- [ ] यह SQL के लिए ज़रूरी है
- [x] कोई system बदतर परिणाम लौटाकर ही तेज़ दिख सकता है

*Answer:* कोई system बदतर परिणाम लौटाकर ही तेज़ दिख सकता है. Engines की तुलना समान recall पर करें, डिफ़ॉल्ट settings पर नहीं।