Monitoring और लागत

चार dashboards

गुणवत्ता ट्रैक करें: rolling golden set या नमूना queries पर सटीक खोज के विरुद्ध recall@k, "कोई परिणाम नहीं" दर, और user प्रतिक्रिया। प्रदर्शन ट्रैक करें: p50/p95/p99 latency, प्रति सेकंड queries, error दर, queue गहराई, CPU और memory, cache hit दर। ताज़गी ट्रैक करें: ingestion lag और लिखावट व खोज-योग्यता के बीच की देरी। लागत ट्रैक करें: प्रति vector memory, embedding शुल्क (indexing और प्रति query), भंडारण, replicas, और प्रति 1,000 queries लागत। Upgrade के बाद recall गिरावट, विशिष्ट filters पर latency उछाल, सीमा के पास पहुँचती memory, replica lag और विफल ingestion batches जैसे regressions पर alert लगाएँ। सबसे धीमी और सबसे बुरे-recall वाली queries की नियमित समीक्षा करें; वे ग़ायब indexes, ख़राब filters या डेटा समस्याएँ दिखाती हैं। हर engine या index parameter बदलाव से पहले benchmark और golden set दोबारा चलाएँ।

त्वरित जाँच: Upgrade के बाद खोज गुणवत्ता की चुपचाप हानि कौन-सा metric पकड़ता है?

• Golden set या नमूना queries पर सटीक खोज के विरुद्ध recall@k
• अकेला server uptime
• CPU temperature
• Tables की संख्या