पाठ 22 / 27

Index को ताज़ा रखना

सब कुछ दोबारा बनाए बिना दस्तावेज़ अद्यतन, हटाना और संस्करणित करें।

पुराने उत्तर ग़लत उत्तर हैं

दस्तावेज़ बदलते हैं, इसलिए index को भी बदलना चाहिए। वृद्धिशील अद्यतन उपयोग करें: content hash या संशोधन समय से बदली फ़ाइलें पहचानें, सिर्फ़ उन्हें दोबारा chunk और embed करें, और पुराने chunks हटाएँ (दस्तावेज़ ID से ट्रैक करें)। हटाए जाने और access बदलावों को तुरंत सँभालें, क्योंकि हटाया या प्रतिबंधित दस्तावेज़ retrieve होना बंद होना चाहिए। संस्करण और प्रभावी तिथियाँ metadata में रखें और filters में नवीनतम वैध संस्करण को प्राथमिकता दें। Embedding model या chunking बदलें तो पुराने के बग़ल में नया index बनाएँ, golden set पर तुलना करें, फिर बदलें।

ताज़ा, सुरक्षित, तेज़, समझदार

Index ताज़ा रखें, डेटा सुरक्षित करें, लागत नियंत्रित करें और उन्नत पैटर्न पर विचार करें।

चार चिंताएँ: ताज़गी, सुरक्षा, प्रदर्शन, उन्नत पैटर्न।
चित्र 7.1 — ताज़गी, सुरक्षा, प्रदर्शन और उन्नत पैटर्न।

पूर्ण rebuild भी निर्धारित करें

वृद्धिशील अद्यतन भटक सकते हैं। नए index में आवधिक पूर्ण rebuild, golden set से सत्यापित, जमा त्रुटियाँ रीसेट करता है।

त्वरित जाँच: नया embedding model कैसे लाएँ?

  • कुछ न बदलें
  • पुराने और नए vectors एक index में मिलाएँ
  • पहले पुराना index हटाएँ
  • पुराने के बग़ल में नया index बनाएँ, तुलना करें, फिर बदलें
Answer

पुराने के बग़ल में नया index बनाएँ, तुलना करें, फिर बदलें — अलग मॉडलों के vectors अतुलनीय हैं, और साथ-साथ जाँच regressions से बचाती है।