पाठ 30 / 31

केस स्टडी: Documentation सहायक

ऐसा सहायक डिज़ाइन करें जो product docs पर सवालों के citations सहित जवाब दे।

डिज़ाइन

लक्ष्य: developers किसी उत्पाद के docs पर सवाल पूछें और links सहित उत्तर पाएँ। Ingestion: Markdown docs लोड करें, headings के अनुसार लगभग 300-token (overlap सहित) chunks में बाँटें, metadata (page URL, अनुभाग, संस्करण) जोड़ें, embed करके vector database में रखें; बदले पृष्ठ रात में दोबारा index करें। Query पथ (LangChain chain, या LlamaIndex query engine): chat इतिहास से follow-ups संघनित करें, संस्करण filter के साथ retrieve करें, rerank करें, क्रमांकित अंश format करें, prompt "सिर्फ़ अंशों से उत्तर दो और cite करो", Pydantic ऑब्जेक्ट {answer, citations} में parse करें, और कोड में citations सत्यापित करें। Tools (वैकल्पिक): केवल-पढ़ने वाला code-search tool, चरण सीमा के साथ। भरोसेमंदी: मॉडल call पर backoff के साथ retries, fallback मॉडल, timeouts, UI तक streaming। गुणवत्ता: अनुत्तरणीय मामलों सहित 120-सवालों का dataset, CI में recall@5 और faithfulness ट्रैक, हर अनुरोध के traces। सुरक्षा: secrets manager में keys, retrieved पाठ डेटा के रूप में, लिखने-में-सक्षम tools नहीं, redacted logs।

परखा हुआ, trace-योग्य सहायक

Retrieval, chains, tools, guardrails और tests को एक भरोसेमंद application में जोड़ें।

चार आदतें: जोड़ें, आधार दें, सुरक्षा करें, परखें।
चित्र 8.1 — जोड़ें, आधार दें, सुरक्षा करें और परखें।

एक पन्ने पर डिज़ाइन

हर पंक्ति इस कोर्स के एक खंड से जुड़ती है।

Ingest     Markdown -> heading-aware chunks (~300 tok) -> metadata -> vector DB      (Sec 4, 5)
Query       condense -> filtered retrieve -> rerank -> numbered passages -> prompt      (Sec 2, 4)
Output      Pydantic {answer, citations} + code check that citations exist              (Sec 2)
Reliability retry+backoff, fallback model, timeouts, streaming                          (Sec 2, 3)
Agent/tools read-only code search, step limit, no write tools                           (Sec 3, 6)
Quality     120-question dataset, recall@5 + faithfulness in CI, traces                 (Sec 7)
Security    secrets manager, data-not-instructions, redacted logs, pinned versions      (Sec 7)

त्वरित जाँच: डिज़ाइन agent को सिर्फ़ केवल-पढ़ने वाले tools क्यों देता है?

  • Citations से बचने के लिए
  • केवल-पढ़ने वाले tools तेज़ होते हैं
  • Write tools मौजूद नहीं होते
  • यदि मॉडल injected पाठ से बहका दिया जाए तो नुक़सान सीमित करने के लिए
Answer

यदि मॉडल injected पाठ से बहका दिया जाए तो नुक़सान सीमित करने के लिए — न्यूनतम विशेषाधिकार सीमित करता है कि compromised agent क्या कर सकता है।