Sitemaps और llms.txt

खोज आसान बनाएँ

XML sitemap उन URLs की सूची देता है जिन्हें आप crawl कराना चाहते हैं और वे कब बदले; उसे robots.txt में संदर्भित करें। आंतरिक links स्पष्ट रखें ताकि महत्वपूर्ण पन्ने कुछ क्लिक में पहुँचें। llms.txt /llms.txt पर Markdown फ़ाइल का समुदाय-प्रस्ताव है जो language models के लिए लिखा गया आपकी साइट का छोटा सार और सबसे उपयोगी पन्नों के links देता है। लिखते समय यह प्रयोग है: प्रमुख providers ने इसके उपयोग की सार्वजनिक प्रतिबद्धता नहीं जताई, इसलिए इसे जोड़ना सस्ता है पर अच्छे पन्नों और sitemaps की जगह नहीं लेना चाहिए। भरोसा करने से पहले मौजूदा स्थिति देखें।

llms.txt parse करना, चलाकर

मैंने यह छोटी llms.txt पर चलाया: यह शीर्षक और दो documentation links निकालता है। Format सरल Markdown है, इसलिए आपके docs से बनाना आसान है।

import re
llms = """# Acme Tasks
> Simple boards for small teams.

## Docs
- [Getting started](https://acme.example/docs/start): set up in 5 minutes
- [API](https://acme.example/docs/api): REST API reference
"""
links = re.findall(r"- \[(.+?)\]\((.+?)\)", llms)
print(links, llms.splitlines()[0])

Output:

[('Getting started', 'https://acme.example/docs/start'), ('API', 'https://acme.example/docs/api')] # Acme Tasks

प्राथमिकता: पहले पन्ने

अच्छे पन्ने, चलते robots नियम, sitemap और एकरूप तथ्य किसी भी अकेली फ़ाइल से कहीं ज़्यादा मदद करेंगे। बुनियाद पक्की होने के बाद llms.txt को सस्ते प्रयोग के रूप में जोड़ें।

त्वरित जाँच: आज llms.txt के बारे में सही सोच क्या है?

• क़ानूनी आवश्यकता
• गारंटीशुदा ranking कारक
• robots.txt का विकल्प
• सस्ता प्रयोग जो अच्छे पन्नों की जगह नहीं लेता