पाठ 14 / 34

Indexing Controls: noindex और X-Robots-Tag

Meta robots, noindex और X-Robots-Tag से तय करें कि search results में क्या दिखे, और जिन pages को हटाना है उन्हें block करने से बचें।

noindex बनाम Disallow

robots.txt में Disallow crawling रोकता है, लेकिन अगर दूसरी sites लिंक करें तो blocked URL फिर भी index हो सकता है। Page को results से बाहर रखने के लिए उसे crawl होने दें और noindex दें। अगर robots.txt page को block करे तो Google को noindex दिखता ही नहीं।

Meta robots और X-Robots-Tag

HTML pages के लिए meta tag और PDFs व अन्य non-HTML files के लिए X-Robots-Tag HTTP header उपयोग करें।

<!-- In <head> of the page -->
<meta name="robots" content="noindex, follow">

# HTTP response header (e.g. for PDFs)
X-Robots-Tag: noindex

पतले या निजी pages पर उपयोग करें

Internal search results, thank-you pages और staging copies पर noindex लगाएँ। जिन pages को rank कराना है उन पर कभी noindex न लगाएँ, और हर deployment के बाद फिर जाँचें।