Mikä on X-Robots-Tag?
X-Robots-Tag on osa HTTP-vastausotsikkoa, joka kertoo hakukoneille, kuinka verkkosivu indeksoidaan.
Kun indeksointirobotti lähettää HTTP-pyynnön verkkosivulle, palvelin vastaa HTTP-vastauksella, joka sisältää X-Robots-tagin. Analysoimalla tunnistetta botti ymmärtää, voiko se indeksoida verkkosivua ja miten se saa tehdä niin.
Esimerkiksi vastauksen otsikko, joka sisältää X-Robots-Tag: noindex kehottaa hakukonetta olemaan indeksoimatta verkkosivua.
X-Robots-Tag eroaa metarobots-tunnisteesta. Vaikka molemmat tunnisteet kertovat hakukoneille, kuinka verkkosivu indeksoidaan, ja niitä voidaan käyttää vaihtokelpoisesti monissa tapauksissa, X-Robots-Tag on monipuolisempi.
Esimerkiksi metarobottitunnistetta voidaan käyttää vain HTML-sivuilla. Samaan aikaan X-Robots-Tagia voidaan käyttää muissa kuin HTML-ominaisuuksissa, mukaan lukien kuvat ja videot.