X-Robots-Tagとは何ですか?
X-Robots-Tag は、検索エンジンに Web ページをクロールしてインデックスする方法を伝える HTTP 応答ヘッダーの一部です。
クローラー ボットが Web ページに HTTP リクエストを送信すると、サーバーは X-Robots-Tag を含む HTTP レスポンスで応答します。タグを分析することで、ボットは Web ページをクロールできるかどうか、またクロール方法を理解します。
例えば、レスポンスヘッダーに X-Robots-タグ: noindex 検索エンジンにウェブページをインデックスしないように指示します。
X-Robots タグはメタ ロボット タグとは異なります。どちらのタグも検索エンジンに Web ページをクロールする方法を指示し、多くの場合は互換的に使用できますが、X-Robots タグの方が汎用性があります。
たとえば、メタ ロボット タグは HTML ページでのみ使用できます。一方、X-Robots-Tag は画像や動画などの非 HTML プロパティで使用できます。