Robots メタタグとは何ですか?
robots メタ タグは、Web ページをクロール、インデックス付け、検索結果に表示する方法を検索エンジン クローラーに指示する HTML メタ タグです。 headタグに挿入されます <head> ウェブページの。
robots メタ タグは robots.txt ファイルとは異なります。 robots.txt ファイルは、検索エンジン クローラーにサイト全体をクロールする方法を指示します。 robots メタ タグは、検索エンジンに特定の Web ページをクロールする方法を指示します。
たとえば、以下の robots メタ タグは、Web ページのインデックスを作成しないよう検索エンジンに指示します。
<meta name="robots" content="noindex">