クロールバジェットとは何ですか?

クロールバジェットとは、検索エンジンが期間内にサイト上でクロールするページの最大数を指します。

検索エンジンクローラーボットによる頻繁なクロールにより、サーバーのパフォーマンスが低下したり、過負荷になってサイトがオフラインになる可能性があります。

これを防ぐために、検索エンジンはサーバーの容量を見積もり、サイトにクロール予算を割り当てます。これにより、Web サイトのパフォーマンスに影響を与えることなく、サイトをクロールできるようになります。