Was ist robots.txt?
Robots.txt ist eine Datei, die Suchmaschinen-Crawler-Bots und andere Bots darüber informiert, welche Seiten sie auf der Website nicht crawlen dürfen.
Die Datei wird benannt robots.txt und befindet sich im Stammordner der Site. Es ist wichtig zu beachten, dass Suchmaschinen-Crawler-Bots im Allgemeinen die Regeln in der robots.txt-Datei befolgen, andere Crawler-Bots können sich jedoch dazu entschließen, die Links zu crawlen, selbst wenn Sie sie angewiesen haben, nicht zu crawlen.
Sie sollten es auch vermeiden, die robots.txt-Datei zum Ausblenden von URLs zu verwenden, die von Suchmaschinen nicht indiziert werden sollen. Google kann diese URLs erkennen und indizieren, wenn sie von einer anderen URL verlinkt werden.