Mit dem robots.txt-Tester können Sie feststellen, ob durch Ihre robots.txt-Datei bestimmte URLs Ihrer Website für die Web-Crawler von Google blockiert werden. Beispielsweise können Sie dieses Tool verwenden, um zu testen, ob der Googlebot-Image-Crawler die URL eines Bilds crawlen kann, das Sie für die Google Bildersuche blockieren möchten.

Die Datei robots.txt liefert Suchsystemen die Information, die sie braucht, um verwertbare Suchergebnisse zu liefern. Bevor sie Ihre Site durchsucht, durchleuchten Robots diese Datei. Diese Prozedur macht das Scannen effizienter. Damit helfen Sie Suchsystemen, sodass die wichtigsten Daten auf Ihrer ersten Seite zuerst indiziert werden, dann der Rest. Aber das ist nur möglich, wenn Sie eine korrekt konfigurierte robots.txt haben.

Ähnlich wie die robots.txt Datei gibt die noindex-Anweisung im Meta Tag Robots nur eine Empfehlung für Robots. Das ist der Grund, warum sie nicht garantieren können, dass diese verschlossenen Seiten nicht indiziert werden und nicht im Index inkludiert sein werden. Garantien in dieser Sache sind ohnehin unangebracht. Wenn Sie eine Seite wirklich von der Indizierung ausschließen wollen, müssen Sie ein Passwort setzen, damit das Verzeichnis geschlossen bleibt. Das robots.txt erstellen ist ein wichtiger Schritt für SEO.