Kostenlos · Keine Anmeldung nötig

robots.txt testen und validieren

Wir lesen die robots.txt Ihrer Website und zeigen Regelgruppen, Sitemap-Zeilen und riskante Regeln. Geben Sie eine URL ein und sehen Sie sofort, welcher Bot zugreifen darf.

Die robots.txt im Stammverzeichnis Ihrer Domain wird gelesen; anschließend können Sie URLs testen und die Datei bearbeiten.

Wie funktioniert die robots.txt?

Die robots.txt ist eine Datei im Stammverzeichnis Ihrer Website, die Bots mitteilt, welche Pfade sie crawlen dürfen. Google wendet die längste (spezifischste) passende Regel an; bei Gleichstand gewinnt Allow.

Die robots.txt entfernt keine Seiten aus dem Index, sie verhindert nur das Crawlen. Soll eine Seite nicht bei Google erscheinen, verwenden Sie Meta Robots noindex.

  • User-agent: für welchen Bot die Regeln gelten
  • Disallow und Allow: gesperrte und erlaubte Pfade (* und $ werden unterstützt)
  • Sitemap: URL Ihrer XML-Sitemap
  • Regeltest: Status einer URL für Googlebot, Bingbot, GPTBot und andere Bots

Häufig gestellte Fragen

Was bedeutet Disallow: /?
Verhindert, dass der betreffende Bot die gesamte Website crawlt. Steht die Regel in der Gruppe User-agent: *, werden alle Bots blockiert und die Website kann mit der Zeit aus den Suchergebnissen verschwinden.
Sollte ich CSS- und JS-Dateien blockieren?
Nein. Google rendert Seiten wie ein Browser; sind CSS und JS blockiert, kann Google die Seite nicht richtig erfassen und stellt möglicherweise Probleme bei der Mobilfreundlichkeit fest.
Wann werden Änderungen wirksam?
Google speichert die robots.txt in der Regel bis zu 24 Stunden im Cache. Über den robots.txt-Bericht in der Search Console können Sie sie erneut crawlen lassen.

Weitere kostenlose Tools

Weiterleitungen & HTTP-Header301/302-Ketten, HTTPS und Sicherheits-Header XML-Sitemap-CheckAnzahl der URLs, Fehler und lastmod Massenprüfung der StatuscodesHTTP-Status und Weiterleitungen für bis zu 20 URLs Hreflang-CheckSprach-Tags für mehrsprachige Websites SEO-AnalyseÜber 80 Prüfungen, Kategorie-Scores und priorisierte EmpfehlungenBeliebt SEO-Website-AuditTechnische und OnPage-Prüfung für bis zu 15 SeitenBeliebt

Alle kostenlosen Tools

Sehen Sie in 20 Sekunden, wo Ihre Website steht.

Erfahren Sie mit der kostenlosen Analyse Ihre technischen Probleme und Lücken bei der KI-Sichtbarkeit; die Behebung übernimmt dann AutoAiSeo.

  • Keine Karte nötig
  • Einrichtung in 5 Minuten
  • Jederzeit kündbar
Kostenlos analysieren