Robots.txt-Prüfung
Lädt die robots.txt der Domain, zerlegt die Regelblöcke und markiert die kritischen Fehler: ein Disallow, das die ganze Website sperrt, eine fehlende Sitemap-Zeile, unlesbare Syntax.
- Anmeldung nötigMitgliedschaft ist kostenlos
- Im Paket Ücretsiz freigeschaltet5 Analysen pro Tag
- Wird im Verlauf gespeichertÜber Ihr Konto abrufbar
Worauf schaut dieses Werkzeug?
Alles, was darüber entscheidet, ob Google Ihre Seite crawlen und indexieren kann: Tags, Weiterleitungen, robots, Sitemap und Serverantworten.
- Warnung, wenn eine Regel die ganze Website sperrt
- Gibt es eine Sitemap-Zeile, und antwortet die Adresse
- User-agent-Blöcke und ihre Sonderregeln
- Syntaxfehler und verwaiste Zeilen
Was dieses Werkzeug misst
Die robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Website und sagt Crawlern, wohin sie dürfen und wohin nicht. Lassen Sie sich von der Größe nicht täuschen: Eine falsche Zeile kann die ganze Website aus der Suche tilgen. Eine Datei mit „Disallow: /“ sperrt alles für den Googlebot.
Das Werkzeug lädt die Datei und zerlegt die Regelblöcke. Danach wendet es die Regel an, die Google tatsächlich benutzt: Der längste passende Pfad gewinnt, bei Gleichstand setzt sich Allow durch. Die Frage „ist die Startseite für Googlebot offen“ wird so berechnet statt geraten.
Auch die Sitemap-Zeilen bleiben nicht unberührt: Die ersten drei Adressen werden aufgerufen und darauf geprüft, ob sie wirklich antworten. Tote Sitemap-Adressen, die erst Monate nach dem Start auffallen, sind häufig.
So nutzen Sie es
- 1
Die Domain eingeben
Den Dateipfad brauchen Sie nicht; das Werkzeug sucht /robots.txt selbst im Stammverzeichnis.
- 2
Die Zeile zum Googlebot-Zugriff ansehen
Ist sie rot, lassen Sie alles liegen und korrigieren die Regel. Fehlt eine Website komplett in der Suche, liegt es meist daran.
- 3
Die Sitemap-Zeile prüfen
Fehlt sie, ergänzen Sie sie; ist sie da, prüfen Sie im Ergebnis, dass die Adresse mit 200 antwortet.
- 4
Unlesbare Zeilen aufräumen
Eine falsch geschriebene Anweisung wird stillschweigend ignoriert. Man kann jahrelang glauben, eine Regel wirke.
Wann Sie es einsetzen
- Nach dem Start einer neuen Website, um die Entfernung der „alles sperren“-Regel der Testumgebung zu bestätigen.
- Als erste Anlaufstelle, wenn der organische Verkehr über Nacht einbricht.
- Wenn Admin- oder Filteradressen bei Google auftauchen und Sie die Sperre prüfen wollen.
- Bevor Sie die Sitemap in der Search Console einreichen, um ihre Deklaration in der Datei sicherzustellen.
Das Ergebnis lesen
Datei nicht gefunden (404)
Für sich kein Fehler: Ohne Datei gehen Crawler davon aus, dass alles erlaubt ist. Sie können dann aber keine Sitemap melden und keinen Bereich sperren.
Googlebot gesperrt
Dringend. Meist ein übrig gebliebenes „Disallow: /“ aus der Testumgebung. Nach dem Entfernen dauert die Rückkehr in den Index Tage.
Keine Sitemap-Zeile
Ihnen entgeht der billigste Weg, damit Google die Sitemap findet. Eine Zeile genügt: Sitemap: https://ihre-seite.de/sitemap.xml
Inhaltstyp ist nicht text/plain
Liefert der Server die Datei als HTML aus, lesen manche Crawler sie gar nicht. In der Serverkonfiguration korrigieren.
Unbekannte Anweisung
Ein Tippfehler oder ein nicht unterstütztes Feld. Die Zeile bewirkt nichts; entfernen oder richtig schreiben.
Fragen zu Robots.txt-Prüfung
Nein. Disallow verhindert nur das CRAWLEN. Eine gesperrte Adresse, auf die andere Websites verlinken, kann weiterhin allein mit ihrer Adresse im Index stehen, ohne dass der Inhalt gelesen wurde. Zum Deindexieren setzen Sie noindex auf die Seite und erlauben deren Crawling.
Der längere, spezifischere Pfad gewinnt. Stehen „Disallow: /admin/“ und „Allow: /admin/hilfe/“ zusammen, bleibt die Hilfeseite offen. Sind beide Regeln gleich lang, setzt sich Allow durch.
Nein. Google rendert die Seite wie ein echter Browser, um sie zu bewerten. Sind Stil- und Skriptdateien gesperrt, sieht Google eine kaputte Seite, und Bewertungen wie die Mobilfreundlichkeit fallen falsch aus.
Google liest bis zu 500 KB und ignoriert den Rest. Nähert sich eine robots.txt dieser Größe, werden die Regeln adressweise geschrieben; nutzen Sie stattdessen Platzhalter.
Passt gut dazu
Die übrigen Werkzeuge derselben Kategorie. Zusammen ergeben sie das ganze Bild.
Das Werkzeug hat das Problem gefunden. Jetzt die Korrektur
Wir übernehmen technisches SEO, Inhalte und KI-Sichtbarkeit von Anfang bis Ende. Wir sehen Ihre Website durch und liefern eine klare Liste der nächsten Schritte.
Montag – Samstag 09:00 – 18:00