KI-Crawler-Zugriffsprüfung
Prüft Ihre robots.txt aus Sicht der KI-Crawler: Kommen GPTBot, ClaudeBot, PerplexityBot, Google-Extended und die übrigen zu Ihnen durch, und welche sind gesperrt?
- Anmeldung nötigMitgliedschaft ist kostenlos
- Im Paket Pro freigeschaltet100 Analysen pro Tag
- Wird im Verlauf gespeichertÜber Ihr Konto abrufbar
Worauf schaut dieses Werkzeug?
Können ChatGPT, Perplexity und Google AI Overviews Sie lesen und zitieren? Prüfungen für die nächste Generation der Suche.
- Dreizehn KI-Crawler einzeln geprüft
- Trainings-Bots getrennt von Such-Bots
- Was eine Sperre Sie in KI-Antworten tatsächlich kostet
- Prüft, ob eine llms.txt vorhanden ist
Was dieses Werkzeug misst
Wenn ChatGPT, Perplexity oder Claude eine Quelle nennen, haben sie diese Quelle mit einem eigenen Crawler gelesen. Sperrt eine einzige Zeile Ihrer robots.txt diese Crawler aus, hilft die beste Inhaltsqualität nichts.
Das Werkzeug lädt die robots.txt aus der Wurzel Ihrer Domain und prüft die KI-Crawler einzeln: Darf jeder den Pfad “/” erreichen? Zugleich sieht es nach Ihrer llms.txt.
Die Bots sind nach Zweck gruppiert, denn die Entscheidung fällt je Gruppe anders. Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) lesen Sie, um Sie zitieren zu können. Nutzergesteuerte Abrufer (ChatGPT-User, Claude-User, Perplexity-User) öffnen einen Link, den jemand in den Chat gesetzt hat. Trainings-Crawler führen Inhalte ins Modelltraining.
So nutzen Sie es
- 1
Die Domain eingeben
Nicht eine einzelne Seite, sondern die Domain; robots.txt liegt in der Wurzel und gilt für die gesamte Website. Subdomains haben eigene Dateien und brauchen eine eigene Prüfung.
- 2
Zuerst die Zeile der Such-Crawler lesen
Ein gesperrter Crawler dort lässt die Prüfung scheitern. Trainings-Crawler zu sperren ist eine Entscheidung, Such-Crawler zu sperren meist ein Versehen.
- 3
Die Herkunft der Sperre finden
Die Regel ist selten handgeschrieben: ein Sicherheits-Plugin, eine Hosting-Voreinstellung oder eine vor Jahren kopierte Vorlage. Öffnen Sie die Datei und suchen Sie die Anweisung.
- 4
Die Entscheidung festhalten
Trennen Sie Training und Suche bewusst: Sie können aus Trainingsdaten heraushalten wollen und trotzdem in KI-Antworten erscheinen. Der Robots-txt-Generator bietet beides getrennt an.
- 5
Nach der Änderung erneut prüfen
robots.txt wird binnen Stunden neu gelesen. Führen Sie das Werkzeug danach erneut aus und bestätigen Sie, dass die Regel wie gedacht greift.
Wann Sie es einsetzen
- Wettbewerber erscheinen als Quellen in KI-Antworten, Sie nie.
- Nach einem Hosting-Wechsel oder der Installation eines Sicherheits-Plugins, um die Voreinstellungen zu prüfen.
- Wenn die technische Hälfte der Frage “Wo stehen wir in der KI-Suche” zu beantworten ist.
- Nachdem Sie Ihre Inhalte aus Trainingsdaten heraushalten wollen und die Regel bestätigen möchten.
Das Ergebnis lesen
Keine robots.txt gefunden
Keine Datei heißt keine Regeln, alle Crawler gelten als erlaubt. Das ist kein Fehler, aber auch keine Entscheidung: So bestanden zu haben heißt nicht, die Frage bedacht zu haben.
Such-Crawler gesperrt
Ein Fehler in dieser Zeile bedeutet, dass eine Nennung in KI-Antworten technisch unmöglich ist. Mehr Inhalte zu produzieren ändert daran nichts; zuerst die Sperre lösen.
Trainings-Crawler gesperrt
Diese Zeile erscheint als Hinweis, nicht als Fehler, und zählt die gesperrten Bots. Wer Inhalte aus dem Training halten will, liegt damit richtig, ohne die Suchsichtbarkeit zu berühren.
Der Fall Google-Extended
Dieser Crawler dient Gemini-Training und AI Overviews und ist von Googlebot getrennt. Ihn zu sperren senkt das klassische Ranking nicht, verringert aber die Chance auf einen Platz in der AI-Overviews-Box.
Die llms-txt-Zeile
Eine fehlende Datei erzeugt einen Hinweis. Das ist keine Sperre, sondern eine verpasste Gelegenheit: Modelle könnten Ihre eigene Zusammenfassung lesen statt aus HTML zu raten.
Fragen zu KI-Crawler-Zugriffsprüfung
Nicht den klassischen Google-Verkehr, denn Googlebot ist ein eigener Crawler. Verloren geht die Nennung von Name und Link in Antworten von ChatGPT und Perplexity. Dieser Kanal ist in vielen Branchen noch klein, wächst aber stetig.
Die großen Anbieter geben das an. Dennoch ist robots.txt eine Bitte, keine technische Sperre. Inhalte, die wirklich privat bleiben müssen, brauchen eine serverseitige Rechteprüfung.
Der Zugriff sofort, das erneute Crawlen und die Verwendung in Antworten brauchen Zeit. Eine lange gesperrte Website gewinnt ihre Sichtbarkeit nicht über Nacht zurück.
In der Regel nicht. Crawler wie ChatGPT-User öffnen eine Seite nur, wenn jemand Ihren Link in ein Gespräch einfügt. Das zu sperren heißt, genau diese Person auszusperren.
Passt gut dazu
Die übrigen Werkzeuge derselben Kategorie. Zusammen ergeben sie das ganze Bild.
Das Werkzeug hat das Problem gefunden. Jetzt die Korrektur
Wir übernehmen technisches SEO, Inhalte und KI-Sichtbarkeit von Anfang bis Ende. Wir sehen Ihre Website durch und liefern eine klare Liste der nächsten Schritte.
Montag – Samstag 09:00 – 18:00