Robots.txt-Generator
Erzeugt die robots.txt, die Suchmaschinen- und KI-Crawlern sagt, was sie dürfen, samt Sitemap-Zeile und den üblichen Sperrmustern.
- Anmeldung nötigMitgliedschaft ist kostenlos
- Im Paket Ücretsiz freigeschaltet5 Analysen pro Tag
- Wird im Verlauf gespeichertÜber Ihr Konto abrufbar
Worauf schaut dieses Werkzeug?
Alles, was man von Hand leicht falsch schreibt, fertig erzeugt: Meta-Tags, Schema, robots.txt, Sitemap und Weiterleitungsregeln.
- Suchmaschinen- und KI-Bots getrennt gesteuert
- Sitemap-Zeile wird automatisch ergänzt
- Fertige Muster für Admin- und Filteradressen
Was dieses Werkzeug misst
robots.txt besteht aus wenigen einzeiligen Regeln, die Crawlern sagen, welche Pfade sie lesen dürfen. Es ist zugleich die Datei, in der eine falsche Zeile am teuersten wird: Eine verirrte Anweisung kann eine ganze Website aus der Suche nehmen.
Das Werkzeug baut die Datei aus zwei Entscheidungen: Ist die Seite zum Crawlen offen, und sind KI-Bots willkommen. Im offenen Modus entstehen die allgemeine Regel, Ihre gesperrten Verzeichnisse und die Sitemap-Zeile. Im geschlossenen Modus steht nur “Disallow: /” hinter einer deutlichen Warnung, denn diese Einstellung gehört auf die Testumgebung.
Bei KI gibt es zwei Enden. Mit Erlaubnis entstehen ausdrückliche Allow-Zeilen für GPTBot, PerplexityBot und ClaudeBot. Mit Sperre werden elf Bots einzeln ausgeschlossen: Ihre Inhalte fließen nicht ins Training, erscheinen aber auch nicht als Quelle in KI-Antworten.
So nutzen Sie es
- 1
Seitenadresse eintragen
Die Adresse dient nur der Sitemap-Zeile. Subdomains zählen getrennt: blog.beispiel.de braucht eine eigene robots.txt, die der Hauptdomain gilt dort nicht.
- 2
Allgemeine Regel wählen
Für die Live-Seite offen. Geschlossen gehört ausschließlich auf die Testumgebung, und eine geschlossene Datei in Produktion bedeutet, dass die Seite binnen Tagen aus der Suche verschwindet.
- 3
Zu sperrende Verzeichnisse auflisten
Ein Pfad pro Zeile, ein fehlender Schrägstrich wird ergänzt. Bis zu 100 Zeilen werden verarbeitet. Typische Kandidaten sind /admin, /konto und Filter-URLs wie /*?filter=.
- 4
Über KI-Bots entscheiden
Erlauben, wenn Sie in KI-Antworten erscheinen wollen. Sperren, wenn Ihre Inhalte nicht ins Training sollen. Das ist eine Präferenz, keine technische Wahrheit.
- 5
Im Wurzelverzeichnis ablegen und prüfen
Details zur Ablage stehen unten. Nach dem Hochladen mit der Robots-txt-Prüfung bestätigen, dass die Datei lesbar ist und die Regeln greifen.
Wann Sie es einsetzen
- Beim Launch, wenn die geschlossene Datei der Testumgebung durch die Live-Fassung ersetzt wird.
- Wenn Warenkorb-, Filter- oder Konto-URLs in den Suchergebnissen auftauchen.
- Wenn Sie Ihre Haltung zu KI-Crawlern zum ersten Mal festschreiben.
- Wenn Serverprotokolle unbekannte Bots mit hoher Crawl-Last zeigen.
Das Ergebnis lesen
Wohin die Datei gehört
Genau in die Wurzel der Domain, erreichbar unter beispiel.de/robots.txt. Eine Datei in einem Unterverzeichnis liest kein Bot. Der Server muss sie als text/plain ausliefern.
Im Next.js-Projekt
Zwei Wege: die Datei unter public/robots.txt ablegen oder in app/robots.ts eine Funktion schreiben, die MetadataRoute.Robots zurückgibt. Nie beides. Die Datei in public gewinnt die Route, app/robots.ts bleibt stumm wirkungslos.
In WordPress
WordPress liefert standardmäßig eine virtuelle robots.txt. Eine echte Datei im Wurzelverzeichnis ersetzt sie. Mit Yoast schreiben Sie denselben Inhalt über den Dateieditor unter Werkzeuge.
Sperren heißt nicht Deindexieren
robots.txt verhindert das Crawlen, nicht die Indexierung. Eine gesperrte URL mit eingehenden Links kann weiterhin als Treffer ohne Beschreibung erscheinen. Zum Entfernen dient ein noindex-Tag, und diese Seite darf dann nicht gesperrt sein, sonst liest Google das Tag nie.
Warnung im geschlossenen Modus
Im geschlossenen Modus fehlt die Sitemap-Zeile bewusst, und oben stehen zwei Warnzeilen. Lassen Sie sie stehen: Sie sind das einzige Zeichen dafür, dass eine Testdatei in Produktion gelandet ist.
Fragen zu Robots.txt-Generator
Nein. Die Datei ist öffentlich, jeder eingetragene Pfad verrät genau das Verzeichnis, das verborgen bleiben sollte. Echten Schutz bieten nur Passwort oder serverseitige Rechteprüfung.
Der klassische Suchverkehr bleibt unberührt, denn Googlebot ist ein eigener Crawler. Es ändert sich, ob ChatGPT oder Perplexity Sie zitieren. Google-Extended zu sperren verringert die Sichtbarkeit in AI Overviews.
Für eine URL gewinnt die längste passende Regel, unabhängig von der Reihenfolge. Deshalb wirkt ein ausdrückliches Allow für /admin/oeffentlich, obwohl /admin gesperrt bleibt.
Google liest robots.txt meist mehrmals täglich, Änderungen greifen also binnen Stunden. Der robots-txt-Bericht der Search Console zeigt den letzten Abruf.
Passt gut dazu
Die übrigen Werkzeuge derselben Kategorie. Zusammen ergeben sie das ganze Bild.
Das Werkzeug hat das Problem gefunden. Jetzt die Korrektur
Wir übernehmen technisches SEO, Inhalte und KI-Sichtbarkeit von Anfang bis Ende. Wir sehen Ihre Website durch und liefern eine klare Liste der nächsten Schritte.
Montag – Samstag 09:00 – 18:00