Kostenloses SEO-Tool

robots.txt-Generator

Erstellen Sie eine saubere robots.txt oder lassen Sie Ihre bestehende Datei auf Fehler durchsehen. Für jeden KI-Crawler sehen Sie, ob er Ihre Inhalte lesen darf, und jede URL lässt sich gegen die Regeln testen.

17 KI-Crawler einzeln steuerbar2 Modi: erstellen und prüfen1 Regel-Tester nach RFC 9309

KI-Crawler gesperrt0 / 17Alle KI-Crawler erlaubt

Grundregeln

Website für den Sitemap-Eintrag

Sitemap-Pfad

Vorlage

Für alle Crawler sperren ein Pfad pro Zeile

Komplette Website sperren (nur für Testsysteme)

KI-Crawler

Ein Klick auf einen Crawler schaltet zwischen erlaubt und gesperrt um. Wer in ChatGPT, Claude oder Perplexity als Quelle erscheinen will, sollte die Spalten Suche und Nutzer erlauben. Das Sperren von GPTBot, ClaudeBot oder Amazonbot ändert daran laut Anbietern nichts. Beachten Sie: ChatGPT-User, Perplexity-User, Amzn-User und Meta-ExternalFetcher rufen Seiten im Auftrag eines Nutzers ab und halten sich laut Anbieter nicht unbedingt an die robots.txt. Google-Extended und Applebot-Extended sind keine eigenen Crawler, sondern Steuerwörter: Sie regeln, ob Google (Training und Grounding für Gemini) und Apple (Training) bereits gecrawlte Inhalte nutzen dürfen. Die Google-Suche und Siri oder Spotlight bleiben davon unberührt. Meta-ExternalAgent dient laut Meta dem Training und der Indexierung. CCBot baut das offene Webarchiv von Common Crawl auf, das häufig für KI-Training genutzt wird. Für Bytespider gibt es keine offizielle Doku von ByteDance, die Einordnung als Training ist eine Einschätzung.

Ihre robots.txt

Regel-Tester

Pfad oder URL

Crawler

Geprüft nach RFC 9309: Die längste passende Regel gewinnt, bei Gleichstand gewinnt Allow. Eine robots.txt ist eine Bitte an Crawler, keine technische Sperre.

Was eine robots.txt regelt und was sie nicht verhindert

Jede Datei, die Sie mit dem robots.txt Generator bauen, bittet Crawler, bestimmte Pfade Ihrer Website nicht abzurufen. Damit steuern Sie das Crawling, nicht die Indexierung. Google kann eine gesperrte URL trotzdem in den Suchergebnissen zeigen, wenn andere Seiten auf sie verlinken, dann nur ohne Beschreibung. Soll eine Seite aus dem Index verschwinden, braucht sie ein noindex im Meta-Tag oder im HTTP-Header und muss für Google abrufbar bleiben. Auch als Schutz taugt die Datei nicht. RFC 9309 stellt klar, dass ihre Regeln keine Zugangsberechtigung sind und kein Crawler technisch an sie gebunden ist. Vertrauliche Bereiche gehören hinter ein Passwort. Ihren Nutzen zeigt die Datei beim Crawl-Budget, weil sie Crawler von Filterseiten, internen Suchergebnissen oder Warenkörben fernhält. Die Datei liegt immer unter /robots.txt im Stammverzeichnis und gilt nur für genau diesen Host, dieses Protokoll und diesen Port. Für eine Subdomain wie shop.example.com brauchen Sie also eine eigene. Mehr als 500 KiB liest Google nicht, der Rest bleibt unbeachtet.

Die robots.txt steuert das Crawling. Gegen Indexierung hilft noindex, gegen Zugriff ein Passwort. Sie gilt je Host, Prot

Wie Sie mit dem robots.txt Generator eine neue Datei erstellen

Website und Sitemap eintragen

Im Modus „Neue robots.txt erstellen“ tragen Sie zuerst Ihre Website und den Pfad zur Sitemap ein. Aus beiden Angaben setzt das Tool die vollständige Sitemap-Zeile zusammen, denn Google akzeptiert dort nur eine URL mit Protokoll und Host.

Vorlage wählen

Die Vorlage „WordPress“ sperrt /wp-admin/ und gibt /wp-admin/admin-ajax.php wieder frei. Mit „Ohne Vorlage“ starten Sie bei einer leeren Gruppe.

Pfade sperren

Weitere Pfade schreiben Sie in das Feld „Für alle Crawler sperren“, einen pro Zeile, etwa /intern/ oder /*?s= für die interne Suche. Fehlt der Schrägstrich am Anfang, ergänzt ihn das Tool. Den Schalter „Komplette Website sperren“ brauchen Sie nur auf Testsystemen, denn er schreibt Disallow: / für alle Crawler und blendet eine Warnung ein.

Datei übernehmen

Rechts erscheint die fertige Datei. Vier Kacheln darunter zeigen, ob Google und Bing, Trainings-Crawler, KI-Suche und Nutzer-Abrufe Ihre Startseite erreichen. Über „Kopieren“ oder „Herunterladen“ übernehmen Sie das Ergebnis und legen die Datei per FTP oder Dateimanager ins Stammverzeichnis.

Welche KI-Crawler der Generator unterscheidet und was eine Sperre bewirkt

Das Tool ordnet 17 KI-Crawler in einer Matrix nach Anbieter und Zweck: Training, Suche und Abruf bei einer Chat-Anfrage. Jeder Klick auf einen Namen schaltet zwischen erlaubt und gesperrt um. Schneller geht es mit den drei Schnellwahlen „Alle erlauben“, „Nur Training sperren“ und „Alle sperren“. Gesperrte Crawler fasst der Generator in einer eigenen Gruppe mit Disallow: / zusammen, sodass die Regeln für Google und Bing unverändert bleiben. Welche Auswahl passt, hängt an einer Frage. Soll Ihre Website in KI-Antworten als Quelle auftauchen oder nicht? Für GEO zählen vor allem die Spalten Suche und Nutzer, während die Trainings-Crawler über die Verwendung Ihrer Texte in künftigen Modellen bestimmen.

Matrix der 17 KI-Crawler: Training mit acht, Suche mit vier und Nutzer-Abrufe mit fünf Crawlern

GPTBot, ClaudeBot und andere Trainings-Crawler blockieren

Mit „Nur Training sperren“ schließen Sie acht Crawler aus, die Inhalte für KI-Modelle sammeln oder deren Nutzung steuern. Laut OpenAI ändert eine Sperre von GPTBot nichts daran, ob ChatGPT Ihre Seiten in Suchantworten zeigt. Anthropic trennt ClaudeBot ebenso von den Crawlern für Suche und Nutzerabrufe. Meta-ExternalAgent dient laut Meta dem Training und der Indexierung. CCBot baut das offene Webarchiv von Common Crawl auf, das häufig als Trainingsmaterial dient. Für Bytespider fehlt eine offizielle Dokumentation von ByteDance, seine Einordnung als Trainings-Crawler bleibt eine Einschätzung.

Such-Crawler, die über Ihre Nennung in KI-Antworten entscheiden

OAI-SearchBot, Claude-SearchBot und PerplexityBot bauen die Indizes auf, aus denen ChatGPT, Claude und Perplexity Quellen für ihre Antworten ziehen. Laut OpenAI erscheinen Seiten, die OAI-SearchBot aussperren, nicht mehr in den Suchantworten von ChatGPT. Anthropic nennt für Claude-SearchBot eine geringere Sichtbarkeit in den Suchergebnissen als Folge. Amzn-SearchBot gehört in dieselbe Spalte. Sollen KI-Antworten Ihre Seiten zitieren, lassen Sie diese vier Crawler zu.

Abrufe im Auftrag eines Nutzers

Fragt jemand ChatGPT, Claude oder Perplexity nach einer bestimmten Seite, rufen ChatGPT-User, Claude-User oder Perplexity-User diese Seite direkt ab. Amzn-User und Meta-ExternalFetcher arbeiten nach demselben Prinzip. OpenAI, Perplexity, Amazon und Meta weisen darauf hin, dass sich diese Abrufe nicht unbedingt an die robots.txt halten. Anthropic gibt dagegen an, dass alle seine Crawler einschließlich Claude-User die Datei beachten. Sperren Sie Claude-User, kann Claude Ihre Inhalte bei Nutzerfragen nicht mehr abrufen.

Google-Extended und Applebot-Extended als Steuerwörter

Hinter beiden Namen steht kein eigener Crawler. Sie regeln, ob Google bereits gecrawlte Inhalte für Training und Grounding von Gemini nutzen darf und ob Apple sie für das Training seiner Modelle verwendet. Auf die Google-Suche hat eine Sperre von Google-Extended keinen Einfluss. Seiten, die Applebot-Extended aussperren, können laut Apple weiter in Suchergebnissen erscheinen. In der Matrix stehen beide unter „Weitere Anbieter, Nutzung für KI-Modelle“, zusammen mit CCBot und Bytespider.

Wie der Prüfmodus Fehler in einer bestehenden robots.txt findet

Datei einfügen

Öffnen Sie Ihre Datei im Browser, markieren Sie den gesamten Text und fügen Sie ihn im Modus „Bestehende robots.txt prüfen“ ein. Alternativ laden Sie eine gespeicherte Datei oder ziehen sie auf das Textfeld. Nichts davon verlässt Ihren Browser.

Befunde je Zeile

Die Befunde sortiert das Tool nach Fehlern, Warnungen und Hinweisen, jeweils mit Zeilennummer, und per Klick auf die Nummer markiert es die Stelle im Textfeld.

Befunde für die ganze Datei

Manche Befunde betreffen die ganze Datei. Dazu zählen HTML statt Text, meist ein Zeichen für eine Fehlerseite des Servers, eine Byte-Order-Markierung am Anfang oder mehr als 500 KiB.

Regeln ohne Wirkung

Andere machen einzelne Regeln wirkungslos, etwa Tippfehler wie Dissallow, Zeilen vor dem ersten User-agent, ein noindex in der robots.txt oder Allow und Disallow für denselben Pfad.

Risiken für die Sichtbarkeit

Am schwersten wiegen Befunde, die Ihre Sichtbarkeit gefährden. Typisch sind ein Disallow: / für alle Crawler, gesperrte CSS- und JavaScript-Dateien, die Google zum Darstellen der Seite braucht, und gesperrte Bilder.

Darunter zeigt die Matrix, welche der 17 KI-Crawler Ihre Datei sperrt, teilweise sperrt oder durchlässt. Mit „In den Generator übernehmen“ bauen Sie die geprüfte Datei sauber neu auf, und alle Punkte, die der Generator nicht abbildet, listet das Tool zum Nachtragen auf.

Für /wp-admin/admin-ajax.php greift Allow: /wp-admin/admin-ajax.php, weil die Regel länger ist als Disallow: /wp-admin/.

Welche Regel im robots.txt Generator bei Konflikten gewinnt

Treffen auf einen Pfad mehrere Regeln zu, entscheidet nach RFC 9309 die längste passende Regel. Bei gleicher Länge gewinnt Allow. So bleibt /wp-admin/admin-ajax.php erlaubt, obwohl /wp-admin/ gesperrt ist, weil die Allow-Zeile mehr Zeichen hat. Hat ein Crawler keine eigene Gruppe, folgt er der Gruppe für *. Besitzt er eine eigene Gruppe, gelten nur deren Regeln, und die Sperren unter * kommen nicht hinzu. Diesen Fall meldet der Prüfmodus als fehlende Sperre. Googlebot-Image, Googlebot-Video und Googlebot-News bilden laut Google eine Ausnahme und folgen ohne eigene Gruppe der Gruppe für Googlebot. Im Prüfmodus testen Sie bis zu 100 Pfade oder vollständige URLs auf einmal, für einen Crawler aus der Liste oder einen eigenen Namen. Zu jedem Ergebnis nennt das Tool die greifende Regel, ihre Zeile und die Gruppe.

Wann der KI Bot Checker statt des robots.txt Generators passt

Live-Stand einer Domain abrufen

Der Generator arbeitet nur mit Text, den Sie selbst bauen oder einfügen. Was Ihr Server unter /robots.txt ausliefert, sieht er nicht. Den live ausgelieferten Stand einer beliebigen Domain, auch einer fremden, ruft der KI Bot Checker ab und zeigt, welche KI-Crawler dort zugelassen sind. Das hilft beim Blick auf Wettbewerber oder nach einem Deployment, bei dem eine Testversion der Datei auf die Live-Website geraten sein könnte. Für Fehlersuche, Neubau und das Testen einzelner Pfade bleibt der Generator das passende Werkzeug.

Statuscode der Datei prüfen

Mit welchem Statuscode Ihr Server die Datei liefert, sehen Sie im Browser oder im robots.txt-Bericht der Search Console. Antwortet er mit einem 4xx-Fehler außer 429, behandelt Google die Website so, als gäbe es keine robots.txt, und crawlt ohne Einschränkung. Bei einem 5xx-Fehler stoppt Google das Crawling dagegen zunächst für zwölf Stunden.

Philipp Nessmann

Experte für SEO, GEO, LLMO & AIO - wir machen Sie sichtbar bei Google, ChatGPT & Perplexity.

Philipp Nessmann ist SEO-Berater mit über 20 Jahren Erfahrung und Gründer der Nessmann GmbH (Marken: Contentbär und SEO Agents). Er hat mehr als 1.100 Projekte betreut und mit Jurawelt.com sowie trauringspezialisten.de eigene Plattformen aufgebaut. Sein Schwerpunkt liegt auf technischem SEO und der Sichtbarkeit in KI-Systemen wie ChatGPT, Gemini und Perplexity (GEO). Als Gastautor veröffentlicht er regelmäßig u. a. bei OMR, RTL, GoDaddy, HostEurope, Mittwald und DomainFactory.

Gastbeiträge

SEO verändert sich. Sind Sie bereit für KI?

Werden Sie in Google, ChatGPT, Perplexity und mehr gefunden. Wir kombinieren klassisches SEO mit KI-optimierten Strategien.

Sprechen Sie mit einem Experten