Robots.txt Generator

Website-URL (optional)

Regeln

User-Agent

Direktive

Pfad

Sitemap-URLs (eine pro Zeile)

Crawl-Verzögerung (Sekunden)

Noindex-Meta-Tag-Erinnerung hinzufügen

So verwenden Sie Robots.txt Generator

1
Crawl-Regeln hinzufügen
Klicken Sie auf „Regel hinzufügen“, legen Sie den User-agent fest, wählen Sie „Allow“ oder „Disallow“ und geben Sie den Pfad ein, für den die jeweilige Regel gelten soll.
2
Optionale Anweisungen festlegen
Fügen Sie Ihre Sitemap-URLs (eine pro Zeile) und ein optionales Crawl-delay in Sekunden hinzu, um zu steuern, wie Suchmaschinen Ihre Website crawlen.
3
Datei erzeugen
Klicken Sie auf „robots.txt erzeugen“, um aus Ihren Regeln und Anweisungen eine korrekt formatierte Datei zu erstellen.

4
Kopieren oder herunterladen
Verwenden Sie „In die Zwischenablage kopieren“ oder „robots.txt herunterladen“ und laden Sie die Datei dann in das Stammverzeichnis Ihrer Domain hoch (ihreseite.de/robots.txt).

Wie robots.txt wirklich funktioniert: ein praktischer Leitfaden

Was robots.txt ist und wo die Datei liegen muss

robots.txt ist eine reine Textdatei, die das Robots Exclusion Protocol umsetzt – einen freiwilligen Standard, der Webcrawlern mitteilt, welche Teile Ihrer Website sie nicht abrufen sollen. Sie muss an genau einem Ort ausgeliefert werden: im Stammverzeichnis Ihrer Domain, unter yoursite.com/robots.txt. Eine robots.txt, die in einem Unterverzeichnis liegt, etwa unter yoursite.com/blog/robots.txt, wird schlicht ignoriert. Jede Subdomain und jedes Protokoll hat einen eigenen Geltungsbereich, daher benötigt blog.yoursite.com eine eigene Datei, getrennt von der auf yoursite.com.

Die Einhaltung beruht auf Freiwilligkeit. Googlebot, Bingbot und andere gängige Crawler befolgen robots.txt, doch bösartige Scraper und viele KI-Bots tun dies möglicherweise nicht. Betrachten Sie robots.txt niemals als Sicherheitsmaßnahme. Sie ist ein Mechanismus der Höflichkeit für wohlerzogene Crawler, kein Schloss vor privaten Inhalten; alles wirklich Sensible erfordert eine Authentifizierung und keine Disallow-Zeile.

Die vier Anweisungen, die Sie tatsächlich verwenden

Eine robots.txt ist in Gruppen gegliedert, von denen jede mit einer oder mehreren User-agent-Zeilen beginnt, die den Crawler benennen, für den die Regeln gelten, gefolgt von Allow- und Disallow-Regeln. User-agent: * spricht jeden Crawler an, für den keine spezifischere Gruppe existiert. Disallow: /admin/ blockiert einen Pfad, und ein leeres Disallow (also Disallow: ohne nachfolgende Angabe) bedeutet, dass alles erlaubt ist. Allow dient dazu, eine Ausnahme aus einer umfassenderen Sperre herauszuschneiden, etwa um eine einzelne Datei innerhalb eines ansonsten gesperrten Ordners freizugeben.

Die Sitemap-Anweisung ist ein Sonderfall: Sie ist von jeder User-agent-Gruppe unabhängig und kann an beliebiger Stelle in der Datei stehen, üblicherweise ganz oben oder ganz unten. Sie sollte auf die vollständige absolute URL Ihrer XML-Sitemap verweisen, etwa auf https://yoursite.com/sitemap.xml, und Sie können mehrere Sitemap-Zeilen auflisten, wenn Sie mehr als eine haben. Das ist die günstigste Möglichkeit, Suchmaschinen dabei zu helfen, sämtliche Ihrer URLs zu entdecken.

Der entscheidende Unterschied: Crawlen versus Indexieren

Das ist der mit Abstand am häufigsten missverstandene Punkt rund um robots.txt, und ein Fehler an dieser Stelle richtet echten Schaden an. robots.txt steuert das Crawlen, nicht das Indexieren. Wenn Sie eine URL per Disallow sperren, hindert das Crawler daran, ihren Inhalt abzurufen, doch die URL wird dadurch nicht aus den Suchergebnissen entfernt. Verlinken andere Seiten auf eine gesperrte URL, kann Google sie dennoch als bloßen Link indexieren – oft versehen mit dem wenig hilfreichen Hinweis, dass keine Beschreibung verfügbar ist, weil die Seite durch robots.txt blockiert wird.

Schlimmer noch: Wenn Sie eine Seite in robots.txt sperren, kann Google ein noindex-Tag auf dieser Seite niemals sehen, weil es die Seite nicht crawlen kann, um das Tag zu lesen. Der richtige Weg, eine Seite aus der Suche zu entfernen, ist daher das Gegenteil dessen, was viele annehmen: Lassen Sie die Seite crawlbar und fügen Sie ein noindex-Meta-Tag oder einen X-Robots-Tag-Header hinzu. Sperren Sie in robots.txt nur dann, wenn Ihr Ziel darin besteht, Crawl-Budget zu sparen – nicht, um eine Seite vor dem Index zu verbergen.

Platzhalter und Musterabgleich

Moderne Crawler unterstützen zwei Musterzeichen. Das Sternchen (*) steht für eine beliebige Zeichenfolge, und das Dollarzeichen ($) verankert einen Treffer am Ende der URL. So blockiert Disallow: /*.pdf$ jede URL, die auf .pdf endet, und Disallow: /*?sort= blockiert jede URL, die einen sort-Abfrageparameter enthält – eine gängige Methode, um Duplikate aus der Facettennavigation vom Crawlen auszuschließen. Pfade werden als Präfixe abgeglichen, sodass Disallow: /private gleichermaßen /private, /private/ und /private-files blockiert.

Muster sind mächtig, werden aber leicht zu großzügig eingesetzt. Testen Sie jede nicht triviale Regel, bevor Sie sie in Betrieb nehmen; ein einziges falsch platziertes Sternchen kann weit mehr blockieren als beabsichtigt. Die Google Search Console enthält einen robots.txt-Tester, der anzeigt, ob eine bestimmte URL durch Ihre Regeln erlaubt oder blockiert wird – seine Nutzung lohnt sich für alles, was über die einfachste Datei hinausgeht.

Crawl-delay und Crawl-Rate

Die Crawl-delay-Anweisung fordert einen Crawler auf, zwischen aufeinanderfolgenden Anfragen eine bestimmte Anzahl von Sekunden zu warten, was einen kleinen oder anfälligen Server entlasten kann. Der Haken ist, dass die Unterstützung uneinheitlich ist: Bing und Yandex berücksichtigen Crawl-delay, Google ignoriert es jedoch vollständig. Google ermittelt die Crawl-Rate stattdessen automatisch und bot in der Search Console früher eine Möglichkeit, sie manuell zu übersteuern. Wenn Sie befürchten, dass speziell der Googlebot Ihren Server überlastet, bewirkt Crawl-delay nichts; Sie benötigen dann eine serverseitige Ratenbegrenzung oder die entsprechenden Einstellungen in der Search Console.

Für die meisten Websites sollten Sie überhaupt keine Crawl-Verzögerung festlegen. Wer Crawler ausbremst, verlangsamt auch, wie schnell neue und aktualisierte Inhalte entdeckt und indexiert werden. Heben Sie sie sich für echte Kapazitätsprobleme auf und halten Sie den Wert maßvoll.

Häufige Fehler, die das SEO unbemerkt ruinieren

Der katastrophalste Fehler besteht darin, eine Staging-Datei auszuliefern, die unter User-agent: * die Zeile Disallow: / enthält. Diese eine Zeile sperrt Ihre gesamte Website für jeden Crawler, und genau das passiert regelmäßig, wenn eine Website live geht und niemand die robots.txt aus der Entwicklung austauscht. Nach jedem Launch und jeder Migration sollten Sie als Erstes prüfen, dass Ihre produktive robots.txt kein pauschales Disallow enthält.

Der zweite klassische Fehler besteht darin, Verzeichnisse mit CSS und JavaScript zu sperren. Google rendert Seiten wie ein Browser, und wenn es Ihre Stylesheets und Skripte nicht abrufen kann, sieht es womöglich eine kaputte, ungestaltete Seite und bewertet sie als schlechtes mobiles Erlebnis oder als dünnen Inhalt. Lassen Sie Crawler an Ihre Assets heran. Weitere häufige Patzer sind der Versuch, eine Seite per robots.txt zu deindexieren (verwenden Sie stattdessen noindex), das Vergessen, dass die Datei bei ihren Pfaden zwischen Groß- und Kleinschreibung unterscheidet, und das Ablegen der Datei an einem anderen Ort als dem Stammverzeichnis der Domain.

Eine sinnvolle Voreinstellung für die meisten Websites

Für viele Websites ist eine bewusst großzügige robots.txt am besten geeignet: eine einzige Gruppe mit User-agent: * und einem leeren Disallow, sodass alles crawlbar ist, ergänzt um eine Sitemap-Zeile, die auf Ihre XML-Sitemap verweist. Von dieser offenen Grundlage aus ergänzen Sie anschließend nur für solche Dinge eng gefasste Disallow-Regeln, die wirklich nicht gecrawlt werden sollen, etwa interne Suchergebnisseiten, Administrationsbereiche, Warenkorb- und Checkout-URLs sowie parametrisierte Duplikat-URLs.

Widerstehen Sie der Versuchung, zu viel hineinzukonstruieren. Eine kurze, korrekte robots.txt, die Sie vollständig verstehen, ist weit sicherer als eine lange, von anderswo kopierte mit Regeln, die Sie nicht erklären können. Nachdem Sie Ihre Datei erstellt haben, rufen Sie sie im Browser auf, um zu bestätigen, dass sie im Stammverzeichnis als reiner Text ausgeliefert wird, und prüfen Sie anschließend die wichtigen Pfade in einem Tester, bevor Sie sich auf sie verlassen.

Häufig gestellte Fragen

Wofür ist eine robots.txt-Datei da?

Eine robots.txt-Datei teilt Suchmaschinen-Crawlern mit, auf welche Teile Ihrer Website sie zugreifen dürfen und auf welche nicht. Sie verwendet die Anweisungen User-agent, Allow und Disallow und wird in das Stammverzeichnis Ihrer Domain gelegt, sodass Bots sie vor dem Crawlen lesen.

Wie funktionieren Allow- und Disallow-Regeln?

Disallow blockiert Crawler von einem Pfad, während Allow einen Pfad ausdrücklich erlaubt, was nützlich ist, um einen Unterordner innerhalb eines ansonsten blockierten Verzeichnisses zu öffnen. Sie können mit dem User-agent für alle Robots alle Bots ansprechen oder separate Regeln für bestimmte Crawler wie Googlebot schreiben.

Was bewirkt Crawl-delay?

Crawl-delay schlägt vor, wie viele Sekunden ein Crawler zwischen Anfragen warten soll, was die Serverlast verringern kann. Beachten Sie, dass nicht alle Suchmaschinen es berücksichtigen; Google ignoriert Crawl-delay beispielsweise und bevorzugt Crawl-Rate-Einstellungen in der Search Console.

Warum eine Sitemap-Zeile hinzufügen?

Das Einfügen einer Sitemap-Anweisung verweist Crawler auf Ihre XML-Sitemap, sodass sie Ihre Seiten effizienter entdecken können. Das Tool ermöglicht es Ihnen, mehrere Sitemap-URLs aufzulisten, eine pro Zeile, und schreibt sie für Sie in die Datei.

Garantiert robots.txt, dass eine Seite aus Google herausgehalten wird?

Nein. Disallow verhindert das Crawlen, aber eine blockierte URL kann dennoch indexiert werden, wenn andere Seiten auf sie verlinken. Um eine Seite aus den Suchergebnissen herauszuhalten, verwenden Sie ein noindex-Meta-Tag oder einen entsprechenden Header auf einer crawlbaren Seite, statt sich allein auf robots.txt zu verlassen.