Robots.txt Generator

Website-URL (optional)

Regeln

User-Agent

Direktive

Pfad

Sitemap-URLs (eine pro Zeile)

Crawl-Verzögerung (Sekunden)

Noindex-Meta-Tag-Erinnerung hinzufügen

So verwenden Sie Robots.txt Generator

1
Crawl-Regeln hinzufügen
Klicken Sie auf „Regel hinzufügen“, legen Sie den User-agent fest, wählen Sie „Allow“ oder „Disallow“ und geben Sie den Pfad ein, für den die jeweilige Regel gelten soll.
2
Optionale Anweisungen festlegen
Fügen Sie Ihre Sitemap-URLs (eine pro Zeile) und ein optionales Crawl-delay in Sekunden hinzu, um zu steuern, wie Suchmaschinen Ihre Website crawlen.
3
Datei erzeugen
Klicken Sie auf „robots.txt erzeugen“, um aus Ihren Regeln und Anweisungen eine korrekt formatierte Datei zu erstellen.

4
Kopieren oder herunterladen
Verwenden Sie „In die Zwischenablage kopieren“ oder „robots.txt herunterladen“ und laden Sie die Datei dann in das Stammverzeichnis Ihrer Domain hoch (ihreseite.de/robots.txt).

Häufig gestellte Fragen

Wofür ist eine robots.txt-Datei da?

Eine robots.txt-Datei teilt Suchmaschinen-Crawlern mit, auf welche Teile Ihrer Website sie zugreifen dürfen und auf welche nicht. Sie verwendet die Anweisungen User-agent, Allow und Disallow und wird in das Stammverzeichnis Ihrer Domain gelegt, sodass Bots sie vor dem Crawlen lesen.

Wie funktionieren Allow- und Disallow-Regeln?

Disallow blockiert Crawler von einem Pfad, während Allow einen Pfad ausdrücklich erlaubt, was nützlich ist, um einen Unterordner innerhalb eines ansonsten blockierten Verzeichnisses zu öffnen. Sie können mit dem User-agent für alle Robots alle Bots ansprechen oder separate Regeln für bestimmte Crawler wie Googlebot schreiben.

Was bewirkt Crawl-delay?

Crawl-delay schlägt vor, wie viele Sekunden ein Crawler zwischen Anfragen warten soll, was die Serverlast verringern kann. Beachten Sie, dass nicht alle Suchmaschinen es berücksichtigen; Google ignoriert Crawl-delay beispielsweise und bevorzugt Crawl-Rate-Einstellungen in der Search Console.

Warum eine Sitemap-Zeile hinzufügen?

Das Einfügen einer Sitemap-Anweisung verweist Crawler auf Ihre XML-Sitemap, sodass sie Ihre Seiten effizienter entdecken können. Das Tool ermöglicht es Ihnen, mehrere Sitemap-URLs aufzulisten, eine pro Zeile, und schreibt sie für Sie in die Datei.

Garantiert robots.txt, dass eine Seite aus Google herausgehalten wird?

Nein. Disallow verhindert das Crawlen, aber eine blockierte URL kann dennoch indexiert werden, wenn andere Seiten auf sie verlinken. Um eine Seite aus den Suchergebnissen herauszuhalten, verwenden Sie ein noindex-Meta-Tag oder einen entsprechenden Header auf einer crawlbaren Seite, statt sich allein auf robots.txt zu verlassen.

Robots.txt Generator

So verwenden Sie Robots.txt Generator

Häufig gestellte Fragen

Verwandte Tools