SEO
robots.txt Generator
Erstelle eine robots.txt mit Vorlagen für WordPress, Shops oder KI-Crawler – und teste direkt, ob eine Adresse für Googlebot & Co. erlaubt oder gesperrt ist.
- Läuft komplett in deinem Browser
- Keine Datenübertragung
- Ohne Anmeldung
- Kostenlos
Vorlage
Sitemaps absolute URLs
robots.txt
URL testen
Prüfung
Gruppe
Crawl-delay von Google ignoriert
Anleitung
So funktioniert’s
- Vorlage wählen
Starte mit einer Vorlage – etwa „WordPress“ oder „KI-Crawler aussperren“ – oder baue deine Regeln selbst auf.
- Regeln anpassen
Lege fest, für welche Crawler (User-agent) welche Pfade gesperrt (Disallow) oder erlaubt (Allow) sind, und trage deine Sitemap ein.
- Adressen testen
Prüfe im Tester, ob eine bestimmte Adresse für Googlebot oder einen anderen Crawler erreichbar ist – und welche Regel greift.
- Datei hochladen
Lade die robots.txt herunter und lege sie im Hauptverzeichnis deiner Domain ab, also unter https://www.deine-domain.de/robots.txt.
FAQ
Häufige Fragen
Verhindert die robots.txt, dass eine Seite bei Google erscheint?
Nicht zuverlässig. Disallow verbietet nur das Crawlen. Ist die Seite anderswo verlinkt, kann Google die Adresse trotzdem ohne Inhalt anzeigen. Um eine Seite sicher aus dem Index zu halten, nutze stattdessen <meta name="robots" content="noindex"> – und sperre die Seite dann nicht per robots.txt, sonst sieht Google das noindex nicht.
Was bedeuten * und $ in den Pfaden?
* steht für beliebig viele Zeichen, $ für das Ende der Adresse. Disallow: /*.pdf$ sperrt also alle Adressen, die auf .pdf enden. Ohne $ gilt eine Regel für alle Adressen, die mit dem Pfad beginnen.
Welche Regel gilt, wenn sich Allow und Disallow widersprechen?
Google wendet die längste (spezifischste) passende Regel an. Sind beide gleich lang, gewinnt Allow. Genau so rechnet auch der Tester.
Halten sich KI-Crawler an die robots.txt?
Die bekannten Anbieter wie OpenAI (GPTBot), Anthropic (ClaudeBot), Google (Google-Extended) oder Common Crawl (CCBot) geben an, die robots.txt zu beachten. Die Datei ist aber eine Bitte, kein technischer Schutz – unseriöse Crawler können sie ignorieren.
Wird Crawl-delay beachtet?
Google ignoriert Crawl-delay. Bing und einige andere Suchmaschinen berücksichtigen den Wert.