Robots.txt Generator — verwalte Erlaubnisse und Sperren für KI-Crawler
Deine robots.txt sagt Google, welche Seiten gecrawlt und indexiert werden dürfen – eine falsche Regel kann deine gesamte Website aus der Suche verschwinden lassen. Erstelle eine robots.txt im Browser. Schritte: User-Agents auswählen, Allow-/Disallow-Pfade und eine Sitemap-Zeile hinzufügen, dann das Textresultat mit erklärten Syntaxregeln und aktuellen KI-Crawler-User-Agents kopieren. Läuft lokal – es wird nichts hochgeladen. Beispiel: GPTBot sperren, während Googlebot vollständig aktiv bleibt.
Hake die Crawler an, die du aufnehmen möchtest, und füge dann Pfade für jede Gruppe hinzu.
So funktioniert es
Wähle die Ziel-Crawler aus, füge für jede Gruppe Allow- und Disallow-Pfade hinzu, optional eine Sitemap-Zeile, und drücke Generieren. Die Seite setzt die Textdatei nach dem RFC-9309-Layout zusammen: eine User-Agent-Zeile pro Gruppe, darunter ihre Allow-/Disallow-Zeilen, eine Leerzeile zwischen Gruppen und die Sitemap-Zeile am Ende. Kopiere das Ergebnis in das Stammverzeichnis deiner Seite unter /robots.txt.
Wichtige Syntaxregeln
robots.txt-Regeln sind Pfad-Präfixe, keine Muster, und ein Crawler wendet die letzte passende Gruppe in der Datei an. Das sind die Regeln, denen dieser Generator folgt.
- Gruppenreihenfolge: Eine User-Agent-Zeile beginnt eine Gruppe für diesen Crawler; eine Leerzeile beendet sie. Die letzte passende Gruppe gewinnt.
- Präfix-Abgleich: Allow und Disallow matchen Pfad-Präfixe, keine Teilstrings oder Regex. Nur * und $ sind besonders (RFC 9309).
- Disallow: / sperrt diesen Agenten auf der gesamten Seite. Disallow mit leerem Wert erlaubt diesem Agenten alles.
- Sitemap ist eine Erweiterung, kein Teil von RFC 9309. Sie ist unabhängig von Groß-/Kleinschreibung und darf überall stehen, wird aber üblicherweise ans Ende gesetzt.
Beispiel
Beispiel: Googlebot mit Allow: / (vollständig aktiv), GPTBot mit Disallow: / (gesperrt) und eine Sitemap-Zeile, die auf /sitemap.xml zeigt. Die Ausgabe folgt diesem Layout: eine Gruppe pro Crawler, Leerzeile zwischen Gruppen, Sitemap zuletzt.
Gut geeignet für
- Neue Seiten: ein Start-robots.txt, das Suchmaschinen aktiviert lässt und private Staging-Pfade versteckt.
- KI-Crawler-Kontrolle: GPTBot, ClaudeBot, Google-Extended, CCBot oder PerplexityBot von Training oder Zusammenfassung aussperren, ohne Googlebot zu beeinflussen.
- Auffindbarkeit: robots.txt mit einer Sitemap-Zeile kombinieren, damit Crawler die Sitemap finden.
Frequently asked questions
Was passiert, wenn ich Disallow: / schreibe?
Es sagt diesem Crawler, keine URL unter der Seitenwurzel abzurufen. Bekommt Googlebot Disallow: /, können deine Seiten aus der Google-Suche verschwinden. Für einen Staging-Pfad nimm stattdessen Disallow: /private/.
Wie sperre ich KI-Crawler wie GPTBot?
Erstelle eine Gruppe mit dem User-Agent des Crawlers (z. B. GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot) und füge Disallow: / hinzu. Prüfe die offizielle Doku des Crawlers, da KI-Crawler ihre User-Agents und IP-Bereiche von Zeit zu Zeit aktualisieren.
Wo soll die Sitemap-Zeile stehen?
Die Position hat keinen Einfluss darauf, wie Suchmaschinen sie lesen, aber üblich ist das Dateiende. Der Generator hängt sie zuletzt an, wenn du eine URL angibst.
Wird mein robots.txt irgendwohin hochgeladen?
Nein. Die Datei wird in deinem Browser erzeugt und nie an einen Server gesendet. Schließe den Tab, und es wird nichts gespeichert.
Related tools
Fragen oder Feedback
Unklar, kaputt oder etwas fehlt? Schreib unten eine Nachricht — wir lesen jede Notiz zu diesen Tools.