Erstellen Sie eine gültige robots.txt mit Vorlagen, eigenen Regeln, Sperren für KI-Crawler und Ihrer Sitemap-Zeile.
robots.txt ist eine einfache Textdatei im Wurzelverzeichnis einer Domain, die automatisierten Crawlern sagt, welche Pfade sie abrufen dürfen. Sie folgt dem Robots Exclusion Protocol, standardisiert als RFC 9309, und ihr Aufbau ist simpel: Gruppen, die mit einer oder mehreren User-agent-Zeilen beginnen, gefolgt von Disallow- und Allow-Regeln, dazu eigenständige Sitemap-Zeilen, die für die ganze Datei gelten. Pfade werden per Präfix abgeglichen, * steht für eine beliebige Zeichenfolge und $ verankert das Ende einer URL, sodass /*.pdf$ jedes PDF sperrt. Ein leeres „Disallow:“ ist die kanonische Art zu sagen: „Alles darf gecrawlt werden.“
Dieser Generator schreibt diese Syntax für Sie und räumt die Eingabe unterwegs auf: Jeder Pfad bekommt einen führenden Schrägstrich, falls Sie ihn vergessen haben, Zeilen, die mit # beginnen, bleiben als Kommentare erhalten, eine leere Regelliste wird zur kanonischen Alles-erlauben-Gruppe, und die Crawl-Verzögerung wird nur geschrieben, wenn sie eine positive Zahl ist. Die KI-Crawler-Option hängt eine eigene Gruppe an, die GPTBot, ChatGPT-User, OAI-SearchBot, CCBot, anthropic-ai, ClaudeBot, Claude-Web, Google-Extended, PerplexityBot, Applebot-Extended, Bytespider, Amazonbot, Meta-ExternalAgent und cohere-ai unter einem gemeinsamen Disallow: / auflistet — so widersprechen Sie KI-Training und Answer-Engine-Crawling, ohne Googlebot anzurühren. Die Sitemap-Zeile wird als absolute URL geprüft, denn relative Sitemap-Pfade werden von Suchmaschinen ignoriert.
Zwei ehrliche Grenzen sollte man wiederholen. Erstens ist robots.txt eine Bitte, keine Mauer: Wohlerzogene Crawler halten sich daran, Scraper ignorieren sie, und alles, was Sie dort auflisten, ist öffentlich lesbar — verstecken Sie damit nie sensible Pfade. Zweitens verhindert ein Disallow das Crawlen, nicht das Indexieren; eine gesperrte Seite, auf die andere Websites verlinken, kann weiterhin ohne Beschreibung in den Ergebnissen auftauchen. Wenn Sie sie aus dem Index haben wollen, setzen Sie ein noindex-Meta-Tag auf die Seite selbst. Die Datei wird vollständig in Ihrem Browser erzeugt und lokal heruntergeladen — nichts über Ihre Website wird hier hochgeladen.
User-agent:
In das Wurzelverzeichnis der Domain, erreichbar unter https://ihreseite.de/robots.txt. Crawler schauen nur dort nach — eine Datei in einem Unterordner wird ignoriert, und jede Subdomain braucht eine eigene.
Nein. Es verhindert, dass die Seite gecrawlt wird, aber eine gesperrte URL kann über externe Links trotzdem indexiert werden. Damit eine Seite nicht in den Ergebnissen erscheint, erlauben Sie das Crawlen und setzen ein noindex-Meta-Tag auf die Seite.
Manche ja, manche nicht. OpenAI, Google und Anthropic dokumentieren ihre User-Agents und respektieren die Datei; viele Scraper ignorieren sie vollständig. Eine Sperre ist ein klares Signal, keine Durchsetzung.
Nein — Googlebot ignoriert die Direktive und regelt sein Tempo selbst, während Bing und Yandex sie durchaus lesen. Nutzen Sie die Search Console, wenn Sie Google ausbremsen müssen.
Nein. CSS- oder JS-Dateien zu sperren hindert Suchmaschinen daran, Ihre Seiten so zu rendern, wie Nutzerinnen und Nutzer sie sehen, was den Rankings schaden kann, und die Sitemap muss erreichbar bleiben.
Nein. Die Datei wird von JavaScript auf Ihrem Gerät zusammengesetzt und direkt in Ihrem Download-Ordner gespeichert.
Vai.la verwandelt jede URL in einen Kurzlink mit Klick-Statistiken, QR-Code und Ihrem eigenen Biolink.
Vai.la übernimmt keine Verantwortung für die Nutzung der Tools oder für Entscheidungen, die auf ihren Ergebnissen basieren.