Anmelden Kostenlos starten

Robots.txt-Generator
steuere, was Crawler abrufen

Erstelle eine robots.txt-Datei, ohne dir die Syntax merken zu müssen: Starte mit einer Vorlage, füge die Ordner hinzu, von denen Crawler fernbleiben sollen, gib deine Sitemap an und entscheide, wie du mit KI-Crawlern umgehst.

  • Free
  • Ohne Registrierung
  • Vorlagen zum Starten
  • Sitemap-Zeilen
  • Optionale Sperre für KI-Crawler

Starten mit

Läuft vollständig in deinem Browser — nichts, was du eingibst, wird an uns gesendet.

So funktioniert's

Anleitung: Robots.txt-Generator

  1. Ausgangspunkt wählen

    Alles erlauben, alles sperren oder mit einer typischen Website-Konfiguration starten.

  2. Regeln hinzufügen

    Liste die auszuschließenden Pfade, die erlaubten Ausnahmen und deine Sitemap-URL auf.

  3. Datei hochladen

    Lade robots.txt herunter und lege sie im Stammverzeichnis deiner Domain ab, z. B. example.com/robots.txt.

FAQ

Robots.txt-Generator: Fragen und Antworten

Etwas anderes? Frag uns.

Wohin gehört die robots.txt?

In das Stammverzeichnis des Hosts, für den sie gilt: https://example.com/robots.txt. Jede Subdomain braucht ihre eigene Datei, und Crawler ignorieren robots.txt-Dateien in Unterordnern.

Hält Disallow eine Seite aus Google heraus?

Nein. Disallow verhindert das Crawlen, nicht die Indexierung: Eine gesperrte URL kann trotzdem in den Ergebnissen erscheinen, wenn andere Websites darauf verlinken. Um eine Seite aus der Suche herauszuhalten, erlaube das Crawlen und füge ein noindex-Robots-Meta-Tag hinzu.

Kann robots.txt KI-Crawler blockieren?

Die meisten KI-Unternehmen geben an, dass ihre Crawler robots.txt befolgen, also kannst du User-Agents wie GPTBot, ClaudeBot, CCBot, Google-Extended und PerplexityBot ausschließen. Es ist eine Bitte, keine Durchsetzung: Crawler, die die Datei ignorieren, werden dadurch nicht aufgehalten.

Weitere kostenlose Tools

Andere Tools, die du brauchen könntest

Alle kostenlosen Tools
Open-Graph-Vorschau Sieh, wie eine URL aussieht, wenn sie auf Facebook, LinkedIn, X und WhatsApp geteilt wird. Social-Card-Vorschau Gib Titel, Beschreibung und Bild ein und sieh dir die Teilen-Karte in der Vorschau an. Meta-Tag-Generator Erstelle Title-, Description-, Robots-, Canonical-, Open-Graph- und Twitter-Tags. UTM-Generator Füge utm_source, utm_medium und utm_campaign zu jeder URL hinzu. Weiterleitungs-Checker Verfolge die Weiterleitungskette einer URL: jeder Schritt, Statuscode und Zeit. QR-Code-Generator QR-Codes mit deinem Logo, deinen Farben und Rahmen. Ohne Registrierung, ohne Wasserzeichen, ohne Ablaufdatum.

Teile sie mit einem Kurzlink

Setze einen Letlink-Kurzlink auf die Seite, die du gerade geprüft hast, und sieh, wer klickt, woher die Leute kommen und mit welchem Gerät.

Letlink kostenlos testen Zurück zum Tool

Zuletzt aktualisiert vom Letlink-Team.