robots.txt-Generator: Aufgaben und Grenzen
Baut die robots.txt nach dem Gruppen-Prinzip des Standards: pro User-agent eigene Regeln, Pfade zeilenweise, dazu Crawl-delay und Verweise auf Ihre Sitemaps.
Funktionen
Mehrere User-agent-Gruppen, Disallow- und Allow-Pfade je Zeile, Crawl-delay für höfliche Bots, Sitemap-Verweise.
Anleitung
- Voreinstellung wählen oder User-agent selbst eintragen
- Verbotene und erlaubte Pfade je Zeile eintragen
- Crawl-delay und Sitemap-URLs ergänzen
- Die fertige robots.txt in das Wurzelverzeichnis legen
Wann es sich lohnt
- Staging- und interne Bereiche aus der Suche halten
- Google Shopping oder andere Spezial-Bots gezielt regeln
- Crawlerlast auf schwachen Servern dämpfen
Häufige Fragen
Schützt robots.txt vor Zugriff?Nein – sie ist eine Bitte an höfliche Crawler. Jeder kann die Datei lesen und jeder Pfad bleibt direkt aufrufbar. Zugangsschutz läuft über Authentifizierung.
Wie lange dauert es, bis Änderungen greifen?Crawler lesen die Datei bei ihren Besuchen neu. Zwischen zwei Besuchen können Tage liegen; in den Webmaster-Tools lässt sich ein frischer Abruf anstoßen.
Was verbietet „Disallow: /” mit leerem User-agent?Der Stern als User-agent gilt für alle Bots; „Disallow: /” verbietet dann die gesamte Website. Wer alles erlaubt, schreibt besser „Allow: /” ausdrücklich hin.
Kann ich mehrere Sitemaps eintragen?Ja, das Werkzeug schreibt je Datei eine Sitemap-Zeile. Alle Adressen sollten auf dieselbe Domain zeigen, damit die Zuordnung eindeutig bleibt.
Unterstützte Fälle
Regeln wirken pro Gruppe: Ein Bot liest nur den Block mit seinem Namen oder den Stern als Sammelblock. Allow-Regeln können Disallow-Regeln für tiefere Pfade wieder freigeben – die längere Regel gewinnt.
Weiterführende Werkzeuge
Diese Werkzeuge passen inhaltlich zu robots.txt-Generator: