Robots.txt-Generator

Erstellen Sie eine robots.txt-Datei, um zu steuern, wie Suchmaschinen und Bots auf die Seiten Ihrer Website zugreifen

Standardregel für alle Bots (User-agent: *)

Von der Indexierung ausgeschlossene Pfade (einer pro Zeile) Ausdrücklich erlaubte Pfade (optional)

Crawl-Delay in Sekunden (optional) Sitemap-URL (optional)

Die fertige robots.txt-Datei wird hier angezeigt…