Generador de Robots.txt
Crea un archivo robots.txt para controlar el acceso de los motores de búsqueda y bots a las páginas de tu sitio
Bloquear bots de IA específicos (opcional)
¿Qué es la herramienta generador de archivo Robots.txt de Fastols?
Esta herramienta genera el archivo Robots.txt que controla cómo rastrean los motores de búsqueda las páginas del sitio, definiendo una regla predeterminada de permiso o bloqueo, además de rutas personalizadas y robots concretos que se pueden bloquear.
Es útil para propietarios de sitios web que necesitan ajustar el comportamiento de los motores de búsqueda respecto a determinadas secciones del sitio, como páginas de administración o archivos internos.
Creado sin ninguna llamada al servidor
Las reglas de tu robots.txt se ensamblan directamente en el navegador según las opciones que elijas.
Vista previa en vivo del archivo
Ve el resultado del robots.txt actualizarse mientras activas cada regla.
Listo para copiar, siempre gratis
Descarga o copia el archivo final sin necesidad de registrarte.
Cómo crear un archivo Robots.txt en pasos sencillos
- 1Elige la regla predeterminada: permitir a todos los robots, bloquearlos por completo, o definir rutas personalizadas.
- 2Introduce las rutas personalizadas de permiso y bloqueo, además del tiempo de retraso de rastreo si quieres definirlo.
- 3Indica los robots concretos que quieres bloquear de la lista de robots disponible.
- 4Añade el enlace del archivo Sitemap si existe, y después copia el contenido del archivo o descárgalo directamente como robots.txt.
Preguntas frecuentes sobre el generador de Robots.txt
¿Qué opciones hay para la regla predeterminada del archivo Robots.txt?
Puedes elegir permitir el rastreo a todos los robots, bloquearlo por completo, o definir rutas personalizadas de permiso y bloqueo.
¿Cómo se añaden rutas personalizadas de permiso y bloqueo?
Las rutas se escriben en los campos de permitir y bloquear, cada una en una línea distinta, y la herramienta añade automáticamente una barra al inicio de cualquier ruta que no comience con ella.
¿Se pueden bloquear robots de rastreo concretos por su nombre?
Sí, la herramienta permite elegir robots específicos de una lista predefinida para bloquearlos de forma independiente de la regla general del sitio.
¿Se puede añadir el enlace del sitemap al archivo resultante?
Sí, hay un campo dedicado para introducir el enlace del archivo Sitemap, que se añade automáticamente como una línea aparte al final del archivo Robots.txt.
¿Cómo se obtiene el archivo Robots.txt listo para subirlo al sitio?
Puedes copiar el contenido del archivo directamente desde el cuadro de resultado, o pulsar el botón de descarga para obtener un archivo robots.txt listo para subir a la raíz del sitio.