Generador de Robots.txt
URL del sitio web (opcional)
Reglas
1
User-agent
Directiva
Ruta
URLs de Sitemap (una por línea)
Retraso de rastreo (segundos)
Cómo usar Generador de Robots.txt
- 1
Añade reglas de rastreo
Haz clic en Añadir regla y define el User-agent, elige Allow o Disallow e introduce la ruta a la que debe aplicarse cada regla.
- 2
Define directivas opcionales
Añade las URL de tu sitemap (una por línea) y un crawl-delay opcional en segundos para controlar cómo rastrean tu sitio los buscadores.
- 3
Genera el archivo
Haz clic en Generar robots.txt para construir un archivo con el formato correcto a partir de tus reglas y directivas.
- 4
Copia o descarga
Usa Copiar al portapapeles o Descargar robots.txt, y luego sube el archivo a la raíz de tu dominio (tusitio.com/robots.txt).
Preguntas frecuentes
¿Para qué sirve un archivo robots.txt?
Un archivo robots.txt indica a los rastreadores de los buscadores a qué partes de tu sitio pueden o no pueden acceder. Usa las directivas User-agent, Allow y Disallow y se coloca en la raíz de tu dominio para que los bots lo lean antes de rastrear.
¿Cómo funcionan las reglas Allow y Disallow?
Disallow bloquea a los rastreadores el acceso a una ruta, mientras que Allow permite explícitamente una, lo que resulta útil para abrir una subcarpeta dentro de un directorio que por lo demás está bloqueado. Puedes dirigirte a todos los bots con el User-agent para todos los robots, o escribir reglas separadas para rastreadores concretos como Googlebot.
¿Qué hace crawl-delay?
Crawl-delay sugiere cuántos segundos debe esperar un rastreador entre solicitudes, lo que puede reducir la carga del servidor. Ten en cuenta que no todos los buscadores lo respetan; por ejemplo, Google ignora crawl-delay y prefiere los ajustes de frecuencia de rastreo en Search Console.
¿Por qué añadir una línea de sitemap?
Incluir una directiva Sitemap dirige a los rastreadores a tu sitemap XML para que descubran tus páginas de forma más eficiente. La herramienta te permite enumerar varias URL de sitemap, una por línea, y las escribe en el archivo por ti.
¿robots.txt garantiza que una página quede fuera de Google?
No. Disallow impide el rastreo, pero una URL bloqueada aún puede indexarse si otras páginas enlazan a ella. Para mantener una página fuera de los resultados de búsqueda, usa una metaetiqueta o cabecera noindex en una página que sea rastreable, en lugar de basarte solo en robots.txt.
Herramientas relacionadas
Sigue trabajando con estas prácticas herramientas