Robots.txt: qué es y cómo utilizarlo correctamente
Descubre cómo funciona robots.txt, qué puede controlar y cómo evitar bloquear por accidente páginas importantes.
Robots.txt es un archivo de texto simple, normalmente situado en la raíz del dominio, que indica a los rastreadores qué zonas del sitio pueden acceder o ignorar.
Ayuda a gestionar el acceso de los rastreadores, pero no es un mecanismo de seguridad y no garantiza que una página desaparezca de los resultados de búsqueda.
¿Qué puede hacer robots.txt?
Las reglas de robots.txt pueden orientar a los rastreadores hacia determinadas rutas o alejarlos de ellas. Son útiles para zonas técnicas, resultados de búsqueda internos o recursos que no deben rastrearse repetidamente.
- permitir el acceso a rutas concretas
- bloquear rutas con poco valor para el rastreo
- definir reglas para rastreadores específicos
- indicar la dirección del sitemap
¿Qué no puede hacer?
Robots.txt no protege información privada ni es una forma segura de ocultar una página de Google. Una URL bloqueada puede descubrirse mediante enlaces externos y una página ya indexada puede permanecer en los resultados durante un tiempo.
Utiliza autenticación para el contenido privado. Para controlar la indexación, analiza meta robots, las respuestas HTTP y las reglas canónicas adecuadas.
Errores frecuentes
Una regla demasiado amplia puede bloquear todo el sitio o recursos necesarios para mostrar las páginas. Comprueba la diferencia entre una ruta pública importante y una zona técnica que quieres excluir.
- usar Disallow: / por accidente
- bloquear CSS o JavaScript necesarios
- utilizar rutas incorrectas
- no incluir el sitemap
- suponer que robots.txt es una contraseña
¿Cómo revisar el archivo?
Abre /robots.txt en el navegador y revisa las reglas activas. Después prueba las páginas importantes con herramientas de inspección y revisa los informes de Google Search Console.
Compara las reglas con el sitemap, las canónicas y los enlaces internos. Una página importante no debería aparecer en el sitemap y estar bloqueada al mismo tiempo sin una razón clara.
La relación con el SEO técnico
Robots.txt forma parte de la infraestructura SEO técnica, junto con el sitemap, las canónicas, hreflang y la estructura interna del sitio. Cada señal debe comunicar la misma intención.
Una auditoría SEO puede detectar bloqueos accidentales y el mantenimiento puede incluir la revisión del archivo después de cambios, migraciones o nuevas secciones.
Conclusión
Robots.txt debe ser simple, preciso y estar actualizado. Úsalo para gestionar el rastreo, no para proteger datos privados ni como sustituto de una estrategia completa de indexación.
Antes de bloquear una ruta, comprueba qué páginas y recursos dependen de ella y prueba el resultado después de publicar.
Este artículo fue preparado con la ayuda de herramientas de IA y revisado editorialmente antes de su publicación.
