Generador robots.txt y Meta Robots
Configura robots.txt y meta-etiquetas de indexación en tiempo real. Copia o descarga el resultado.
¿Qué es Generador robots.txt y para qué sirve?
El generador robots.txt crea archivos de exclusión para rastreadores web y meta etiquetas robots para controlar indexación. Define qué bots pueden acceder a qué rutas, bloquea áreas administrativas, indica ubicación del sitemap y configura noindex/nofollow por página. Esencial para SEO técnico, lanzamientos de sitios y entornos de staging que no deben aparecer en Google. Una configuración incorrecta puede ocultar páginas importantes o exponer secciones privadas a indexación no deseada.
¿Cómo se calcula / Cómo funciona?
robots.txt usa sintaxis User-agent, Disallow, Allow y Sitemap. User-agent: * aplica a todos los bots; Disallow: /admin/ bloquea ruta. Meta robots en HTML —<meta name="robots" content="noindex,nofollow">— controla indexación a nivel de página. El generador combina ambos según selección y valida rutas con barras iniciales. Puede previsualizar el archivo completo antes de subirlo a la raíz del dominio.
Ejemplos prácticos de uso
- Un ecommerce bloquea /carrito/, /checkout/ y /cuenta/ en robots.txt mientras indexa catálogo de productos y categorías públicas del sitio.
- Un sitio en desarrollo genera noindex en todas las páginas del subdominio staging.empresa.cl antes de compartir con cliente.
Preguntas Frecuentes (FAQ)
¿robots.txt garantiza que Google no indexe? No del todo. Es una directiva; páginas enlazadas externamente pueden indexarse parcialmente. Para exclusión firme, use noindex en meta o header HTTP.
¿Dónde va el Sitemap? Incluya línea Sitemap: https://tudominio.cl/sitemap.xml al final de robots.txt. Ayuda a buscadores a descubrir URLs prioritarias y acelerar la indexación de contenido nuevo.