Generador Robots.txt 2026: Guía Sintaxis Completa + 12 Plantillas
Generador online gratis robots.txt 2026. Sintaxis correcta: User-agent, Allow, Disallow, Sitemap, Crawl-delay, comodines. Incluye plantillas WordPress, Shopify, Next.js, Cloudflare Pages.
1. ¿Qué es robots.txt? Por qué una mala sintaxis saca tu sitio del índice
robots.txt es un archivo de texto plano en /robots.txt que indica a los crawlers qué páginas rastrear. Un solo Disallow: / mal colocado saca tu sitio de Google en 72h. Usa Korelyy con el estándar 2026 (Googlebot, Bingbot, ClaudeBot, GPTBot).
1.1 Nuevos crawlers 2026 que debes bloquear sí o sí
- GPTBot / ChatGPT-User — OpenAI rastrea para entrenar sus modelos. El 70% sitios enterprise lo bloquean en 2026.
- ClaudeBot / anthropic-ai — Anthropic rastrea para entrenar Claude.
- Google-Extended — Crawler entrenamiento AI Google, separado de Googlebot de búsqueda.
- Amazonbot / Bytespider (TikTok) / PetalBot (Huawei) — scrapers que más consumen ancho de banda 2026.
2. Generador Korelyy robots.txt — Construcción segura en 30 segundos
Abre Korelyy → SEO → Generador robots.txt: 1. Selecciona plataforma. 2. Activa bloqueo crawlers IA. 3. Pega Sitemap. 4. Añade reglas por carpeta. 5. Genera, copia, sube a la raíz. Korelyy valida sintaxis comodines.
2.1 12 Plantillas listas para copiar-pegar
- T1. Blog estático Jekyll/Hugo/Cloudflare: Allow público, Disallow /private, /draft, /admin, bloqueo IA, Sitemap.
- T2. WordPress 2026: Allow admin-ajax. Disallow xmlrpc, wp-json, search/?s, tag, author, feed. Bloqueo IA.
- T3. Shopify: Usa editor robots.txt integrado. Añade líneas bloqueo IA. Sitemap auto en /sitemap.xml.
- T4. Next.js Export estático: Disallow /_next/, *.json. Sitemap /sitemap-index.xml. Bloqueo IA.
3. 7 Errores mortales robots.txt en 2026
- E1. Disallow: / — error tipográfico buscando /private. Quita todo del índice.
- E2. Crawl-delay en Googlebot — lo ignora desde 2019. Usa Search Console.
- E3. Disallow /wp-admin/ pero olvidas Allow admin-ajax.php — rompes plugins en frontend.
- E4. Disallow /*.pdf$ — Google ignora el $. Usa encabezado X-Robots-Tag en PDFs.
- E5. Robots.txt para ocultar páginas privadas — Google sigue indexando si hay links externos. Añade meta noindex + contraseña.
4. Verificación y monitorización tras subir
1. curl -I → HTTP 200 text/plain. 2. GSC → Tester robots.txt. 3. Solicitar reindexación. 4. Revisar cobertura GSC 4 semanas.