SEO
Robots.txt: qué es y cómo configurarlo (también para los bots de IA)
La sintaxis que entiende Google, cómo probarlo en Search Console, la lista de bots de IA según cada empresa y lo que bloquean 12 grandes medios de España, EE. UU. y Brasil.
El robots.txt es un archivo de texto en la raíz de tu web que dice a los rastreadores, de Google o de una IA, qué partes pueden visitar. No sirve para esconder páginas de Google ni para proteger nada: es una petición que los bots serios respetan y los demás ignoran.
Lo hemos comprobado a finales de octubre de 2026 leyendo el robots.txt de 12 grandes medios de España, EE. UU. y Brasil: 10 bloquean a ClaudeBot, 7 a GPTBot y ninguno a Googlebot. Notablia ha hecho lo contrario y deja entrar a todos.
Aquí tienes cómo se escribe, cómo probarlo, qué bots de IA existen según cada empresa y los errores que sacan una web entera de Google. Es la puerta de entrada del SEO técnico.
En esta guía
Qué es el robots.txt y qué no hace
El robots.txt es un archivo de texto plano que indica a los rastreadores qué URL de tu web pueden pedir y cuáles no.
El archivo robots.txt es un fichero de texto que vive en la raíz de cada dominio o subdominio y sigue el Protocolo de Exclusión de Robots, estandarizado como RFC 9309 en 2022. Agrupa reglas por bot con user-agent, allow y disallow, y sirve sobre todo para gestionar el rastreo y no saturar el servidor.
Lo que no hace, según la introducción de Google a los archivos robots.txt: no impide que una página salga en Google. Si otras webs la enlazan, puede aparecer en los resultados sin descripción. Tampoco es seguridad: el archivo es público y cumplirlo es voluntario.
Cómo funciona: user-agent, disallow, allow y sitemap
Un robots.txt se lee por grupos: cada grupo empieza con uno o varios user-agent y sigue con sus reglas allow y disallow.
Este sería el de una tienda online que no quiere gastar rastreo en el carrito ni en su buscador interno.
User-agent: *
Disallow: /carrito/
Disallow: /buscar
Allow: /
Sitemap: https://tutienda.es/sitemap.xml| Directiva | Qué hace | Ojo con |
|---|---|---|
User-agent | A qué bot se aplica el grupo | El * vale para todos los que no tengan grupo propio |
Disallow | Ruta que no debe rastrear | Distingue mayúsculas: /Blog/ no es /blog/ |
Allow | Excepción dentro de un bloqueo | Gana la regla más larga y concreta |
Sitemap | Dónde está tu sitemap | Siempre con la URL completa |
Crawl-delay | Pausa entre visitas | Google la ignora; Anthropic sí la respeta |
La línea Sitemap le dice a cualquier bot dónde está tu sitemap XML, aunque no uses sus herramientas para webmasters.
Un detalle que casi nadie cuenta: si creas un grupo para un bot concreto, ese bot deja de leer el grupo del *. Si le pones a GPTBot su propio grupo y te olvidas de copiar tus bloqueos generales, GPTBot podrá entrar en todo lo demás.
¿Qué significa disallow?
Disallow significa «no permitir»: la ruta que viene detrás no debe rastrearse. Disallow: /admin/ bloquea esa carpeta, Disallow: / bloquea la web entera y un Disallow: vacío no bloquea nada. Cuando un allow y un disallow chocan, Google aplica la regla más específica y, si empatan, la menos restrictiva.
¿Cómo se llama el robot de Google?
Googlebot, en sus versiones para móvil y ordenador, y es el nombre que va en el user-agent. Google tiene otros, como Googlebot-Image para imágenes. Y Google-Extended no es un robot: es una etiqueta que usas en el robots.txt para decidir sobre el uso de tu contenido en Gemini.
Cómo configurar el robots.txt y probarlo, paso a paso
Para configurar el robots.txt basta un editor de texto, acceso a la raíz de tu web y diez minutos para probarlo en Search Console.
-
Mira el que ya tienes
Abre tudominio.com/robots.txt. Muchos CMS crean uno virtual aunque nunca hayas subido nada.
-
Decide qué no quieres que se rastree
Carrito, buscador interno, filtros con parámetros infinitos, entorno de pruebas. Nunca el CSS ni el JavaScript.
-
Escribe las reglas por grupos
Un grupo para todos con el
*y grupos propios solo para los bots que trates distinto. Recuerda: el grupo propio sustituye al general. -
Añade la línea Sitemap
Con la URL completa, al final del archivo. Puedes poner varias.
-
Súbelo a la raíz de cada host
Se llama robots.txt, en minúsculas y en UTF-8. Cada subdominio y cada protocolo necesitan el suyo, y Google ignora lo que pase de 500 KiB.
-
Pruébalo en Search Console
El informe de robots.txt te dice qué archivo encontró Google, cuándo y con qué errores. Si has desbloqueado algo importante, pide desde ahí un nuevo rastreo: Google guarda una copia hasta 24 horas.
Si buscabas un probador de robots.txt, el kit de Google hoy son tres piezas: ese informe, la inspección de URLs para ver si una URL concreta está bloqueada y su biblioteca de código abierto para probar el archivo en tu ordenador.
Robots.txt tester: cómo probar tu archivo y una URL concreta
Google reparte las pruebas entre varias herramientas, así que úsalas en este orden.
- ¿Es público? Abre tudominio.com/robots.txt en una ventana privada. Si ves el texto, Google también puede pedirlo.
- ¿Lo lee bien Google? El informe de robots.txt de Search Console solo funciona con un archivo que ya está publicado en tu web.
- ¿Esta URL está bloqueada? Pégala en la inspección de URLs.
- ¿Mis reglas dicen lo que creo? Compruébalas a mano con la lógica de la especificación de Google.
Las reglas distinguen mayúsculas, el * vale por cualquier cadena de caracteres y el $ marca el final de la URL. Así se comportan tres reglas, siguiendo esa especificación.
| Regla | Bloquea | No bloquea |
|---|---|---|
Disallow: /blog | /blog, /blog.html, /blogs, /blog/oferta, /blog?id=3 | /Blog, /mi-blog, /?seccion=blog |
Disallow: /blog/ | /blog/, /blog/oferta | /blog, /blog.html |
Disallow: /*.pdf$ | /catalogo.pdf, /docs/precios.pdf | /catalogo.pdf?v=2, /catalogo.pdf/ |
Quien programe puede compilar la biblioteca de código abierto de Google y probar el archivo en local. Y si un probador de terceros dice «permitida» y Search Console dice «bloqueada», hazle caso a Search Console.
Robots.txt en WordPress: qué trae de serie y qué reglas añadir
De serie, WordPress sirve un robots.txt virtual con tres líneas: un User-agent para todos, un Disallow para el área de administración y un Allow para admin-ajax.php.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpUn despiste habitual al lanzar la web es la casilla de visibilidad para los motores de búsqueda, en Ajustes y luego Lectura. Desde WordPress 5.3 ya no escribe un Disallow en el robots.txt: añade una etiqueta meta robots a cada página. Se olvida igual de fácil, así que desmárcala el día del lanzamiento.
Si vendes con WooCommerce, suma el carrito, la finalización de compra y la cuenta, con las direcciones que use tu tienda, y los parámetros que generan URL infinitas.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /carrito/
Disallow: /finalizar-compra/
Disallow: /mi-cuenta/
Disallow: /*?orderby=Copia la dirección real de cada página desde tu navegador antes de pegarla. Pruébalo en el informe de Search Console y no te pases: cada regla de más es una página que Google deja de ver.
Bots de IA en el robots.txt: GPTBot, ClaudeBot, Google-Extended y el resto
Los bots de IA se gestionan igual que Googlebot, por su user-agent, pero cada empresa separa los que entrenan modelos de los que buscan y citan.
Esta es la lista según la documentación de cada empresa, consultada a finales de octubre de 2026.
| Empresa | Bot | Para qué sirve | Si lo bloqueas |
|---|---|---|---|
| OpenAI | GPTBot | Entrenar sus modelos | Tu contenido no se usa para entrenar |
| OpenAI | OAI-SearchBot | La búsqueda de ChatGPT | No sales en sus respuestas con búsqueda |
| OpenAI | ChatGPT-User | Visitas que pide un usuario | Puede no aplicar el robots.txt |
| Anthropic | ClaudeBot | Entrenar sus modelos | Excluye tu contenido futuro |
| Anthropic | Claude-SearchBot | La búsqueda de Claude | Menos visibilidad en sus resultados |
| Anthropic | Claude-User | Visitas que pide un usuario | Claude no puede leerte cuando se lo piden |
| Google-Extended | Entrenar Gemini y sus respuestas con búsqueda | No afecta a la Búsqueda de Google | |
| Perplexity | PerplexityBot | Su buscador | Desapareces de sus enlaces |
| Perplexity | Perplexity-User | Visitas que pide un usuario | Suele ignorar el robots.txt |
Si quieres cerrar la puerta al entrenamiento sin desaparecer de los buscadores de IA, este es el patrón.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /Notablia ha elegido lo contrario: tres líneas, todos dentro. Somos un blog que quiere que las IA lo lean y lo citen, y bloquear el entrenamiento no nos daba nada a cambio.
Ojo si tu web está detrás de Cloudflare. Según su documentación, actualizada en julio de 2026, desde el 15 de septiembre de 2026 los dominios nuevos bloquean por defecto los bots de entrenamiento y de agente en las páginas con anuncios. Tu robots.txt puede decir «pasa» y tu CDN, «no».
¿Bloquear GPTBot te saca de ChatGPT?
No. GPTBot solo recoge contenido para entrenar; la búsqueda de ChatGPT usa OAI-SearchBot, y OpenAI dice que cada ajuste es independiente y que los cambios tardan unas 24 horas en notarse, según su página de rastreadores de OpenAI. Los bots «-User» son otra historia: actúan cuando alguien lo pide, como hace un navegador con IA, y no siempre leen el robots.txt.
Robots.txt o noindex: cuál usar para sacar una página de Google
Si quieres que una página no salga en Google, usa noindex y deja que Google la rastree: si la bloqueas en el robots.txt, nunca verá el noindex.
| Quieres que... | Usa |
|---|---|
| Una página no salga en Google | Etiqueta noindex o cabecera X-Robots-Tag |
| Google no pierda tiempo en filtros infinitos | Disallow en el robots.txt |
| Nadie vea un contenido privado | Contraseña |
| Tu contenido no entrene a una IA | Disallow para GPTBot o ClaudeBot, y Google-Extended |
| No salir en las respuestas de IA de Google | nosnippet o noindex, como en el resto de la Búsqueda |
Google dejó de aceptar el noindex dentro del robots.txt en 2019. Y cuidado con bloquear páginas que reciben backlinks: Google no podrá leerlas ni seguir sus enlaces.
El «Disallow: /» y otros errores del robots.txt que te sacan de Google
El error más caro del robots.txt es copiar a producción el archivo del entorno de pruebas, con un Disallow: / que bloquea la web entera.
Actúa como especialista en SEO técnico. Este es mi robots.txt: [pégalo]. Y estas son las secciones de mi web que quiero en Google: [lista]. Dime qué regla bloquea algo que no debería, qué bots de IA quedan permitidos o bloqueados según la documentación oficial de OpenAI, Anthropic, Google y Perplexity, y propón una versión corregida con un comentario en cada regla.
Preguntas frecuentes sobre el robots.txt
¿Qué es un bot en una página web?
Un bot es un programa que visita páginas web de forma automática, sin una persona detrás de cada clic. Los hay útiles, como Googlebot, que rastrea la web para el buscador, o los de las IA, que leen páginas para entrenar modelos o responder preguntas. Y los hay dañinos, como los que copian contenido, prueban contraseñas o falsean visitas. El robots.txt solo frena a los primeros: los bots que se portan mal lo ignoran.
¿Cuál es la diferencia entre un bot y un robot?
En internet son casi sinónimos: bot es la forma corta de robot, y los dos nombran a un programa que hace tareas automáticas. Por eso el archivo se llama robots.txt aunque hoy casi todo el mundo hable de bots. Fuera de internet, un robot suele ser una máquina física, como un brazo industrial o un aspirador, mientras que un bot siempre es software. En SEO, rastreador, araña, crawler, bot y robot se usan para lo mismo.
¿Se puede editar el robots.txt en Wix?
Sí. En el panel de tu web, entra en SEO y GEO, baja hasta Herramientas y ajustes y abre el Editor de robots.txt. Ahí ves el archivo actual, puedes escribir tus reglas y guardar, o volver a la versión por defecto con Restablecer ajustes predeterminados. Wix avisa de que es una función avanzada y de que su atención al cliente no ayuda con esos cambios. Los buscadores leerán la versión nueva en su siguiente rastreo.
¿Qué es el user agent?
El user agent es el texto con el que un programa se identifica al pedir una página: tu navegador dice qué navegador y sistema usas, y un bot dice cómo se llama, por ejemplo Googlebot o GPTBot. En el robots.txt, la línea User-agent indica a qué bot se aplican las reglas de debajo. Ojo: el user agent se puede falsificar, por eso Google, OpenAI y Anthropic publican también sus rangos de IP para verificar que la visita es suya.
¿Qué es el crawl budget?
El crawl budget, o presupuesto de rastreo, es el número de URL que Google está dispuesto a rastrear en tu web en un periodo, según la capacidad de tu servidor y el interés de tus páginas. Solo preocupa en webs enormes, de decenas de miles de URL, o con filtros que generan combinaciones infinitas. Para una pyme o un blog no es un problema. Ahí el robots.txt ayuda bloqueando búsquedas internas y filtros sin valor.
¿Cómo se configura el robots.txt en WordPress?
WordPress genera un robots.txt virtual que bloquea la carpeta /wp-admin/ salvo el archivo admin-ajax.php. Para cambiarlo, lo más fácil es tu plugin de SEO: Yoast y Rank Math tienen un editor de robots.txt en sus herramientas. También puedes subir un archivo robots.txt real a la raíz por FTP, que sustituye al virtual. No bloquees /wp-content/ ni /wp-includes/: ahí están el CSS, el JavaScript y las imágenes que Google necesita para ver tu página.