¿Tu web deja entrar a los buscadores de IA? Lo que dice un estudio de 56 grandes marcas y cómo mirarlo en la tuya

Cada web tiene un fichero pequeño y público que casi nadie abre: el robots.txt. Es una lista de instrucciones para los programas que recorren internet leyendo páginas. Durante años solo importaba para Google. Ahora decide algo más: si ChatGPT, Claude o Perplexity pueden leer tu web, citarla y recomendarte cuando alguien les pregunta por un negocio como el tuyo.

El 8 de octubre, la agencia Clicks Dynasty descargó ese fichero de 56 marcas conocidas de Estados Unidos, ocho por sector en siete sectores, y anotó cada regla dirigida a 13 rastreadores de IA con nombre propio. Lo publicó en un estudio abierto.

Las marcas son grandes y americanas. La pregunta que deja es pequeña y muy española: ¿alguien ha decidido qué hace tu web con la IA, o lo ha decidido una configuración por defecto?

Lo que encontró el estudio

Cinco hallazgos, contados como los cuenta la fuente.

La mayoría no ha decidido nada

El 68% de las marcas revisadas no menciona ni un solo rastreador de IA en su robots.txt: 38 de 56. Bancos y cadenas de restaurantes, ninguno. Aerolíneas y hoteles, ninguno.

Eso no significa que estén cerradas. Significa lo contrario: sus reglas generales se aplican también a los bots de IA, así que en la práctica están abiertas. Pero, como dice el estudio, nadie escribió esa regla a propósito.

Los que cierran son los medios

Seis de los ocho medios de comunicación revisados bloquean por completo al menos un rastreador de IA o rechazaron el lector del estudio. Fuera de los medios, solo 3 de 48 marcas hacen lo mismo. Es un 75% frente a un 6%.

La explicación que da la propia fuente es sencilla: los medios venden contenido y lo protegen. Los demás venden productos y servicios, y por ahora dejan entrar a la IA.

Nadie bloquea la búsqueda

Aquí está lo más útil del estudio. No todos los rastreadores de IA hacen lo mismo:

• Los de entrenamiento (GPTBot, ClaudeBot, CCBot) recogen páginas para construir modelos.
• Los de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) leen páginas para que una IA conteste una pregunta en ese momento y cite la fuente.

En los 52 ficheros que se pudieron leer, los más bloqueados eran todos de entrenamiento. Ninguno bloqueaba por nombre y por completo a OAI-SearchBot ni a Claude-SearchBot.

Algunos separan las dos cosas

El estudio llama «el reparto inteligente» a lo que hace, por ejemplo, Forbes: bloquea a GPTBot, a ClaudeBot y a otros siete rastreadores, y permite de forma expresa a OAI-SearchBot y a Claude-SearchBot. Traducido: no entrenéis con nosotros, pero citadnos.

Y en el otro extremo, la aseguradora GEICO nombra a 12 rastreadores de IA y les da permiso a todos. Es la señal más clara de «leednos» de toda la muestra.

El fichero no es la única puerta

Algunas webs rechazaron directamente el lector del estudio, y en un caso el servidor devolvió un error antes de poder leer nada. La conclusión de la fuente: el cortafuegos o la red que sirve la web pueden bloquear a los bots de IA aunque el robots.txt no diga nada. Si quieres que la IA te encuentre, hay que mirar las dos cosas.

Qué significa para una pyme española

El propio estudio lo baja a tierra: si las marcas más grandes de Estados Unidos no han tomado una decisión deliberada, la mayoría de las pequeñas tampoco.

En una pyme, el robots.txt lo suele crear quien hizo la web, o la plantilla, o el alojamiento. Nadie se sienta a decidir qué hacer con los rastreadores de IA. Y eso tiene dos riesgos opuestos.

Riesgo 1: estar cerrado sin saberlo. El estudio menciona otro trabajo suyo sobre webs de negocios locales en el que una de cada 14 rechazaba a los rastreadores de IA, muchas veces por accidente: un complemento de seguridad o una configuración por defecto del alojamiento. Nadie lo eligió. Simplemente pasó.

Riesgo 2: cerrar por precaución lo que no toca. Hay guías que recomiendan bloquear «todos los bots de IA» sin distinguir. Si bloqueas también a los de búsqueda, sales de las respuestas en las que alguien pregunta por un proveedor como tú.

Para un negocio que vende servicios, el criterio del estudio es razonable: para un negocio local, ser invisible para la búsqueda con IA suele costar más de lo que protege. Cuando alguien le pregunta a un asistente por el mejor fontanero de su zona, el asistente solo puede recomendar negocios que puede leer.

Ejemplo: una clínica privada de Valencia que publica en su web qué tratamientos hace, cómo es la primera visita y qué horario tiene. Si un paciente pregunta a un asistente de IA por clínicas de ese tipo cerca, y la web de la clínica rechaza al bot de búsqueda, el asistente contestará con otras. La clínica no se enterará nunca: no hay aviso, solo un contacto que no llega.

Cómo mirarlo en tu web, en cinco minutos

No hace falta saber programar. Hace falta un navegador.

1. Abre el fichero

Escribe en el navegador tu dominio seguido de /robots.txt. Por ejemplo, tuempresa.es/robots.txt. Verás un texto plano con líneas como User-agent: (a quién va la regla) y Disallow: (qué no puede leer).

Si sale un error de página no encontrada, no tienes fichero. Eso, en la práctica, deja la web abierta a todos.

2. Busca los nombres

Busca en la página (Ctrl+F) estos nombres, que son los que revisó el estudio entre otros:

• De búsqueda: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
• De entrenamiento: GPTBot, ClaudeBot, CCBot, Google-Extended.

Si alguno aparece seguido de Disallow: /, ese bot tiene prohibida toda la web. Si no aparece ninguno, se aplican las reglas generales, las de User-agent: *.

3. Mira la regla general

Si hay un User-agent: * con Disallow: /, la web está cerrada para todo el que obedezca el fichero, IA incluida. Pasa más de lo que parece en webs que se montaron «en pruebas» y nadie abrió después.

4. Decide a propósito

Con lo que has visto, toma una decisión y escríbela:

• Búsqueda: abierta. Si vendes servicios y quieres que te recomienden, deja pasar a los rastreadores de búsqueda.
• Entrenamiento: tú eliges. Si tu web tiene contenido original que es tu producto (cursos, informes de pago), tiene sentido cerrarlo. Si tu web es tu escaparate, normalmente prefieres que el modelo te conozca.

La fuente propone, como punto de partida, permitir a los de búsqueda y decidir aparte sobre los de entrenamiento. Es exactamente lo que hizo Forbes.

5. Pregunta por la otra puerta

El fichero es una petición, no una cerradura. Y al revés: aunque el fichero diga «pasa», el alojamiento o el cortafuegos pueden rechazar al bot. Pregunta a quien te lleva la web una cosa concreta: «¿Hay alguna regla en el servidor que bloquee a los rastreadores de IA de búsqueda?». Si la respuesta es «no lo sé», ya tienes tarea.

Si tienes acceso a los registros del servidor, hay una prueba más directa: buscar en ellos esos nombres. Si los bots de búsqueda nunca aparecen, ningún cambio de contenido va a servir todavía.

Lo que el robots.txt no arregla

Abrir la puerta es la condición mínima, no la estrategia. Un asistente que puede leer tu web todavía tiene que encontrar en ella lo que el cliente pregunta.

Dos cosas pesan más que el fichero:

Que la web conteste preguntas. Los clientes ya no teclean dos palabras; preguntan como hablan. Si tu web no dice con claridad qué haces, para quién, dónde y cómo se empieza, el asistente no tiene qué citar. Está desarrollado en tus clientes ya no buscan palabras, hacen preguntas y en lo que se aprende de 12 meses de experimentos con búsquedas de IA.

Qué pasa cuando el cliente escribe. El que llega desde un asistente suele llegar con la comparación hecha y con prisa. Si le contestas tarde, la recomendación se la queda el siguiente de la lista. Lo contamos en el cliente que llega desde un asistente de IA ya ha comparado.

Lo que el estudio no dice

Para no sacar más conclusiones de las que caben:

• La muestra no es representativa. La propia fuente avisa de que eligió las marcas por lo conocidas que son, no al azar.
• Es una foto de un día. Los ficheros se descargaron el 8 de octubre y cambian a menudo.
• El robots.txt es una petición. Según el estudio, las principales empresas de IA dicen que sus rastreadores con nombre lo respetan, pero no es un mecanismo que obligue.
• Es de un proveedor. Clicks Dynasty vende servicios de posicionamiento. Los datos son públicos y comprobables, pero conviene leerlo sabiendo quién lo firma.

Qué hacer el lunes

1. Abre tu robots.txt y apunta qué dice de los rastreadores de IA, o si no dice nada.
2. Comprueba que no hay un cierre general olvidado (User-agent: * con Disallow: /).
3. Decide por escrito búsqueda sí o no, entrenamiento sí o no. Una línea cada una, con el motivo.
4. Pregunta a quien te lleva la web si el servidor bloquea bots de IA.
5. Revisa que la web conteste las cinco preguntas que más te hacen los clientes. Si no lo hace, eso pesa más que el fichero.

Ninguno de estos pasos cuesta dinero. Son decisiones que hoy alguien ha tomado por ti sin saberlo.

Fuentes

• We Checked 56 of America's Biggest Brands: Newsrooms Lock AI Out, Everyone Else Leaves the Door Open — Clicks Dynasty, octubre de 2026 (datos del 8 de octubre de 2026).

Preguntas frecuentes

¿Cómo sé si mi web bloquea a ChatGPT o a Claude?

Abre en el navegador tu dominio seguido de /robots.txt. Si no aparece ningún nombre de rastreador de IA y no hay un «Disallow: /» general, en principio están permitidos. Busca nombres como GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot o PerplexityBot y mira si van acompañados de «Disallow: /».

Que el fichero los permita no garantiza que lleguen: la configuración del alojamiento o del cortafuegos puede rechazarlos. Pregúntaselo a quien te lleva la web.

¿Bloquear GPTBot me saca de las respuestas de ChatGPT?

No necesariamente. GPTBot es el rastreador que recoge páginas para entrenar modelos. El que lee tu web para contestar una búsqueda en el momento es otro, OAI-SearchBot. El estudio de Clicks Dynasty separa las dos familias y recuerda que hacen trabajos distintos.

¿Debería bloquear a los rastreadores de entrenamiento?

Es una decisión de negocio, no técnica. Un medio que vende contenido tiene motivos para hacerlo. Una empresa que vende servicios suele preferir que el modelo la conozca. Lo importante es decidirlo a propósito y no dejarlo al azar de una configuración por defecto.

Si mi web deja entrar a los buscadores de IA, ¿ya me van a recomendar?

No. Dejarles entrar es la condición mínima: un asistente solo puede recomendar lo que puede leer. Que te elija depende de que tu web conteste con claridad lo que pregunta el cliente, y de lo que pase cuando ese cliente te escribe.

---

El diagnóstico gratuito es media hora mirando cómo te encuentra hoy un cliente y qué pasa cuando te escribe: si tu web se deja leer, si contesta lo que preguntan y cuánto tardas en responder al contacto que llega. Si lo que falta es la parte de inteligencia artificial bien puesta en tu negocio, está en la página de IA aplicada; si es la respuesta al contacto, en la página del sistema de respuesta a los contactos. Sin tarifa publicada: el alcance y el importe se cierran por escrito después del diagnóstico.