Del 40% al 60% en un mes puede ser casualidad: cuántos datos hacen falta antes de decir que algo ha funcionado

Hay una escena que se repite en muchas empresas. Alguien cambia algo: una página nueva en la web, un texto distinto en la primera respuesta, un proceso para contestar antes. Al mes siguiente el número sube. Y se concluye que el cambio ha funcionado.

A veces es verdad. Muchas otras, no se puede saber todavía.

Un análisis publicado esta semana en la newsletter PLG News lo explica con un ejemplo muy actual: medir cuántas veces te nombra ChatGPT cuando alguien pregunta por lo que vendes. Pero la lección sirve para casi cualquier número que mires cada mes en una pyme.

Un aviso antes de seguir: el autor dirige una empresa que vende herramientas para medir la presencia en búsquedas con IA, y lo dice él mismo al principio. Eso no invalida lo que cuenta, que es estadística básica, pero conviene saberlo.

El ejemplo: del 40% al 60%

El caso que plantea es este. Tu herramienta de seguimiento te dice que el mes pasado salías en el 40% de las respuestas de ChatGPT a una pregunta concreta. Este mes, en el 60%. Has publicado páginas nuevas comparándote con la competencia y concluyes que han funcionado.

Ahora el detalle que no suele aparecer en el informe: esos porcentajes salen de 30 respuestas por pregunta.

Con 30 respuestas, explica el autor, el 40% real podría estar en cualquier punto entre el 27% y el 55%. Y el 60%, entre el 45% y el 73%. Los dos rangos se pisan. La mejora queda bien en el papel, pero podría ser casualidad.

Con 100 respuestas, los mismos dos meses dan rangos de 32–48% y 52–68%. Ahí ya no se tocan, y la mejora sí empieza a ser creíble.

El autor da otra referencia que ayuda a hacerse una idea: con un resultado del 50%, diez respuestas dejan un rango del 27% al 73%. Cien respuestas lo estrechan al 42–58%. Con pocos datos, el número que ves es poco más que una moneda al aire.

Por qué baila tanto

Un asistente de IA no da siempre la misma respuesta a la misma pregunta. El propio autor lo cuenta: puede hacerle la misma pregunta varias veces y recibir recomendaciones distintas cada vez. Si lo que mides cambia solo, sin que tú hagas nada, necesitas muchas repeticiones para distinguir lo que cambia por tu trabajo de lo que cambia por azar.

Ya contamos cómo hacer esa comprobación con método, repitiendo la misma pregunta y contando qué vuelve, en preguntarle una vez a la IA si cita tu web no mide nada. Este análisis añade la pieza que faltaba: cuántas repeticiones hacen falta para comparar un mes con otro.

Lo mismo pasa con tus contactos

Olvida por un momento la IA. Este problema lo tiene cualquier pyme que mira sus números una vez al mes.

Ejemplo: una clínica privada recibe unos quince contactos al mes para un tratamiento concreto. En septiembre, cuatro acabaron en cita. En octubre, tras cambiar el texto de la primera respuesta, seis. Parece una mejora clara.

Con quince casos, no lo es todavía. La diferencia entre cuatro y seis es de dos personas. Dos personas que pueden haber pedido cita por mil motivos que no tienen nada que ver con el texto: que era octubre, que una venía recomendada, que otra ya lo tenía decidido.

Eso no quiere decir que el cambio no sirva. Quiere decir que un mes no basta para saberlo. Si la clínica mantiene el texto nuevo tres o cuatro meses y la proporción se sostiene, ya tiene algo. Si en noviembre vuelve a cuatro, también ha aprendido algo.

Lo explicamos con más detalle, pensando en pilotos de automatización, en cuánto tiene que durar una prueba antes de decidir si sirve: la respuesta no se cuenta en días, sino en repeticiones.

Los errores de siempre

El autor recuerda que esto no es nuevo. Los mismos fallos llevan años estropeando experimentos:

• Mirar el resultado antes de tiempo. Decidir a la segunda semana porque «ya se ve». Con pocos casos, lo que se ve cambia de un día a otro.
• Medir desde el momento equivocado. Contar contactos que llegaron antes del cambio como si fueran del después, lo que diluye el resultado.
• No tener casos suficientes y no saber cuánto puede variar el número solo por azar.

Tres trampas más cuando mides la IA

El análisis señala tres formas más en que el número engaña. Las tres valen para una pyme que empieza a mirar si los asistentes de IA la mencionan.

Preguntar con tu nombre dentro

Si la pregunta de prueba incluye el nombre de tu empresa, estás guiando la respuesta. El autor lo compara con dirigir a un testigo: no es lo mismo preguntar «¿es buena tal empresa para esto?» que «¿qué es bueno para esto?». Si mezclas las dos clases de preguntas, el conjunto sale sesgado. Sepáralas.

Una cita no es una visita

Que una respuesta de IA use o enlace tu página no significa que alguien haya entrado. Y tampoco que te recomiende: el autor advierte de que puedes aparecer citado muchas veces mientras la respuesta recomienda a un competidor.

Las cifras abultan más de lo que parecen. En un informe del propio autor, la búsqueda de ChatGPT daba de media 3,42 enlaces por respuesta, sobre 54.747 respuestas entre abril y junio de 2026. Así que 400 citas pueden salir de unas 120 respuestas. Cuatrocientas suena a mucho más.

Las preguntas de prueba no son tus clientes

Las preguntas que mide una herramienta las eliges tú o te las sugiere ella. No son las que hacen tus compradores de verdad. Para acercarte a esas, el autor recomienda partir de lo que oyes en las conversaciones con clientes, en las llamadas de atención y en las de venta. En una pyme, eso es mirar los mensajes que te llegan y copiar cómo lo dicen.

Lo que sí demuestra resultados

La conclusión del análisis es la que importa para tu negocio: comparar pruebas antes y después nunca te dirá qué ha causado un resultado en el negocio. Lo que lo demuestra está más abajo en la cadena:

1. Visitas reales que llegan a tu web desde un asistente de IA.
2. Contactos que salen de esas visitas: formularios, mensajes, llamadas.
3. Lo que pasa con esos contactos: cuántos acaban en cita, en visita o en venta.

Y recomienda mirarlo en dos plazos a la vez: lecturas cortas para ver la dirección, y seguimiento largo para confirmarla.

Ojo con el primer paso: parte de las visitas que llegan desde la IA no salen como tales en tu informe de analítica. Te contamos por qué y qué mirar en las visitas de ChatGPT ahora salen como «directas».

Una hoja mensual que sí sirve

No hace falta ninguna herramienta nueva. Una hoja con una fila por mes y pocas columnas basta, si las columnas son las correctas:

• Contactos recibidos, separados por origen: portal, web, teléfono, WhatsApp y, si lo sabes, los que dicen que te encontraron preguntando a una IA.
• Contactos contestados y cuánto se tardó en la primera respuesta.
• Citas, visitas o presupuestos que salieron de esos contactos.
• Ventas cerradas, con el mes en que entró el contacto, no el mes en que se firmó.
• Qué cambiaste ese mes, en una frase. Sin esta columna, dentro de medio año nadie recordará por qué subió marzo.

Ejemplo: una promotora de obra nueva que recibe veinte contactos al mes de compradores extranjeros quiere saber si las páginas nuevas en inglés traen más visitas desde asistentes de IA. Con esta hoja, a los cuatro meses tiene ochenta contactos con su origen y su resultado. Eso ya permite ver si los que llegan por ese camino piden visita más o menos que los del portal. Con un mes suelto, solo tendría una corazonada.

La pregunta de cómo te encontró el cliente se hace en la primera conversación, con naturalidad. No hace falta más.

Cómo leer tus números a partir del lunes

Tres costumbres, sin estadística:

Escribe siempre el número de casos al lado del porcentaje. No «el 40% de los contactos acabó en cita», sino «6 de 15». Ver el 15 ya te frena antes de sacar conclusiones.

Decide antes de cambiar nada qué vas a medir y durante cuánto. Qué número, desde qué fecha, cuántos casos necesitas para fiarte. Y no decidas a mitad de camino porque una semana ha salido bien o mal.

Mide lo que te importa, no lo que es fácil de contar. Las citas en respuestas de IA son fáciles de contar. Los clientes que llegan y lo que compran, menos. Pero son lo que paga las nóminas.

Y si tienes que contárselo a un socio o al resto del equipo, el consejo del autor vale tal cual: cuéntalo con los números que hay detrás. «Hemos pasado de 4 a 6 de 15, todavía es pronto» es menos vistoso que «hemos mejorado muchísimo», pero es verdad y nadie toma una mala decisión por ello.

Fuentes

• Your AI search numbers feel good. They might be chance. — PLG News, noviembre de 2026.

Preguntas frecuentes

¿Cómo sé si una mejora en mis números es real o casualidad?

Mira cuántos casos hay detrás. Con pocos, el porcentaje baila mucho de un mes a otro sin que cambies nada. Si el número sigue subiendo dos o tres meses seguidos, o si juntando varios meses los casos ya son muchos, la mejora empieza a ser creíble.

¿Sirve de algo comprobar cuántas veces me cita ChatGPT?

Sirve para saber si tus páginas se usan al responder, no para saber si te traen clientes. El autor del análisis lo dice claro: las preguntas que se miden son pruebas que defines tú, no las preguntas reales de tus compradores. Lo que demuestra impacto son las visitas que llegan desde la IA y los contactos que generan.

Si la pregunta de prueba incluye el nombre de tu empresa, el resultado sale sesgado: no es lo mismo preguntar «¿es buena tal empresa?» que «¿qué empresa me recomiendas?».

¿Cuántos meses tengo que esperar para saber si algo funciona?

Depende de cuántos casos te entren, no del calendario. Una empresa con cien contactos al mes puede leer una tendencia antes que otra con diez. Lo que conviene es fijar antes de empezar cuántos casos vas a mirar y no decidir a mitad de camino porque un mes ha salido bien o mal.

¿Tengo que saber estadística para medir bien?

No. Basta con tres costumbres: apuntar siempre cuántos casos hay detrás de cada porcentaje, comparar periodos largos y no solo un mes contra el anterior, y mirar el resultado que te importa (contactos, citas, ventas) en vez del indicador que es más fácil de contar.

---

El diagnóstico gratuito es media hora mirando cómo te entran hoy los contactos, cuántos son, cuánto se tarda en contestarlos y cuántos acaban en cita o en venta, con los números delante. De ahí sale qué conviene medir antes de cambiar nada.

Lo que hacemos está en la página del sistema de respuesta a los contactos: primera respuesta con contenido en menos de 60 segundos, la pregunta que falta hecha, el aviso al comercial que le toca y un panel con cada contacto, su origen y lo que pasó con él. Sin tarifa publicada: el alcance y el importe se cierran por escrito después del diagnóstico.