«Lo revisa una persona» no basta: cómo saber si la IA de tu empresa funciona de verdad
Parte de la serie sobre tiempo de respuesta a los contactos
Tu equipo dice que la IA le ahorra tiempo, pero esa sensación engaña. Qué dicen los estudios y seis pasos para comprobarlo en un solo proceso de tu pyme.
El 13 de octubre Jamie Watters, que se dedica a la resiliencia operativa y a poner IA en marcha dentro de organizaciones, publicó un repaso de por qué las señales habituales de que la IA funciona engañan. No es un artículo de opinión: recoge ensayos, auditorías y estudios, con sus limitaciones al lado de cada cifra, y termina en un método de seis pasos.
Está pensado para empresas grandes, pero la pregunta de fondo es la misma en una pyme de diez personas: pagas por una herramienta de IA, tu equipo dice que le ahorra tiempo y alguien tiene que decidir si sigue. Esto va de cómo contestar esa pregunta sin fiarte solo de lo que te cuentan.
Lo que dice el equipo no es una medida
La primera señal que se suele mirar es la más fácil de recoger: preguntar.
Watters la desmonta con un ensayo de 2025 del grupo de investigación METR. Unos programadores con experiencia trabajaron con y sin IA. Al terminar, creían que la IA les había hecho un 20% más rápidos. El reloj dijo que sus tareas habían tardado un 19% más. El propio METR considera hoy ese estudio desfasado, y su repetición de 2026 con herramientas nuevas no fue concluyente. Pero la idea central sigue en pie: la sensación de cuánto tiempo te ahorra la IA no es fiable.
El segundo ejemplo es del Gobierno británico. Un experimento con un asistente de IA en varios ministerios informó en junio de 2025 de 26 minutos ahorrados al día. Era lo que decían los usuarios, sin grupo con el que comparar. Cuando otro ministerio evaluó la misma herramienta en agosto, no encontró pruebas de que ese ahorro de tiempo se hubiera traducido en más productividad.
Para una pyme, la lección es simple. Si la única prueba de que algo funciona es «a la gente le gusta», no sabes si funciona.
«Lo revisa una persona» es la garantía más débil
Es la frase que tranquiliza a todo el mundo. La IA propone, una persona aprueba. Watters la llama la más débil de las seis señales que analiza, y da tres motivos.
Quien revisa tiende a darle la razón a la máquina
En un estudio de 2023, unos radiólogos leían mamografías con la sugerencia de una IA en pantalla. Los más expertos acertaban el 82,3% de las veces cuando la IA acertaba. Cuando la IA se equivocaba, acertaban el 45,5%. El artículo recuerda las tres limitaciones que se suelen omitir: la IA era simulada, no hubo grupo sin IA y solo cinco de los lectores eran muy expertos.
No hace falta ser radiólogo para reconocerlo. Si la recepción de tu clínica o el comercial de tu concesionario aprueban cada día cincuenta respuestas que redacta una máquina y casi todas están bien, la número cincuenta y uno pasa igual, aunque esté mal.
Los errores raros son los que se escapan
Otro estudio citado plantó cánceres en pruebas de imagen. Cuando eran tan raros como en la realidad, los especialistas no vieron el 30%. Cuando eran frecuentes, no vieron el 12%.
La consecuencia es incómoda: cuanto mejor funciona la IA, más raros son sus errores, y más fácil es que nadie los vea.
No se arregla con formación
Una revisión de la investigación sobre personas que trabajan con sistemas automáticos concluyó que ese sesgo «no se puede prevenir con formación ni instrucciones». Decirle a alguien «revisa bien» no cambia cómo revisa.
Más trabajo y los mismos revisores
Hay un tercer problema que en una pyme aparece muy rápido: el volumen.
Watters cita una empresa en la que, tras llegar las herramientas de IA para programar, los cambios enviados se multiplicaron por 3,1 y los revisores por 1,5. La parte de los cambios que recibía una revisión humana de verdad bajó del 39% al 21%. Nadie decidió revisar menos. Simplemente pasó.
Ejemplo: un despacho de ocho personas empieza a usar IA para redactar las respuestas a las consultas que llegan por la web. Antes contestaba diez al día y las revisaba una abogada. Ahora salen treinta borradores al día y la revisión sigue siendo la misma abogada, entre juicio y juicio. Sobre el papel todo pasa por una persona. En la práctica, cada borrador recibe menos atención que antes. (Y recuerda: la respuesta automática de un despacho recoge datos y contesta lo general; no valora el caso de nadie.)
Ya contamos algo parecido en por qué copiar y pegar lo que escribe la IA no es un proceso: generar más crea más trabajo de revisión, y si nadie lo cuenta, se come el ahorro.
Cuando se mide bien, hay mejoras reales y modestas
El artículo no dice que la IA no sirva. Dice que donde alguien comparó con un grupo de control, hubo ganancias reales y pequeñas, junto a herramientas que no hicieron nada medible.
El ejemplo más cercano a una pyme: un asistente para el equipo de atención al cliente de una empresa de software estadounidense subió de media un 15% las consultas resueltas por hora. Los menos expertos fueron los que más ganaron. Los más hábiles ganaron un poco de velocidad y perdieron un poco de calidad.
Es una buena noticia con matices. Y sin comparación no se habría sabido ninguno de los dos.
Seis pasos para un solo proceso
El método de Watters junta lo que ya hacen hospitales, aeropuertos y bancos. Funciona sobre un proceso cada vez, no sobre toda la empresa. Adaptado a una pyme:
1. Un proceso, un responsable, un número
Elige un proceso que se repita mucho. Ponle un nombre de persona al lado. Y elige un resultado que se pueda contar: el tiempo hasta la primera respuesta, cuántas respuestas hay que corregir, cuántos contactos acaban en cita.
Antes de empezar, escribe qué te haría pararlo. Por ejemplo: «Si con la IA hay que corregir más respuestas que antes, se apaga».
2. Mide cómo funciona hoy
Antes de cambiar nada. Una semana basta para una pyme: cuánto tarda cada caso, cuántas veces hay que rehacerlo y qué cuesta. Primero lo que ya registran tus sistemas, después mirando a quien hace el trabajo, porque hace cosas que ningún sistema apunta.
Si no sabes cuánto tardas hoy en contestar, el método está en cómo medir tu tiempo de primera respuesta.
3. Decide quién hace cada paso
Paso a paso, en este orden: ¿se puede quitar? ¿Se puede simplificar? ¿Puede ser una regla fija? ¿Puede hacerlo la IA? ¿Tiene que hacerlo una persona?
Una persona se queda con todo lo que sea caro de equivocar, difícil de deshacer o lo que la ley exija. Watters reconoce que esa última regla es sentido común, no un resultado de investigación. Pero es buen sentido común.
4. La propuesta de la IA, donde se decide
Que quien decide la vea sin ir a buscarla a otra pantalla. Y una norma que en los ensayos de hospitales se asoció con que el sistema funcionara: si alguien no hace caso a la IA, que apunte por qué. Revisa también una muestra de las veces que sí le hizo caso, para que aceptar no sea siempre lo cómodo.
5. Compara con lo de antes, y comprueba a quien revisa
Dos partes. Primera: haz funcionar lo nuevo junto a lo viejo durante un tiempo, con el mismo tipo de trabajo, y compara los números del paso 2. Si lo nuevo gana, amplíalo poco a poco.
Segunda, la que copia a los aeropuertos: allí se proyectan amenazas falsas en las maletas para medir a quien vigila la pantalla. Tú puedes hacer lo mismo con quien revisa la IA: en una copia del trabajo, nunca con clientes reales, mete unos cuantos casos con un error conocido y cuenta cuántos detecta cada uno. Acuérdalo antes con el equipo. Y no saques conclusiones con un puñado: en el estudio de aeropuertos hicieron falta unas 100 imágenes por persona para que la puntuación de cada una fuera fiable.
Para saber cuánto debe durar esa comparación, tienes cuánto tiene que durar una prueba antes de decidir.
6. Sigue midiendo cuando ya funcione
Es el paso que más se salta. Las dos auditorías públicas que cita Watters, sobre la IA de la agencia tributaria estadounidense y la australiana, encontraron lo mismo: nadie vigilaba de forma regular cómo funcionaban los modelos una vez puestos en marcha.
Mismos números, después del arranque. Una persona con nombre que puede apagarlo, y qué tendría que ver para hacerlo.
No esperes el retorno en un trimestre
Watters cita una encuesta de Deloitte en Europa y Oriente Medio en la que un caso típico de IA tardó de dos a cuatro años en dar un retorno satisfactorio, según los propios encuestados. Es una estimación de quienes respondieron, no una medición, pero apunta en la misma dirección que otros datos del artículo: la mejora no llega el primer mes.
Por eso propone mirar solo dos cosas a los tres y a los seis meses: ¿va en la dirección buena? ¿Está haciendo algún daño? Decidir si ha compensado, más tarde.
Dónde no sirve el método
El propio autor lo dice: está montado con piezas de otros campos, no con ensayos de IA, porque casi no existen. No encaja con apuestas de empresa entera por una plataforma, donde no hay un proceso que medir. Tampoco con trabajo de poco volumen que es casi todo criterio, donde no hay nada que contar.
Y tiene un coste: comparar exige llevar dos procesos a la vez un tiempo, y preparar casos con errores es trabajo. Pero ese coste se conoce antes de empezar. El de no medir aparece después, cuando un cliente recibe la respuesta que nadie revisó de verdad.
Qué hacer el lunes
- Elige un proceso donde ya uses IA o estés a punto. Uno solo.
- Apunta el número que vas a mirar y quién responde de él.
- Mide una semana cómo va hoy, antes de tocar nada.
- Escribe qué te haría apagarlo. En una línea.
- Prepara cinco casos con un error conocido para la próxima revisión y mira quién los caza.
Nada de esto requiere comprar software. Requiere decidir que la pregunta «¿funciona?» se contesta con números y no con impresiones.
Fuentes
- The usual signs that AI is working can mislead — Jamie Watters, 13 de octubre de 2026. Todas las cifras de este artículo salen de ese texto y de los estudios que cita.
Preguntas frecuentes
Mi equipo dice que la IA le ahorra mucho tiempo, ¿no me vale con eso?
Vale como pista, no como prueba. En el ensayo que cita Jamie Watters, unos programadores con experiencia creían que la IA les había hecho un 20% más rápidos y el reloj dijo que habían tardado un 19% más. La sensación de ahorro no coincide siempre con el tiempo real. Para saberlo hay que medir la misma tarea antes y después.
Si una persona aprueba cada respuesta de la IA, ¿ya está controlado?
No del todo. Los estudios que recoge el artículo muestran que quien revisa tiende a dar por buena la propuesta de la máquina, también cuando es errónea, y que los fallos poco frecuentes se escapan más. La revisión funciona si se comprueba de vez en cuando que el revisor sigue cazando errores y si tiene tiempo real para revisar.
Una forma sencilla de comprobarlo: preparar, sobre una copia y nunca con clientes reales, unos cuantos casos con un error conocido y ver cuántos detecta cada revisor.
¿Cuánto tiempo hay que esperar para saber si la IA ha compensado?
Más de lo que se suele pensar. Según la encuesta de Deloitte que cita Watters, un caso típico tardó de dos a cuatro años en dar un retorno satisfactorio, según los propios encuestados. A los tres y a los seis meses lo razonable es mirar dos cosas: si los números van en la dirección buena y si está causando algún daño.
¿Qué proceso de una pyme conviene medir primero?
Uno que se repita mucho, que tenga un principio y un final claros y un número fácil de contar. La respuesta a los contactos que entran suele cumplir las tres cosas: cuánto se tarda en contestar, cuántas respuestas hay que corregir y cuántos contactos acaban en cita o visita.
El diagnóstico gratuito es media hora mirando un proceso concreto de tu empresa, por ejemplo cómo entra y se contesta un contacto, con los números de hoy delante. De ahí sale qué puede hacer la IA, qué tiene que seguir haciendo una persona y con qué número sabrás si ha funcionado.
Lo que hacemos está en la página de automatización de procesos con IA: el trabajo repetido que hoy se hace a mano, con una persona decidiendo donde un error cuesta caro. Sin tarifa publicada: el alcance y el importe se cierran por escrito después del diagnóstico.