El número más peligroso de la IA ahora mismo es 99,999 %

El año pasado estaba en una llamada con el director de informática de un hospital cuando abrió la presentación comercial de un proveedor y compartió su pantalla. La diapositiva siete tenía un único número, centrado, en fuente de 72 puntos: tasa de alucinación <0,001 %. Debajo, en letra más pequeña: "validado clínicamente".

Me miró a través de la webcam y dijo: "Ashutosh, ¿debería creer esto?"

Le dije que no lo sabía, pero que el número en sí debería ponerlo nervioso, no tranquilizarlo. ¿Una tasa de alucinación por debajo de una entre cien mil, para un sistema que resume notas clínicas desordenadas, contradictorias, manuscritas y dictadas a lo largo de decenas de especialidades? Eso no es una afirmación de precisión. Es un truco de magia. Y en mi experiencia, cuando alguien te muestra un truco de magia en una reunión de ventas, después deberías revisarte los bolsillos.

Unos meses después, el Fiscal General de Texas convirtió ese instinto en algo oficial. En septiembre de 2024, el estado alcanzó un acuerdo histórico con Pieces Technologies, una empresa de IA para la salud con sede en Dallas, por lo que la Fiscalía alegó eran afirmaciones engañosas sobre precisión, incluida esa misma tasa de alucinación crítica del 0,001 %. Fue la primera acción de este tipo contra una empresa de IA generativa en el sector de la salud, y no requirió ninguna nueva ley específica sobre IA. Solo la vieja y conocida Ley de Prácticas Comerciales Engañosas de Texas, el mismo estatuto usado para perseguir a concesionarios de coches turbios.

Ese acuerdo cambió mi forma de pensar sobre todo lo que construimos en Veriprajna. No porque estuviéramos haciendo nada malo, sino porque cristalizó algo que llevaba tiempo esforzándome por articular ante los clientes: el problema con la IA empresarial no es que los modelos alucinen. Es que la industria ha construido toda una estrategia de comercialización en torno a fingir que no lo hacen.

¿Qué significa realmente una tasa de alucinación del 0,001 %?

Déjame explicarte las cuentas, porque es en las cuentas donde el truco de magia se desmorona.

Los grandes modelos de lenguaje son sistemas probabilísticos. No "saben" cosas de la forma en que una base de datos sabe cosas. Predicen la siguiente palabra, o más precisamente, el siguiente token, basándose en patrones aprendidos durante el entrenamiento. La probabilidad de cualquier salida generada es el producto de las probabilidades de cada token individual de la secuencia. Cada token es una pequeña apuesta, y la salida final es una larga cadena de pequeñas apuestas multiplicadas entre sí.

Ahora bien, afirmar una tasa de alucinación crítica por debajo del 0,001 % significa que menos de 1 de cada 100.000 salidas contiene un error lo bastante grave como para causar daño clínico. Para validar esa afirmación con cualquier grado de confianza estadística, se necesitaría un conjunto de datos de referencia enorme y perfectamente anotado: decenas de miles de resúmenes clínicos, cada uno revisado por expertos del dominio que coincidan en qué cuenta como "crítico". Ese conjunto de datos no existe. Ni para Pieces Technologies, ni para nadie. Las notas clínicas son demasiado idiosincrásicas, demasiado específicas de cada especialidad, demasiado dependientes del estilo del médico individual y del historial del paciente.

Cuando alguien afirma un 99,999 % de precisión en una tarea en la que hasta los expertos humanos discrepan sobre cómo es lo "correcto", no ha resuelto el problema. Lo ha definido para que desaparezca.

La investigación de la Fiscalía General de Texas concluyó que las métricas que Pieces usaba eran "probablemente inexactas" y potencialmente engañosas para los hospitales que desplegaban la herramienta, entre los que se incluían Houston Methodist, Parkland Hospital, Children's Health System of Texas y Texas Health Resources. Cuatro grandes sistemas. Pacientes reales. Notas clínicas reales resumidas por un sistema cuyas afirmaciones de precisión no resistían el escrutinio regulatorio.

La noche en que dejé de confiar en los benchmarks

Quiero contarte un momento que reconfiguró mi manera de pensar sobre esto.

Estábamos realizando una evaluación interna de una tubería de resumen clínico, no para un cliente, solo para nuestra propia I+D. Mi equipo había construido lo que creíamos que era un sistema sólido basado en RAG. La generación aumentada por recuperación, para los no iniciados, es una técnica en la que, en lugar de pedirle al modelo que responda de memoria, primero recuperas documentos relevantes de una base de conocimiento y se los das al modelo como contexto. Se supone que fundamenta la salida en hechos.

Nuestras métricas internas se veían estupendas. Puntuaciones de fidelidad por encima del 95 %. Precisión de recuperación en el rango alto de los 90. Nos sentíamos bien. Entonces una de nuestras ingenieras —Priya, que tiene esa enloquecedora costumbre de tener razón sobre cosas que nadie quiere oír— sugirió que hiciéramos algo distinto. En lugar de medir contra nuestro propio conjunto de pruebas, sacó cincuenta informes de alta reales de un conjunto de datos público e hizo que dos médicos revisaran de forma independiente las versiones generadas por la IA.

Los resultados llegaron un jueves por la noche. Lo recuerdo porque estaba preparando la cena y mi teléfono vibró con un mensaje de Slack de Priya que solo decía: "Deberías mirar esto antes de mañana".

Los médicos marcaron problemas en 23 de 50 resúmenes. No eran errores catastróficos en la mayoría de los casos: una dosis de medicación tomada de un ingreso previo en lugar del actual, un detalle del historial familiar atribuido al pariente equivocado, un valor de laboratorio que era correcto en su dirección pero erróneo en su cifra. Pero en un contexto clínico, "correcto en su dirección pero erróneo en su cifra" puede marcar la diferencia entre un alta segura y un reingreso.

Nuestras métricas automatizadas habían pasado por alto casi todo. El sistema generaba texto que era lingüísticamente fluido y semánticamente similar al material fuente, que es exactamente lo que las métricas medían. Pero no generaba texto que fuera clínicamente seguro, que era lo que de verdad importaba.

Esa fue la noche en que dejé de confiar en los benchmarks como indicador indirecto de la calidad. Y es por lo que el caso Pieces me golpeó tan fuerte cuando estalló. Sabía exactamente cómo una empresa podía mirar sus propios números, creerlos sinceramente y aun así estar peligrosamente equivocada.

¿Por qué Texas usó una ley de protección al consumidor y no una ley de IA?

Esta es la parte que debería quitarle el sueño a todo proveedor de IA.

El Fiscal General de Texas no esperó a que el Congreso aprobara una regulación sobre IA. No invocó ninguna teoría jurídica novedosa. Usó la Ley de Prácticas Comerciales Engañosas y Protección al Consumidor de Texas —un estatuto que lleva décadas en vigor— y la aplicó a las afirmaciones sobre precisión de la IA de la misma manera que se aplicaría a una empresa que miente sobre la eficiencia de combustible de un coche.

El Compromiso de Cumplimiento Voluntario resultante ata a Pieces Technologies a un período de cinco años de transparencia reforzada. La empresa debe ahora divulgar las definiciones y los métodos de cálculo que hay detrás de cualquier métrica de precisión que anuncie. Debe notificar a los clientes los "usos dañinos o potencialmente dañinos conocidos o razonablemente cognoscibles" de sus productos. Debe proporcionar documentación sobre sus datos de entrenamiento y sus tipos de modelo. Y debe responder a las solicitudes de información de la oficina de la Fiscalía en un plazo de 30 días.

Esto no es un tirón de orejas. Esto es una plantilla.

La primera gran acción de aplicación de la ley sobre IA en el sector de la salud no requirió nueva legislación. La ley de protección al consumidor existente fue suficiente, y todos los estados tienen una.

He hablado con equipos jurídicos de empresas que asumían que estaban a salvo porque "todavía no hay una ley de IA". Esa suposición es errónea. Si haces una afirmación sobre el rendimiento de tu sistema de IA, y esa afirmación es engañosa, ya estás expuesto bajo la ley existente. El acuerdo de Pieces acaba de demostrarlo.

Escribí sobre las implicaciones regulatorias completas —incluidas las obligaciones específicas del acuerdo— en la versión interactiva de nuestra investigación. Si trabajas en compras, en el área jurídica o en cumplimiento, vale la pena leerlo con atención.

El problema del envoltorio

Esto es lo que creo que realmente falló, a nivel arquitectónico, y por qué importa mucho más allá de Pieces Technologies.

La mayoría de los productos de IA empresarial que se lanzan hoy son lo que la industria llama "envoltorios" (wrappers). Un envoltorio toma la entrada de un usuario, la envía a la API de un modelo fundacional —GPT-4, Claude, Gemini— y muestra la respuesta con algo de formato ligero y quizá unas pocas guardrails atornilladas encima. Es rápido de construir, rápido de lanzar y rápido de vender. También es fundamentalmente frágil.

Un envoltorio no entiende tus datos. No mantiene el contexto a lo largo del historial longitudinal de un paciente. No sabe que el Dr. Ramírez, de cardiología, escribe notas de forma distinta al Dr. Chen, de oncología. No tiene acceso al conocimiento institucional que una enfermera con veinte años de experiencia lleva en la cabeza. Simplemente predice tokens.

Una vez tuve una discusión sobre esto con un inversor, una acalorada. Había visto una demostración de una herramienta de documentación clínica basada en envoltorios y estaba convencido de que era "suficientemente buena". Sus palabras exactas: "Ashutosh, usa GPT y ya está. Haz un poco de ajuste fino. Lánzalo. El mercado no va a esperar".

Le dije que el mercado no esperaría, pero los reguladores sí. Y los pacientes también. Y las demandas también.

No invirtió. No me arrepiento de la conversación.

La alternativa —lo que construimos en Veriprajna y hacia lo que creo que la industria necesita avanzar— es la integración profunda. Eso significa incrustar el modelo en el verdadero tejido de datos de la empresa. Significa usar RAG no como una función para marcar una casilla, sino como un mecanismo genuino de fundamentación, con tuberías de recuperación afinadas para el dominio específico. Significa hacer ajuste fino sobre corpus específicos del dominio. Significa una supervisión humana en múltiples capas donde los humanos realmente tengan la autoridad y el contexto para detectar errores.

La investigación lo respalda. Los estudios muestran que el 65 % de los desarrolladores informa que la IA "pierde contexto relevante" durante tareas complejas, y eso es en ingeniería de software, donde lo que está en juego es una compilación rota, no un paciente roto. En el sector de la salud, la pérdida de contexto no es un fallo. Es un evento de seguridad.

Lo que sí funciona: IA adversaria y el problema de las 3,7 horas

Le concederé a Pieces Technologies el mérito de una cosa: su arquitectura incluía un Módulo de Detección Adversaria. La idea es sólida: usar un segundo modelo de IA para vigilar al primero, escaneando los resúmenes generados en busca de discrepancias frente a los datos clínicos fuente. Su documento técnico mostraba que el módulo adversario era 7,5 veces más eficaz para detectar alucinaciones clínicamente significativas que el muestreo aleatorio.

Ese es un resultado real. Y tampoco es suficiente.

He aquí por qué. Cuando el módulo adversario marcaba un error, el resumen marcado se derivaba a un médico con certificación de junta para su revisión. ¿El tiempo mediano hasta la corrección? 3,7 horas. Para una nota de evolución que se archiva al final de un turno, quizá eso sea aceptable. Para un informe de alta que determina si un paciente se va a casa hoy o se queda otra noche, 3,7 horas son una eternidad. Para una herramienta de apoyo a la decisión clínica en tiempo real —del tipo que todos corren a construir— es inútil.

Esto es lo que yo llamo el problema de la velocidad de intervención, y es uno que la industria no ha resuelto. Puedes construir el mejor sistema de detección de alucinaciones del mundo, pero si el bucle de corrección es más lento que el flujo de trabajo clínico, la salida sin corregir es la que el médico ve cuando importa.

La detección sin corrección oportuna es solo documentación del fracaso.

En Veriprajna hemos empezado a pensar en esto por niveles. No todos los casos de uso de IA conllevan el mismo riesgo, y no todos necesitan la misma velocidad de intervención humana. ¿Programación administrativa de citas? Audítala semanalmente. ¿Documentación clínica? Revísala antes de que llegue a la historia clínica. ¿Apoyo a la decisión en tiempo real? El humano tiene que estar en el bucle antes de que se genere la salida, no después.

El marco de Niveles de Seguridad de la IA que está emergiendo en el sector de la salud lo representa bien: desde el Nivel 1 (tareas administrativas de bajo impacto) hasta el Nivel 5 (interacción autónoma con el paciente). La mayoría de las organizaciones con las que hablo están desplegando herramientas de Nivel 3 y 4 con supervisión de Nivel 1. Esa es la brecha que los reguladores van a seguir cerrando.

¿Por qué solo el 5 % de las empresas obtiene valor real de la IA?

Hay una estadística de la investigación sobre IA empresarial que me persigue: solo el 5 % de las empresas está logrando un valor de negocio medible con la IA a escala. No el 50 %. No el 25 %. El cinco por ciento.

Las empresas de ese 5 % comparten un patrón. Dedican el 70 % de su esfuerzo de implementación a la transformación organizativa: rediseñar flujos de trabajo, redefinir roles, cambiar cómo se toman las decisiones. El veinte por ciento va a la pila tecnológica. El diez por ciento va al algoritmo en sí.

Todos los demás invierten esa proporción. Dedican meses a elegir el modelo correcto, semanas a construir la tubería y aproximadamente cero tiempo a pensar en si los humanos que están más abajo realmente confían en la salida de la IA, la entienden o pueden supervisarla de forma eficaz.

Lo he visto de primera mano. Trabajamos con un equipo que había construido un sistema técnicamente elegante: arquitectura hermosa, código limpio, benchmarks impresionantes. Pero los médicos para los que se construyó no lo usaban. No porque fuera malo, sino porque nadie les había preguntado qué necesitaban. La herramienta generaba resúmenes en un formato que no encajaba con su flujo de trabajo existente. Sacaba a la superficie información que ya conocían y sepultaba información que de verdad necesitaban. Era una solución a un problema definido por ingenieros, no por las personas que hacían el trabajo.

Pasamos tres semanas simplemente sentados con el personal clínico, observándolos trabajar, antes de escribir una sola línea de código para el rediseño. Ese es el 70 % que importa.

Para el desglose técnico completo de los marcos de evaluación, las arquitecturas de detección adversaria y los patrones de retorno de la inversión que separan al 5 % del 95 %, consulta nuestro documento de investigación detallado.

¿Cómo deberían las empresas evaluar realmente las afirmaciones sobre precisión de la IA?

La gente me pregunta esto constantemente, así que déjame ser directo.

Primero, exige definiciones. Cuando un proveedor te dice que su tasa de alucinación es del X %, pregunta: ¿Qué cuenta como una alucinación? ¿Quién anotó el conjunto de pruebas? ¿De qué tamaño era? ¿Lo evaluaron expertos del dominio u otro modelo de IA? Si no pueden responder a estas preguntas con claridad, el número no significa nada.

Segundo, fíjate en el marco de evaluación. El mejor que he visto para el sector de la salud es Med-HALT, la Prueba de Alucinación del Dominio Médico. No solo mide si el modelo da la respuesta correcta. Comprueba si el modelo puede resistirse a dar una respuesta erróneamente confiada. Una de sus subpruebas, la Prueba de Falsa Confianza, presenta al modelo una pregunta y una supuesta respuesta "correcta" que en realidad es errónea, y luego verifica si el modelo la acepta. Otra prueba, llamada "Ninguna de las anteriores", comprueba si el modelo es capaz de reconocer cuándo ninguna de las opciones proporcionadas es correcta, una habilidad crítica, porque en medicina, "no lo sé" suele ser la respuesta más segura.

Tercero, insiste en lo que el marco FAIR-AI llama una "Etiqueta de IA": una divulgación estandarizada que le dice al usuario final con qué datos se entrenó el modelo, cuáles son sus modos de fallo conocidos y qué versión está desplegada actualmente. Piénsalo como una etiqueta nutricional para la IA. Si un proveedor no te da una, pregúntate qué está ocultando.

La pregunta no es "¿qué precisión tiene tu IA?". Es "¿cómo lo sabes, y puedes demostrárselo a un regulador?".

El acuerdo lo cambió todo. La mayoría de la gente aún no se ha dado cuenta.

Esto es lo que creo que va a pasar en los próximos dos años, y lo digo como alguien que construye los sistemas que estarán sujetos a estas normas.

El acuerdo de Texas va a replicarse. Otros fiscales generales estatales están observando. La FTC está observando. El patrón está establecido: no necesitas una ley de IA para regular las afirmaciones sobre IA. Solo necesitas un estatuto de protección al consumidor y un proveedor que prometió de más.

Las compras empresariales van a cambiar. Los sistemas hospitalarios y los grandes compradores van a empezar a exigir auditorías independientes de terceros sobre las afirmaciones de precisión de la IA antes de firmar contratos. El acuerdo permite esto explícitamente como alternativa a la autodivulgación, y los compradores inteligentes van a exigirlo.

El modelo del envoltorio va a morir: despacio, y luego de golpe. No porque los envoltorios no funcionen para aplicaciones de bajo riesgo (funcionan), sino porque el coste regulatorio de desplegar un sistema sin fundamentación en un entorno de alto riesgo está a punto de volverse prohibitivo. Las empresas que sobrevivan serán las que invirtieron en integración profunda cuando era difícil, no las que lanzaron rápido y esperaron que nadie lo comprobara.

¿Y la afirmación del 0,001 %? Va a convertirse en una advertencia con moraleja: el equivalente en la IA empresarial de la "una gota de sangre" de Theranos. Un número tan perfecto que debería haber sido una señal de alarma.

A veces pienso en aquel director de informática del hospital. El que me mostró la diapositiva con el gran número. No compró ese sistema. Me dijo más tarde que algo en la precisión de la afirmación le incomodaba: era demasiado limpio, demasiado seguro para una tecnología que él sabía que era fundamentalmente probabilística.

Tenía razón en incomodarse. Lo más difícil en la IA empresarial no es construir un sistema que funcione. Es construir un sistema que te diga honestamente cuándo no funciona. Ese es el estándar ahora. No el 99,999 %. No un número en una diapositiva. El estándar es: ¿puedes mostrar tu trabajo, respaldarlo y aceptar las consecuencias cuando te equivocas?

Eso es hacia lo que construimos. No una IA perfecta. Una IA honesta. Y creo que eso va a importar mucho más que la tasa de alucinación de cualquiera.