Afirmaciones de precisión de la IA en la atención médica: qué significa realmente el 0,001 %

El problema

En septiembre de 2024, el fiscal general de Texas obligó a una empresa de IA médica llamada Pieces Technologies a llegar a un acuerdo histórico. La compañía había afirmado a los hospitales que su software de documentación clínica tenía una «tasa de alucinación crítica» inferior al 0,001 % —menos de un error por cada 100 000 resultados—. El estado calificó esa afirmación tanto de inexacta como de engañosa.

Esta es la parte que debería quitarle el sueño. Cuatro grandes hospitales de Texas ya habían implementado este software: Houston Methodist, Children's Health System of Texas, Texas Health Resources y Parkland Hospital lo utilizaban. La IA resumía historiales clínicos de pacientes, redactaba notas clínicas y realizaba el seguimiento de las dificultades para el alta médica. No son tareas de bajo riesgo. Los errores en la documentación clínica pueden afectar directamente a la seguridad del paciente.

El fiscal general de Texas no necesitó una nueva ley sobre IA para actuar. La normativa vigente de protección al consumidor —la Texas Deceptive Trade Practices–Consumer Protection Act— fue suficiente. El estado concluyó que las métricas de precisión comercializadas por Pieces Technologies eran «probablemente inexactas» y potencialmente engañosas. Su organización no necesita pertenecer al sector sanitario para sentir el impacto. Si implementa IA y realiza afirmaciones sobre su precisión, el fiscal general de su estado ya cuenta con las herramientas para investigarle.

Este caso no atañe solo a una empresa. Es una llamada de advertencia para toda organización que adquiera o desarrolle sistemas de IA vinculados a decisiones reguladas.

Por qué esto es importante para su empresa

La exposición financiera y legal derivada de afirmaciones no verificadas sobre la IA ha dejado de ser teórica. El acuerdo de Pieces Technologies estableció una obligación de cumplimiento de cinco años con el estado de Texas. Esto supone cinco años de divulgaciones obligatorias, supervisión continua y la posibilidad de auditorías independientes de terceros. Considere el impacto que tendría semejante nivel de escrutinio en sus operaciones.

Las cifras dibujan un panorama contundente en todo el sector:

• Solo el 5 % de las empresas están obteniendo un valor empresarial cuantificable a partir de la IA a escala. El 95 % restante está gastando sin obtener rendimientos claros.
• El 65 % de los desarrolladores afirma que la IA «pierde el contexto relevante» durante tareas complejas, introduciendo errores sutiles o inconsistencias.
• Las empresas que compran herramientas especializadas de IA a proveedores tienen una tasa de éxito del 67 %, mientras que aquellas que desarrollan herramientas internas desde cero tienen éxito solo el 33 % de las veces.

El acuerdo exige ahora a Pieces Technologies que divulgue los datos y modelos específicos utilizados para entrenar sus productos. Asimismo, exige la divulgación de la metodología aplicada a cualquier métrica de rendimiento. Si su proveedor de IA no puede mostrarle cómo calculó sus afirmaciones de precisión, usted comparte su riesgo.

Para su consejo de administración y su equipo de cumplimiento, la lección es directa. El estándar regulatorio no es «si la IA funcionó la mayor parte del tiempo». El estándar es: ¿puede demostrarlo y dijo la verdad a sus clientes sobre cómo lo midió? Si su organización implementa IA en cualquier función regulada —clínica, financiera o legal—, este acuerdo es su nuevo punto de referencia para la diligencia debida.

Qué ocurre realmente bajo el capó

Para comprender por qué una afirmación de tasa de alucinación del 0,001 % resulta tan sospechosa, es necesario saber cómo funcionan realmente estos sistemas de IA.

Los modelos de lenguaje de gran tamaño (Large Language Models) —la tecnología detrás de herramientas como GPT-4— son motores de predicción. Generan texto calculando la palabra siguiente más probable en función de los patrones aprendidos durante el entrenamiento. Imagínelo como la función de autocompletar de su teléfono móvil, pero a una escala que le permite redactar párrafos enteros. El sistema no «comprende» hechos: predice lo que parece correcto.

Una alucinación ocurre cuando la IA asigna una alta probabilidad a una palabra o frase que suena correcta, pero es fácticamente errónea. En un entorno clínico, esto podría significar generar el nombre de un medicamento que encaja con la estructura sintáctica de la frase, pero que no coincide con el historial médico real del paciente.

Medir estos errores con una precisión del 0,001 % requeriría un conjunto de datos enorme y perfectamente etiquetado de resúmenes clínicos. Dicho conjunto de datos no existe. La documentación clínica es demasiado fragmentada y específica de cada paciente y médico como para constituir un estándar de referencia universal.

Este es el problema central de lo que el informe técnico denomina el modelo «envoltorio» (wrapper). Un wrapper envía sus datos a una IA de propósito general a través de una API y muestra cualquier respuesta que reciba, añadiendo verificaciones mínimas específicas del dominio. Este enfoque permite lanzar productos al mercado con rapidez, pero carece de las salvaguardas técnicas necesarias para detectar alucinaciones, evitar la filtración de datos o resistir ataques de inyección de instrucciones (prompt injection). Una simple llamada a la API de un modelo de propósito general no puede abarcar el historial médico completo de un paciente ni el estilo de documentación específico de un médico. La rapidez de comercialización no equivale a la seguridad en la práctica.

Qué funciona (y qué no)

En primer lugar, descartemos los enfoques que proporcionan una falsa sensación de seguridad:

• Confiar únicamente en las métricas de precisión declaradas por los proveedores. El caso de Texas demostró que estas referencias pueden carecer del rigor y la independencia necesarios para una validación de nivel empresarial. Su equipo de compras necesita pruebas independientes.
• Confiar en que un único modelo de IA se supervise a sí mismo. Un modelo de propósito general que aplica sus propias salvaguardas genéricas no es suficiente para decisiones clínicas o financieras de alto riesgo.
• Escalar proyectos piloto de IA sin una estrategia de calidad de datos. Las investigaciones demuestran que las empresas líderes siguen la regla «70:20:10»: el 70 % del esfuerzo de implementación se destina a la transformación organizativa, el 20 % a la infraestructura tecnológica y solo el 10 % al algoritmo. La mayoría de las empresas rezagadas escalan modelos sobre datos desordenados o aislados en silos.

Esto es lo que sí funciona: un enfoque de tres pasos estructurado en torno a resultados verificables:

1. Anclar cada respuesta de la IA en sus datos reales. La generación aumentada por recuperación (Retrieval-Augmented Generation, RAG) —un método en el que la IA recupera y referencia sus documentos de origen reales antes de generar una respuesta— mantiene los resultados vinculados a hechos que usted controla. En lugar de permitir que la IA haga suposiciones a partir de sus datos de entrenamiento, se le suministra el historial real del paciente, el contrato o el documento de política interna. Este enfoque mejora la retención del contexto mediante la recuperación de datos en tiempo real y el almacenamiento vectorial a largo plazo.

2. Añadir una capa de detección adversaria. Esto implica desplegar un segundo sistema de IA cuya única función sea verificar el trabajo del primero. En la arquitectura de Pieces Technologies, su módulo de detección fue 7,5 veces más eficaz a la hora de identificar alucinaciones clínicamente significativas que el muestreo aleatorio. El principio es relevante incluso si la tasa global fue objeto de controversia: la verificación automatizada detecta errores que los humanos pasan por alto.

3. Mantener a los humanos en el bucle para decisiones de alto riesgo. La IA debe redactar borradores, no decidir. En el caso de Pieces, los resúmenes marcados por su sistema de detección se enviaban a médicos certificados para su revisión. El tiempo mediano para corregir un error marcado fue de 3,7 horas. En un entorno de atención aguda o de urgencias, esa demora puede ser admisible para notas de evolución, pero podría resultar peligrosa para el soporte a la toma de decisiones en tiempo real. Es fundamental estratificar sus casos de uso de IA según el nivel de riesgo y la velocidad de respuesta requerida.

La ventaja del registro de auditoría articula todo esto para sus equipos legales y de cumplimiento. Marcos de trabajo como FAIR-AI recomiendan crear una «Etiqueta de IA» (AI Label) para cada herramienta implementada. Esta etiqueta divulga los datos de entrenamiento, la versión del modelo y los modos de fallo conocidos al usuario final. Cuando un regulador o auditor pregunte cómo tomó la IA una decisión específica, podrá mostrarle con exactitud qué documentos de origen consultó, qué controles superó y qué persona aprobó el resultado final. Esa transparencia es lo que distingue una implementación defendible de una responsabilidad legal.

Para las organizaciones del sector de la salud y las ciencias de la vida, este tipo de anclaje y verificación de citas no es opcional: es el estándar emergente. Una arquitectura GraphRAG que conecta su IA con grafos de conocimiento estructurados y registros de fuentes validados es la base técnica que hace esto posible.

Puede leer el análisis técnico completo o explorar la versión interactiva para conocer la ingeniería detallada detrás de estas recomendaciones.