El tablero verde mintió: qué debe probar de verdad la validación de IA empresarial

He pasado buena parte de mi carrera siendo la persona en la sala cuyo trabajo es decir "no, ese modelo aún no está validado". En la banca esa función tiene un nombre árido: validación independiente de modelos bajo la SR 11-7, la guía de la Reserva Federal y la OCC que rige el riesgo de modelos desde 2011. El trabajo es exactamente tan glamoroso como suena. Lees el apéndice de limitaciones que nadie más lee. Le preguntas al proveedor cómo se comporta el modelo en los casos que no están en la demostración. Y cada cierto tiempo te sientas en un comité de auditoría frente a un tablero que está enteramente, tranquilizadoramente verde —cada casilla marcada, cada política mapeada, cada estado de cumplimiento nominal— mientras sabes, con un nudo en el estómago, que el verde no te dice casi nada sobre si la cosa realmente funciona.

De esa brecha trata todo este ensayo, y es la razón por la que construimos la práctica de validación de IA empresarial de Veriprajna en torno a una única idea nada de moda: hay que probar las respuestas, no el proceso. Un tablero de gobernanza certifica que se siguió un procedimiento. No certifica que tu IA dio la respuesta correcta para este asegurado, este préstamo, esta ley. Ambas cosas se confunden constantemente en las reuniones de directorio, y la confusión es cara.

Déjame mostrarte cuán cara.

Klarna ahorró un 40 % — y luego perdió 99 millones de dólares

En 2024, Klarna le dijo al mundo que su asistente de IA había reemplazado a 700 agentes de servicio al cliente. El asistente gestionaba aproximadamente dos tercios de los chats en 35 idiomas. El costo por transacción cayó de 0,32 a 0,19 dólares —cerca de un 40 %— y los titulares se escribieron solos. Este era el futuro: más ágil, más rápido, más barato.

Para mediados de 2025 estaban reasignando ingenieros de software y especialistas en marketing para atender los centros de llamadas. Las puntuaciones de CSAT habían caído un 22 %. Los clientes se topaban con lo que la prensa llamó un "bucle kafkiano" en los casos difíciles: cargos disputados, reembolsos impugnados, cierres de cuentas. El primer trimestre de 2025 de Klarna cerró con una pérdida neta de 99 millones de dólares, frente a los 47 millones del año anterior, a pesar de un crecimiento de ingresos del 15 %. El CEO admitió que automatizar a escala había "provocado una caída en la calidad del servicio".

Esta es la parte que me costó un tiempo interiorizar, y es lo opuesto a la lección que la mayoría de la gente extrajo. La IA de Klarna funcionaba. De verdad ahorraba dinero en restablecimientos de contraseñas y consultas sobre el estado de los pedidos. El fracaso no fue que la IA fuera mala. El fracaso fue que nadie validó si podía manejar el 20 % de las interacciones que cargan con la mayor parte del peso financiero y reputacional: las disputas, los casos límite, las cosas que se convierten en abandono de clientes y quejas. Un filtro de toxicidad habría aprobado cada una de esas conversaciones fallidas. La IA era cortés mientras fracasaba.

La IA no dijo nada ofensivo. Simplemente no supo navegar un reembolso multidivisa que involucraba un vuelo cancelado y un cargo disputado, y ese era el 20 % que importaba.

Klarna no es un caso atípico. Es la versión visible de algo que ocurre en silencio en cada empresa con la que hablo. Entre un 70 % y un 85 % de los proyectos de IA empresarial nunca llegan siquiera a producción —una cifra a la que RAND, Gartner, BCG y McKinsey han llegado por caminos independientes, más o menos—. El estudio NANDA del MIT en 2025 halló que el 95 % de los pilotos de IA no generaron ningún impacto medible en pérdidas y ganancias. McKinsey informó que el 42 % de las empresas abandonaron la mayoría de sus iniciativas de IA en 2025, frente al 17 % del año anterior. Los pilotos se demuestran de maravilla. Mueren al contacto con los casos que la demostración nunca mostró.

Construimos primero lo que no debíamos

Quiero ser honesto sobre cómo llegamos a probar las respuestas en lugar del proceso, porque no llegamos ahí por ser ingeniosos. Llegamos lanzando algo que no funcionaba y viéndolo fracasar frente a un cliente.

Nuestra primera versión de una capa de validación de IA era, en retrospectiva, exactamente lo que el mercado ya estaba vendiendo. Cableamos un respetable marco de guardarraíles —moderación de contenido, detección de PII, comprobaciones de jailbreak—, le atornillamos monitoreo de deriva y equidad, y renderizamos todo como una limpia vista de cumplimiento. Entradas escaneadas. Salidas escaneadas en busca de toxicidad y datos personales filtrados. Un tablero que se ponía verde. Estaba orgulloso de él. Parecía gobernanza.

Lo pusimos frente a un piloto en un flujo de trabajo financiero regulado, y dentro de las primeras semanas la IA produjo una respuesta que sonaba convincente, bien formateada, libre de cualquier cosa tóxica, sin PII filtrada, y simplemente estaba equivocada respecto a una regla del dominio. Nuestro sistema la aprobó. Cada comprobación que habíamos construido estaba en verde. El error estaba en la sustancia de la respuesta, en un lugar donde ninguno de nuestros guardarraíles estaba mirando, porque ninguno de ellos entendía el dominio lo bastante bien como para saber que la respuesta estaba mal.

Ese fue el mes en que dejé de creer en la categoría en la que nos habíamos metido. Había pasado años en validación de modelos sabiendo esto en el contexto bancario, y aun así había construido una herramienta que cometía el mismo error que me había pasado la carrera atrapando. La seguridad no es corrección. La inocuidad no es corrección. Un tablero verde no es corrección.

Una IA que es segura frente a la inyección de prompts todavía puede calcular mal una reserva, citar una ley derogada o aprobar un préstamo que viola las reglas de préstamo justo. La inocuidad y la corrección son problemas distintos, y casi nadie está probando el segundo.

¿Por qué las herramientas de las que has oído hablar se detienen donde se detienen?

Existe ahora un mercado real y bien financiado de herramientas de IA, que crece a algo así como una tasa compuesta anual del 45 %, y no quiero ser injusto con él. La mayoría de estos productos hacen bien sus tareas reales. El problema es que sus tareas reales no son la tarea que la mayoría de los compradores creen estar comprando.

Las plataformas de gobernanza —Credo AI, watsonx.governance de IBM, ModelOp— mapean tus iniciativas de IA a marcos regulatorios y rastrean el estado de cumplimiento. Credo AI fue clasificada en el puesto n.º 6 en IA Aplicada en la lista de 2026 de Fast Company, junto a Google, Nvidia y Anthropic; este es un trabajo serio. Pero el cumplimiento de políticas no es corrección de las salidas. Un tablero de políticas en verde significa que el papeleo está en orden, no que la IA dé respuestas correctas para tu caso de uso específico.

Las herramientas de monitoreo —Arthur, Galileo, Arize— vigilan métricas a nivel de modelo en tiempo real: deriva, equidad, latencia, distribuciones de tokens. Útil. Pero monitorean el comportamiento del modelo en conjunto, no si un cálculo de seguro en particular es correcto dados los términos de cobertura de un asegurado en particular. Las herramientas de seguridad van una capa más profundo: Cisco pagó alrededor de 400 millones de dólares por Robust Intelligence en octubre de 2024 y la integró en Cisco AI Defense, mapeando las detecciones a OWASP y MITRE ATLAS. Eso es necesario. También sigue siendo sobre si el modelo puede ser atacado, no sobre si es correcto.

Luego están los marcos de guardarraíles, NeMo Guardrails de NVIDIA y similares, que son buenos en moderación de contenido, PII y filtrado de temas —y que la propia NVIDIA se cuida de decir que no pueden atraparlo todo, porque los mecanismos de autocomprobación dependen de los mismos modelos que están protegiendo—. Y están las Big Four, que te venderán una estrategia de gobernanza por algo entre 500 000 y 5 millones de dólares a lo largo de 6 a 18 meses y te entregarán un PowerPoint y una lista corta de proveedores al final: un marco, no un sistema en funcionamiento que te diga que tu IA está equivocada un martes.

Cada una de estas tiene una columna donde su utilidad se detiene. Apílalas todas y habrás cubierto política, seguridad, deriva y seguridad del contenido. Todavía no habrás respondido la pregunta que realmente determina si el despliegue vive o muere: ¿es la respuesta correcta para este caso?

El problema del 69 %

Si quieres la cifra que me hizo esto concreto, es esta. En tareas de diligencia debida legal, las pruebas independientes han situado las tasas de error de la IA entre el 69 % y el 88 %, muy por encima de lo que sugieren los benchmarks de los proveedores. Detente en eso. No 6,9 %. Sesenta y nueve a ochenta y ocho.

Y estos no son errores que un guardarraíl atrape, porque no son ofensivos ni inseguros. Están equivocados de la manera que solo alguien que conoce el dominio puede ver. Para finales de 2025 había más de 729 incidentes documentados de alucinaciones de IA en escritos legales, frente a los 280 del año anterior. Los tribunales empezaron a multar a la gente. En un caso, Doiban contra OLCC, la sanción resultó en 500 dólares por cada una de 15 citas fabricadas más 1000 dólares por el tiempo del abogado contrario dedicado a rastrear casos fantasma que no existían. Uno de los mayores bufetes de abogados de EE. UU. registró tres incidentes de alucinación distintos en seis meses.

Estos son profesionales, revisando dos veces su trabajo, en un campo donde estar equivocado tiene consecuencias, y aun así la IA fabricó jurisprudencia de forma lo bastante convincente como para llegar a un escrito judicial. Esa es la textura del fracaso. Es fluido, plausible y falso, y reside precisamente en el conocimiento del dominio que el monitoreo genérico no tiene manera de evaluar.

¿Qué validas cuando el proveedor no abre la caja?

En las industrias reguladas esto deja de ser un problema de ingeniería interesante y se convierte en uno legal. Si un modelo influye en la suscripción, la constitución de reservas o el capital, la SR 11-7 en la banca de EE. UU. —y el Pilar 2 de Solvencia II para las aseguradoras europeas— exige que sea validado de forma independiente, documentado y monitoreado continuamente. Esa obligación ahora se aplica también a los grandes modelos de lenguaje; a un regulador no le importa que tu modelo resulte ser un LLM.

Y aquí está el aprieto con el que me topaba una y otra vez. La validación bajo la SR 11-7 tradicionalmente se apoya en comprender el modelo: sus supuestos, sus entrañas, sus límites. Pero los proveedores de LLM no te dirán cómo funciona el modelo. Tengo el correo en mi archivo, con distintas formulaciones: no podemos revelar el funcionamiento interno del modelo. Estás legalmente obligado a validar algo que el proveedor se niega a abrir.

La única salida de ese aprieto es dejar de intentar inspeccionar los pesos y empezar a puntuar las salidas frente a la verdad de referencia del dominio. Construyes un conjunto de casos en los que conoces la respuesta correcta —cómo debe fijarse una reserva de responsabilidad de cola larga cuando el sublímite de una póliza y una exclusión de cobertura interactúan, qué significa una ley derogada, cómo se aplica una regla de préstamo justo— y pruebas si la IA los acierta, a escala, de forma continua, cada vez que el modelo se actualiza o se reajusta. Validas el comportamiento que puedes ver, porque es el comportamiento que el regulador y el cliente experimentan de todos modos. Ese es el núcleo de lo que ahora construimos, y es el único enfoque que funciona abra o no el proveedor la caja alguna vez.

Cuando no puedes ver dentro del modelo, la capa de salida es el único lugar honesto que queda para validar —y, convenientemente, es la única capa que tu cliente y tu regulador llegan a tocar realmente.

Por qué "simplemente compra una plataforma" dejó de ser la respuesta

Hay una revuelta silenciosa en marcha en cómo las empresas construyen IA, y atañe directamente a la validación. El informe de 2026 de Retool sobre construir frente a comprar halló que el 35 % de los equipos ya han reemplazado al menos una herramienta SaaS con una construcción a medida, y el 78 % espera construir más. Las soluciones a medida, alineadas con la lógica de negocio específica, han estado mostrando de 3 a 5 veces el retorno de los envoltorios genéricos —en parte porque aproximadamente el 65 % del costo del software llega después del despliegue, en la integración y el mantenimiento y las cosas que el envoltorio no acababa de hacer.

Pero hay una trampa que la multitud del "simplemente constrúyelo tú mismo" pasa por alto. Construir una validación a medida como es debido requiere equipos de infraestructura de ML que la mayoría de las empresas no tienen. Así que el panorama real no es envoltorio-contra-a-medida. Son tres opciones: un envoltorio genérico que no entiende tu dominio, un proyecto de hazlo-tú-mismo para el que no tienes personal, o sistemas de expertos en el dominio construidos para tu vertical específico por gente que ha hecho este trabajo de validación antes. Esa tercera opción es la brecha en la que decidimos vivir. No un tablero que licencias. No una plataforma que dotas de personal. Una capa de validación construida en torno a la verdad real de tu dominio.

"¿No cubre esto la herramienta de gobernanza que ya compramos?"

La gente me pregunta una versión de esto constantemente, normalmente con un dejo de esperanza, porque ya han gastado el presupuesto. La respuesta honesta es que tu herramienta de gobernanza cubre la gobernanza —y la gobernanza es genuinamente necesaria—. Consérvala. Simplemente no valida la corrección, y nunca fue construida para eso.

Lo segundo que preguntan es sobre la IA que no pueden ver: la IA en la sombra. Esta trae de cabeza a los responsables de riesgos, y los números dicen que debería: el 78 % de los empleados usan herramientas de IA que su empleador no proporcionó, y el 77 % de ellos han introducido información sensible o de propiedad exclusiva en esas herramientas. Tanto Samsung como Amazon descubrieron su propio código propietario alojado en servicios públicos de IA. La brecha promedio por IA en la sombra cuesta 4,63 millones de dólares. El propio planteamiento de Gartner es el incómodo: la gran mayoría de la actividad de IA no autorizada proviene de violaciones de políticas internas, sobrecompartición y mal uso, no de atacantes externos. Tu plataforma de gobernanza no puede gobernar lo que no puede ver, y la validación tiene que empezar por descubrir qué está ejecutándose realmente.

La tercera pregunta es la que llega más rápido. Gartner proyecta que el 40 % de las aplicaciones empresariales incorporarán agentes de IA autónomos para finales de 2026 —agentes que no solo responden, sino que actúan: modificando bases de datos, ejecutando transacciones, enviando comunicaciones a clientes. Solo alrededor de un tercio de las organizaciones reportan una gobernanza madura para algo de esto. Cuando un agente puede tomar una acción irreversible, la pregunta de validación pasa de "¿dijo lo correcto?" a "¿hizo lo correcto?", y una acción equivocada que no puedes deshacer es una categoría de riesgo distinta a una frase equivocada. El monitoreo construido para chatbots nunca fue diseñado para ello.

La tabla de sanciones que nadie quiere en la diapositiva del directorio

Cerraré con la cifra que tiende a zanjar el debate, porque hace que el costo de no validar sea legible para un director financiero de una manera que las tasas de error no lo son.

A partir del 2 de agosto de 2026, la mayoría de las obligaciones restantes de la Ley de IA de la UE entran en vigor: las reglas para los sistemas de alto riesgo, los requisitos de transparencia bajo el Artículo 50. La sanción por prácticas prohibidas asciende hasta 35 millones de euros o el 7 % de la facturación global; el incumplimiento de alto riesgo, hasta 15 millones de euros o el 3 %. Finlandia se convirtió en el primer estado miembro con poderes de aplicación plenamente operativos en enero de 2026. Esto ya no es un memorándum del futuro. Es una partida con una fecha puesta.

Suma el resto de la factura por saltarte la validación: 4,63 millones de dólares por brecha de IA en la sombra, más de 1 millón de dólares la hora durante una caída importante de IA, 99 millones de dólares cuando la calidad del servicio colapsa en silencio, sanciones de seis cifras por incidente de alucinación, y una sanción de la UE medida en puntos de los ingresos globales. Frente a todo eso, el costo de validar tu IA como es debido —probar las respuestas, contra tu dominio, de forma continua— es un error de redondeo. Sin embargo, la mayoría de las empresas todavía tratan la validación como una casilla que marcan una vez, no como una disciplina que ejecutan.

El tablero verde les decía que todo estaba bien. El problema es que el tablero estaba calificando lo que no debía. Comprobaba que habían seguido el proceso —lo único que es fácil de auditar y seguro de poseer, que es exactamente por lo que sobrevive en las presentaciones de directorio mucho después de dejar de significar nada—. Nunca preguntó ni una sola vez si la respuesta era correcta —y que la respuesta fuera correcta era lo único que al cliente, al regulador y a la columna de pérdidas les importó jamás—. Si quieres ver cómo probamos eso en cambio, escribimos sobre el enfoque aquí.

Todavía guardo la lista de verificación de los cuatro pilares de la SR 11-7 donde puedo verla, y el cuarto pilar es el monitoreo —que solo significa algo si estás monitoreando lo correcto—. Un tablero que califica tu proceso se quedará ahí en verde mientras tu IA torpemente falla en silencio el reembolso multidivisa, la reserva disputada, la ley derogada. El de Klarna también estaba en verde, justo hasta el trimestre en que perdió 99 millones de dólares. La validación que de verdad te protege es el trabajo poco glamoroso que he estado haciendo toda mi carrera: recopila los casos en los que ya conoces la respuesta correcta, y comprueba —una y otra vez, cada vez que el modelo cambia— si la máquina sigue acertándolos.