La multa de $400,000 que debería aterrar a toda empresa de IA (y lo que estoy construyendo en su lugar)

Estaba en una llamada con un posible cliente bancario cuando la SEC hizo públicas las acciones sancionadoras contra Delphia y Global Predictions. 18 de marzo de 2024. La responsable de cumplimiento del cliente interrumpió literalmente nuestra conversación para leer la nota de prensa en voz alta. Cuando terminó, se hizo un largo silencio. Entonces dijo: «Así que, básicamente, la SEC nos acaba de decir que todo lo que nos prometió nuestro proveedor de IA actual es una demanda en potencia».

Ella no se equivocaba. La SEC acababa de multar a dos firmas de asesoría de inversión con un total de $400,000 por lo que los reguladores denominaron formalmente AI washing — hacer afirmaciones falsas y engañosas sobre su uso de la inteligencia artificial. Una de las firmas, Delphia, llevaba diciendo a sus clientes desde 2019 que utilizaba aprendizaje automático para analizar sus patrones de gasto y su actividad en redes sociales con el fin de «predecir qué empresas y tendencias están a punto de triunfar». ¿La realidad? Nunca habían integrado realmente ninguno de esos datos en su proceso de inversión. Ni una sola vez. Estaban comercializando una capacidad que literalmente no existía.

Esa llamada telefónica cambió la trayectoria de mi empresa. No porque las acciones sancionadoras me sorprendieran: llevaba meses observando esta colisión entre el bombo publicitario de la IA y la realidad regulatoria. Lo que cambió fue la urgencia. De repente, cada banco, cada sistema sanitario, cada bufete de abogados con el que hablaba ya no preguntaba «¿cómo adoptamos la IA?». Preguntaban «¿cómo demostramos que nuestra IA hace realmente lo que decimos que hace?».

Esa pregunta —cómo se integra por diseño una verdad demostrable en un sistema de IA— es lo que he pasado el tiempo transcurrido desde entonces intentando responder obsesivamente.

¿Qué es exactamente el AI washing y por qué debería importarte?

Piensa en el greenwashing, pero para algoritmos. Una empresa estampa «impulsado por IA» en sus materiales de marketing, ve cómo sube la cotización de sus acciones o cómo se llena su cartera de clientes, y nadie pregunta si la tecnología que hay debajo funciona realmente como se anuncia. La SEC tomó prestado el término deliberadamente: la mecánica del engaño es idéntica.

Delphia afirmaba utilizar un «modelo algorítmico predictivo» impulsado por aprendizaje automático. La SEC los inspeccionó, les dijo que dejaran de mentir en 2021 y ellos siguieron haciéndolo durante dos años más. Eso les valió una sanción de $225,000 y una censura. Global Predictions, por su parte, se autodenominaba «el primer asesor financiero de IA regulado» y prometía «previsiones expertas impulsadas por IA». Cuando los reguladores pidieron la documentación técnica que respaldara esas afirmaciones, la firma no pudo aportarla. Otros $175,000 perdidos.

La SEC no necesitó una nueva legislación específica sobre IA para procesar estos casos. Utilizó las mismas leyes antifraude que existen desde hace décadas. Si mientes sobre lo que hace tu tecnología, estás cometiendo fraude. La parte de la «IA» es irrelevante.

Esto es lo que diferencia este caso de un tirón de orejas regulatorio típico: el presidente de la SEC, Gary Gensler, dejó claro que esto era el comienzo, no un hecho aislado. Y la SEC no está sola. La FTC lanzó la «Operation AI Comply» y fue a por DoNotPay —la empresa que se comercializaba como «el primer abogado robot del mundo»— porque no pudo fundamentar sus afirmaciones de que su IA podía sustituir a un abogado humano. El Departamento de Justicia anunció que evaluaría la gestión del riesgo de la IA como parte de sus valoraciones de cumplimiento corporativo y que buscaría penas más duras para los delitos facilitados por el uso indebido de la IA.

Tres agencias federales, todas convergiendo en el mismo mensaje: demuéstralo o págalo.

La noche en que me di cuenta de que la mayor parte de la IA empresarial está construida sobre arena

Recuerdo una tarde concreta: mi equipo y yo estábamos evaluando la «herramienta de investigación jurídica impulsada por IA» de un competidor que un cliente estaba considerando. Le planteamos una pregunta sencilla sobre una sentencia reciente de un tribunal de apelaciones. La herramienta devolvió una respuesta bellamente formateada con tres citas de casos. Tono seguro. Lenguaje profesional. Un problema: una de las citas estaba completamente inventada. El caso no existía. Los otros dos existían, pero decían lo contrario de lo que afirmaba la herramienta.

Mi cofundador me miró y dijo: «Esta cosa escribe como un abogado y razona como un loro».

Ese es el problema técnico de fondo, y no es un error: es la arquitectura. La mayoría de los grandes modelos de lenguaje funcionan mediante la predicción del siguiente token. Calculan la probabilidad de cuál debería ser la siguiente palabra dado todo lo que vino antes. Las matemáticas son elegantes: una función softmax sobre las puntuaciones de salida del modelo, que selecciona la continuación más probable. Pero «lo más probable» y «lo verdadero» son cosas fundamentalmente distintas. El modelo no tiene un concepto interno de verdad. Nunca ha leído una ley y la ha comprendido. Ha procesado miles de millones de tokens y ha aprendido qué palabras tienden a aparecer cerca de otras palabras.

Para generar textos de marketing o resumir notas de reuniones, esto está bien. Para decirle a un banco si una transacción cumple con la normativa contra el blanqueo de capitales, o para decirle a un médico si una interacción farmacológica es peligrosa, «estadísticamente plausible» es jurídicamente idéntico a «erróneo».

En entornos regulados, «mayormente correcto» no es un nivel de calidad: es una categoría de responsabilidad legal.

Y, sin embargo, la inmensa mayoría de las «soluciones de IA» que se venden ahora mismo a las empresas son lo que el sector llama eufemísticamente «wrappers» (envoltorios). Cogen una API pública de OpenAI o Anthropic, añaden algo de ingeniería de prompts y una interfaz de usuario agradable, y la lanzan. El wrapper no tiene forma de verificar su propio razonamiento. No puede demostrar de dónde salieron sus respuestas. Simplemente retransmite lo que genere el modelo base, alucinaciones incluidas.

Escribí sobre este problema en profundidad en la versión interactiva de nuestra investigación: la brecha entre lo que estos sistemas afirman y lo que arquitectónicamente pueden hacer es asombrosa.

¿Por qué falla el RAG en las decisiones de alto riesgo?

Cuando explico este problema a audiencias técnicas, alguien dice inevitablemente: «¿Y qué pasa con el RAG?». Retrieval-Augmented Generation: el enfoque en el que le das al modelo acceso a una base de datos de documentos para que pueda consultar las cosas en lugar de inventárselas. Es la tirita favorita del sector.

Este es el problema. El Vector RAG estándar funciona convirtiendo tu pregunta y tus documentos en representaciones matemáticas (vectores), y encontrando después los documentos que están «más cerca» de tu pregunta en ese espacio abstracto. Es una búsqueda por similitud semántica. Y para muchas aplicaciones funciona razonablemente bien.

Pero «razonablemente bien» se derrumba en dominios donde las relaciones entre las piezas de información importan tanto como la información misma. Tomemos la investigación jurídica. Un caso judicial no solo existe: cita otros casos, revoca algunos, confirma otros y opera dentro de una jerarquía jurisdiccional específica. Cuando le preguntas a una IA jurídica «¿sigue siendo derecho vigente este precedente?», una búsqueda vectorial podría sacar a la luz el caso porque las palabras coinciden. Pero no tiene forma de decirte que ese caso fue revocado por un tribunal superior seis meses después. No puede distinguir entre una cita y un repudio.

Mi equipo discutió sobre esto durante semanas. Un ingeniero quería seguir mejorando nuestra recuperación vectorial: mejores embeddings, mejores estrategias de fragmentación, un reranking más sofisticado. Otra insistía en que el problema no era la calidad de la recuperación, sino la arquitectura de recuperación. Que todo el paradigma de «encontrar el documento más cercano» era erróneo para dominios donde las relaciones entre documentos son las que portan el significado.

Tenía razón. Y esa discusión es lo que nos empujó hacia GraphRAG.

¿Qué ocurre cuando construyes una IA capaz de demostrar su razonamiento?

GraphRAG —en concreto lo que llamamos Citation-Enforced GraphRAG— sustituye la búsqueda semántica difusa por un grafo de conocimiento estructurado. En lugar de vectores flotando en un espacio abstracto, construyes un mapa explícito de cómo se conecta la información. En un grafo de conocimiento jurídico, una opinión judicial es un nodo. Su relación con otras opiniones es una arista: CITA, REVOCA, CONFIRMA, INTERPRETA. Las leyes se conectan con los casos que las interpretan. Las jerarquías jurisdiccionales están codificadas directamente.

Cuando la IA genera una respuesta, no se limita a encontrar texto «similar». Recorre rutas verificadas dentro del grafo. Si afirma que el caso A respalda la proposición B, tiene que existir un enlace real y auditable en el grafo que los conecte. Usamos decodificación restringida por grafo para impedir físicamente que el modelo emita una cita que no pueda verificar. El modelo literalmente no puede alucinar una cita porque la arquitectura no se lo permite.

Esto es a lo que me refiero con una IA determinista. No «probablemente correcta». Demostrablemente fundamentada.

La diferencia entre Vector RAG y GraphRAG no es una mejora incremental: es la diferencia entre adivinar qué libro es relevante y leer de verdad las notas al pie.

Combinamos esto con orquestación multiagente. En lugar de que un único modelo lo haga todo —investigar, verificar, redactar—, utilizamos agentes especializados. Un agente de investigación recupera la información en bruto. Un agente de verificación la contrasta con el grafo de conocimiento. Un agente redactor produce el resultado utilizando únicamente hechos verificados. Estos agentes funcionan mediante lo que llamamos un patrón de reflexión cíclica, revisando los borradores de forma iterativa en busca de alucinaciones antes de que ningún humano vea el resultado.

Es más lento que un wrapper. Cuesta más construirlo. Y es la única arquitectura en la que confiaría para una decisión que podría acabar delante de un regulador.

El problema de la soberanía de los datos del que nadie quiere hablar

Hay otra dimensión de todo esto que la conversación sobre el AI washing suele ignorar: dónde viven los datos.

Un cliente del sector sanitario me preguntó una vez sin rodeos: «Si usamos tu sistema, ¿adónde van los datos de nuestros pacientes?». Cuando le dije que nunca salen de su infraestructura, pareció aliviado. Después me contó que su proveedor anterior —una conocida empresa de IA— no había sabido responder con claridad a esa pregunta. Los datos iban a la nube del proveedor, se procesaban en una infraestructura compartida, y las condiciones del servicio del proveedor técnicamente permitían usarlos para mejorar sus modelos.

Para una empresa que maneja datos regulados por la HIPAA, el RGPD o la CCPA, eso no es una zona gris. Eso es una infracción.

Desplegamos sobre infraestructura soberana: totalmente autoalojada en las instalaciones del cliente, o dentro de su propia nube privada (VPC), donde las instancias de IA quedan aisladas de la internet pública. Exige más inversión inicial. El cliente necesita GPU e infraestructura especializada. Pero obtiene algo que ninguna API pública puede ofrecer: cero fuga de datos y auditabilidad completa. Cada consulta, cada respuesta, cada versión del modelo: todo dentro de su marco de gobernanza.

Para conocer la arquitectura técnica completa de cómo construimos esto —incluidos el esquema del grafo de conocimiento, el marco de orquestación multiagente y nuestro enfoque del despliegue soberano—, consulta nuestro análisis técnico en profundidad.

¿Cómo se gobierna realmente la IA sin ahogarse en cumplimiento normativo?

He estado en salas de juntas donde los directivos tratan la gobernanza de la IA como un ejercicio de marcar casillas. Elige un marco, rellena los formularios, pasa página. Ese enfoque hará que te multen.

Han surgido dos marcos como estándares del sector, y sirven a propósitos distintos. El NIST AI Risk Management Framework es una guía táctica voluntaria: te ayuda a identificar riesgos, medirlos y construir procesos internos. Se implementa rápido y es excelente para desarrollar lo que yo llamo «músculo de riesgo de IA» dentro de tu organización. Pero es autodeclarado. Nadie verifica que realmente hayas hecho lo que dijiste.

ISO/IEC 42001 es el estándar internacional certificable. Un auditor externo examina tu sistema de gestión de la IA y te certifica o no. Esa certificación importa cuando un regulador, un cliente o un comprador te pide «demuestra que tu gobernanza de la IA es real».

La jugada inteligente es encadenar ambos: usar NIST para construir controles internos ágiles con rapidez y luego mapear esos controles a los requisitos de la ISO 42001 para la certificación formal. Uno te da velocidad; el otro te da pruebas.

Y por debajo de ambos marcos hay un requisito emergente del que la mayoría de las empresas ni siquiera ha oído hablar todavía: el AI Bill of Materials (AIBOM). Piénsalo como una etiqueta nutricional para tu sistema de IA. Es un registro legible por máquina de todo lo que intervino en su construcción: conjuntos de datos de entrenamiento, modelos base, bibliotecas de terceros, dependencias de infraestructura. Cuando un auditor pregunta «¿qué datos entrenaron este modelo?» o «¿qué versión de PyTorch se estaba ejecutando cuando se tomó esta decisión?», el AIBOM responde al instante.

Generamos los AIBOM automáticamente como parte de nuestro pipeline de despliegue. Cada versión del modelo se rastrea hasta versiones exactas de código y de conjuntos de datos. No es un trabajo glamuroso. Pero es la diferencia entre superar una auditoría y correr a reconstruir una documentación que debería haber existido desde el primer día.

El inversor que me dijo que «usara GPT y ya está»

Tengo que contar esta historia porque captura exactamente la mentalidad que la persecución del AI washing está diseñada para castigar.

En los primeros tiempos de Veriprajna, estaba presentando el proyecto a un inversor. Le expliqué nuestra arquitectura: los grafos de conocimiento, la verificación multiagente, el modelo de despliegue soberano. Escuchó educadamente y luego dijo: «¿Por qué no envuelves GPT-4 sin más, cobras menos y escalas más rápido? Nadie va a auditar el backend».

Le dije que la SEC acababa de multar a dos empresas exactamente por esa lógica. Se encogió de hombros.

Seis meses después, una de las empresas de su cartera —una fintech «impulsada por IA»— recibió un requerimiento regulatorio sobre sus afirmaciones de marketing. No pudieron aportar documentación que demostrara que su IA hacía realmente lo que decía su presentación para inversores. Lo último que supe es que estaban corriendo a contratar consultores de cumplimiento a tarifas de emergencia.

Siempre me preguntan si el entorno sancionador se suavizará, si una nueva administración o un cambio de prioridades podrían hacer que el AI washing fuera menos arriesgado. Mi respuesta honesta: da igual. La SEC utilizó la legislación antifraude existente. La FTC utilizó la Sección 5 de la FTC Act, que está en vigor desde 1914. Los fiscales generales de los estados tienen sus propias leyes de protección al consumidor. Incluso si cambian las prioridades federales de aplicación, la infraestructura jurídica para perseguir el engaño con IA es permanente y tiene múltiples capas.

El AI washing no es una moda regulatoria. Es fraude vestido con bata de laboratorio, y todos los niveles de gobierno tienen ahora las herramientas y las ganas de perseguirlo.

La pregunta más importante es qué le ocurre al mercado. Cuando las empresas triunfan basándose en capacidades de IA inventadas, distorsionan la competencia y erosionan la confianza que las empresas de IA legítimas necesitan para operar. Cada wrapper vendido como «IA avanzada» hace más difícil que las empresas que hacen ingeniería de verdad expliquen por qué sus soluciones cuestan más y tardan más en construirse.

¿Qué aspecto tiene realmente un sistema de IA digno de confianza?

Si quitas los marcos y los acrónimos, construir una IA capaz de sobrevivir al escrutinio regulatorio se reduce a cuatro cosas.

Ingeniería del determinismo. Ve más allá de las salidas probabilísticas hacia arquitecturas —sistemas neuro-simbólicos, grafos de conocimiento, decodificación restringida por grafo— capaces de demostrar su razonamiento. Si tu IA no puede mostrar su trabajo, no está lista para entornos regulados.

Arquitectura de la soberanía. Despliega dentro de una infraestructura que controles. Si los datos sensibles de tu cliente tocan infraestructura pública compartida, has creado una responsabilidad de cumplimiento que ninguna cantidad de ingeniería de prompts puede arreglar.

Estandarización de la gobernanza. Adopta marcos certificables. Mantén AI Bills of Materials. Convierte la documentación en un proceso continuo y automatizado, no en una carrera anual.

Validación continua. Implanta red-teaming adversarial, monitoriza las tasas de alucinación y de fundamentación como KPI, y mantén a humanos en el circuito para las decisiones de alto riesgo. El modelo que era preciso en el despliegue se desviará. Vigílalo como vigilarías un algoritmo de trading, porque las consecuencias de un fallo son comparables.

Los $400,000 en multas de la SEC fueron un error de redondeo para el sector financiero. El mensaje que había detrás de esas multas, no. Hemos salido de la era en la que podías comercializar capacidades de IA que no poseías, desplegar cajas negras en flujos de trabajo regulados y dar por hecho que nadie lo comprobaría. Todo sistema de IA empresarial opera ahora bajo una carga de la prueba implícita: ¿puedes demostrar que esto hace lo que afirmas?

Construí Veriprajna —el nombre combina «Veri» (verdad) y «Prajna» (sabiduría)— porque creo que la crisis de credibilidad del sector de la IA es fundamentalmente una crisis de arquitectura. No puedes resolver un problema de verdad con un sistema que nunca fue diseñado para preocuparse por la verdad. Tienes que integrarla por ingeniería, desde el grafo de conocimiento hacia arriba, a través de cada agente, cada bucle de verificación, cada decisión de despliegue.

Las empresas que entiendan esto construirán una IA que funcione de verdad. Las que no, seguirán envolviendo APIs, redactando presentaciones impresionantes y esperando que nadie mire bajo el capó. Los reguladores están mirando ahora. Y no van a parar.