La IA que decide quién causó tu accidente de coche probablemente se equivoca. Y así estoy construyendo una mejor

Hace unos meses, presencié una demostración que me revolvió el estómago.

Una startup de insurtech bien financiada presumía su nueva herramienta de automatización de reclamaciones. Introdujeron un informe policial en GPT-4, le pidieron que determinara la culpa en una colisión entre dos coches en un cruce, y salió un párrafo bellamente redactado que asignaba una responsabilidad de 60/40. El fundador sonreía de oreja a oreja. Los inversores asentían. La narrativa era limpia, segura y —yo estaba casi seguro— errónea.

Hice una pregunta sencilla: «Ejecútalo otra vez».

El mismo informe. El mismo prompt. Esta vez: 70/30. El modelo había desplazado diez puntos porcentuales de la responsabilidad financiera de alguien entre dos ejecuciones porque es un generador probabilístico de texto, no un juez. La sala se quedó en silencio. Alguien murmuró algo sobre los ajustes de temperatura.

Ese momento cristalizó todo aquello hacia lo que mi equipo en Veriprajna había estado trabajando. Habíamos pasado meses estudiando cómo los LLM manejan el razonamiento jurídico, y los resultados eran peores de lo que esperaba. Investigadores de Stanford han documentado tasas de alucinación de entre el 69% y el 88% cuando modelos de última generación responden a consultas jurídicas específicas. No son casos aislados. Este es el punto de partida. Y el sector de los seguros se apresura a implementar estos sistemas para decidir quién paga cuando chocan tu coche.

Voy a explicarte por qué eso es peligroso, y qué estamos construyendo en su lugar.

La noche en que ganó el conductor verboso

Antes de entrar en la arquitectura y los motores de lógica, déjame contarte un experimento que radicalizó mi forma de pensar.

Diseñamos una prueba sencilla. Dos relatos que describían la misma colisión en un cruce, escritos desde la perspectiva de cada conductor. El Conductor A claramente se había saltado una señal de stop —el informe policial lo confirmaba, el testigo lo confirmaba, el patrón de daños lo confirmaba—. Caso cerrado.

Pero al Conductor A le dimos un relato de 500 palabras. Detalles vívidos sobre el clima, el reflejo del sol, la «aceleración agresiva» del otro coche. Vocabulario sofisticado. Textura emocional.

El Conductor B recibió 50 palabras: «Me detuve en el cruce. Comprobé si venía tráfico transversal. Avancé. El Conductor A golpeó el lado de mi acompañante».

Introdujimos ambos relatos en tres LLM importantes y le pedimos a cada uno que evaluara la responsabilidad.

Dos de cada tres otorgaron al Conductor A —el que se saltó la señal de stop— un reparto de responsabilidad más favorable. No porque los hechos lo respaldaran, sino porque el Conductor A contó una mejor historia.

Recuerdo estar sentado en nuestra oficina pasada la medianoche, mirando fijamente esos resultados. Mi cofundador se acercó, miró la pantalla y dijo: «Así que estamos construyendo justicia para los elocuentes». Esa frase se me quedó grabada. Es exactamente lo que hacen estos sistemas.

Los investigadores llaman a esto sesgo de verbosidad —la tendencia documentada de los LLM a otorgar puntuaciones de confianza más altas a respuestas más largas y detalladas, incluso cuando el contenido factual es equivalente o inferior al de alternativas concisas—. El modelo confunde la densidad de tokens con la densidad de pruebas. Confunde la elocuencia con la verdad.

Cuando un sistema de IA penaliza la brevedad y premia la floritura retórica, discrimina estructuralmente a cualquiera que tenga menos formación, sea menos elocuente o simplemente más honesto.

Piensa en quién sale perjudicado por esto. El conductor mayor que da un relato directo. La persona que no habla inglés como lengua materna. Quien simplemente dice la verdad sin adornos. Estas son las personas a las que un sistema automatizado de responsabilidad debería proteger y, en cambio, está fallando sistemáticamente en su contra.

¿Por qué tu IA está de acuerdo con todo lo que le dices?

El sesgo de verbosidad no fue el único modo de fallo que encontramos. Hay algo posiblemente peor: la adulación.

Los LLM se entrenan mediante un proceso llamado aprendizaje por refuerzo a partir de retroalimentación humana —RLHF, por sus siglas en inglés—, que recompensa la «utilidad» y la «amabilidad». Esto está bien cuando pides una receta. Es catastrófico cuando pides un juicio jurídico.

Lo comprobamos enmarcando el mismo informe policial con distintos prompts tendenciosos. «Analiza este informe para determinar si el reclamante iba con exceso de velocidad» frente a «Analiza este informe para determinar si el reclamante tenía preferencia de paso». Los mismos datos. Un encuadre distinto. El modelo inclinaba de forma sistemática su análisis hacia la hipótesis que insinuaba el prompt.

Uno de mis ingenieros lo llamó «sesgo de confirmación como servicio», y desde entonces no he podido pensar en ello de otra manera.

En un entorno real de reclamaciones, un perito podría enmarcar inconscientemente una consulta a partir de su lectura inicial de la situación. El modelo capta ese encuadre y lo amplifica. Las investigaciones muestran que esto ocurre en dos variantes: la adulación progresiva, en la que el modelo ajusta su razonamiento para llegar a la conclusión que deseas, y la adulación regresiva, en la que abandona información correcta para coincidir con una objeción incorrecta. En cualquier caso, no obtienes un árbitro imparcial. Obtienes una cámara de eco.

¿Qué ocurre cuando la IA interpreta mal la ley?

Necesito hablarte del problema de las leyes, porque es el que me quita el sueño.

Los LLM no «conocen» las normas de tráfico. Han ingerido texto que incluye normas de tráfico y predicen secuencias de tokens que parecen razonamiento jurídico. La distinción importa enormemente.

Encontramos un caso en el que un modelo citó una regla de preferencia de «el primero en llegar» —habitual en los cruces con stop en las cuatro direcciones— y la aplicó a un cruce en T, donde el tráfico que circula de frente tiene preferencia absoluta. El modelo no señaló la incongruencia. Simplemente generó un párrafo seguro y bien estructurado que aplicaba la ley equivocada a la situación equivocada.

Una IA que inventa una ley y la aplica con seguridad no está cometiendo un error. Está fabricando injusticia a escala.

Esto es lo que los investigadores llaman alucinación jurídica, y adopta dos formas. La alucinación factual: el modelo infiere detalles que no están presentes en el texto de origen para crear una narrativa coherente. Al leer «daños graves en la parte delantera», podría concluir que el vehículo iba con exceso de velocidad, pese a no haber mediciones de marcas de frenado ni telemetría. Y la alucinación jurídica propiamente dicha: el modelo interpreta mal, aplica mal o directamente inventa códigos de circulación y jurisprudencia.

Una decisión de seguro basada en una versión alucinada del artículo § 21802 del Código de Vehículos de California expone a la aseguradora a litigios por mala fe y sanciones regulatorias. Y el asegurado —el ser humano real— recibe un veredicto erróneo emitido con la autoridad de la «IA».

Escribí sobre estos modos de fallo en profundidad en la versión interactiva de nuestra investigación, por si quieres ver toda la base de evidencia. Pero la versión resumida es: los LLM son lingüísticamente brillantes y lógicamente defectuosos, y les estamos pidiendo que hagan lógica.

La discusión que cambió nuestra arquitectura

Hubo una discusión concreta dentro de nuestro equipo que dio forma a todo lo que construimos después.

Debatíamos si construir una mejor canalización de RAG: recuperar las leyes pertinentes, introducirlas en el LLM, restringir su salida. El enfoque de «hacer más inteligente al LLM». La mitad del equipo estaba convencida de que ese era el camino pragmático. Lanzar más rápido, iterar, mejorar la calidad de la recuperación con el tiempo.

Yo estaba en el otro bando, y estaba perdiendo la discusión hasta que nuestro asesor jurídico hizo una pregunta que silenció la sala: «Si dos testigos no coinciden en si el semáforo estaba en rojo o en verde, ¿qué hace tu sistema?».

El equipo de RAG se detuvo. Un LLM con contexto recuperado haría lo que los LLM hacen siempre: elegir la narrativa que se siente más coherente, probablemente la más larga, y generar una resolución. Alucinaría un consenso.

«Debería mantener el conflicto», dije. «Debería decir: este es un hecho en disputa, y no puedo resolverlo sin pruebas adicionales».

Eso no es algo que haga un modelo de lenguaje. Los modelos de lenguaje resuelven. Completan. Generan el siguiente token plausible. Mantener una contradicción sin resolver y señalarla como una laguna requiere un tipo de sistema fundamentalmente distinto.

Ese fue el día en que nos comprometimos con los grafos de conocimiento.

¿Cómo se convierte un informe policial en un grafo?

Lo que construimos en Veriprajna se llama Reconstrucción de Eventos con Grafos de Conocimiento —KGER, por sus siglas en inglés—. La idea central es engañosamente simple: dejar de pedirle a la IA que juzgue y empezar a pedirle que reconstruya.

Un informe policial es texto no estructurado. Contiene entidades —conductores, vehículos, vías, señales de tráfico, testigos— y relaciones entre ellas. El Vehículo A circulaba hacia el norte por Main Street. El Vehículo B se saltó la señal de stop en la 4th Avenue. El semáforo estaba en verde. Llovía.

Usamos el LLM como un extractor semántico —un administrativo muy sofisticado—. Su tarea es leer el texto no estructurado y extraer entidades y relaciones, asignándolas a una ontología estricta que hemos definido. Nuestra ontología abarca más de 110 tipos de entidades y relaciones: agentes, objetos, infraestructura, eventos, condiciones, mediciones.

El LLM no decide quién tiene la culpa. Cataloga actores y acciones. Y como su salida está restringida a un esquema predefinido, podemos validar todo lo que produce. Si extrae una «señal de stop» donde nuestra base de datos cartográfica indica que no existe ninguna, el sistema señala un conflicto en lugar de aceptar silenciosamente la alucinación.

Una vez extraídas, estas entidades se convierten en nodos en un grafo de conocimiento. Las relaciones se convierten en aristas. Vehicle_A → TRAVELING_ON → Main_Street. Vehicle_B → VIOLATED → Stop_Sign_1. Witness_A → OBSERVED → Light_State_Green.

La narrativa subjetiva es ahora una topología objetiva. Y una vez que tienes una topología, la culpa se convierte en una cuestión de recorrido de grafos y coincidencia de patrones, no de análisis de sentimiento.

¿Se pueden convertir las normas de tráfico en código?

Esta es la parte que me entusiasma de verdad, y es la parte que la mayoría de la gente cree imposible.

Las normas de tráfico están escritas en lenguaje natural, llenas de términos vagos como «peligro inmediato» y «distancia de seguridad». Los tribunales las interpretan mediante precedentes y criterio. ¿Cómo haces que eso sea ejecutable?

La respuesta es la lógica deóntica derrotable —DDL, por sus siglas en inglés—. La lógica deóntica se ocupa de obligaciones, prohibiciones y permisos. «Derrotable» significa que maneja excepciones. Esto es exactamente lo que son las normas de tráfico: un conjunto de normas con excepciones estructuradas.

Tomemos el artículo § 21802 del Código de Vehículos de California, la regla de la señal de stop. En lenguaje natural: «El conductor de cualquier vehículo que se aproxime a una señal de stop deberá detenerse... El conductor deberá entonces ceder el paso a todos los vehículos que se hayan aproximado desde otra vía».

En nuestro sistema, esto se convierte en lógica ejecutable:

Regla 1 — Obligación de detenerse: Si un vehículo se aproxima a un cruce con una señal de stop, el conductor está obligado a reducir la velocidad a cero en la línea de detención. Si la velocidad es mayor que cero al entrar en el cruce, eso es una infracción.

Regla 2 — Obligación de ceder el paso: Si el conductor se ha detenido pero otro vehículo está en el cruce o aproximándose a él, el conductor debe esperar. Si entra mientras el otro vehículo está presente y se produce una colisión, eso es una infracción por no ceder el paso.

Regla 3 — Excepción: Si un agente de policía dirige el tráfico, sus indicaciones prevalecen sobre la señal. La excepción derrota formalmente la regla primaria.

Ahora bien, aquí es donde se vuelve potente. Contrastamos el grafo físico —la reconstrucción de la velocidad y la posición de cada vehículo a lo largo del tiempo— con esta plantilla lógica. Si el grafo muestra que el Vehículo A entró en el cruce mientras el Vehículo B estaba presente, el motor de lógica activa una infracción por no ceder el paso. Eso es un hecho calculado, no una opinión.

No le preguntamos a la IA «¿Fue peligroso?». Calculamos el peligro a partir de la física y aplicamos la ley a partir de la lógica. La ambigüedad desaparece.

Para términos vagos como «peligro inmediato», los anclamos en la física. Definimos Immediate_Hazard como un tiempo hasta la colisión inferior a 3.0 segundos, o una distancia menor que la distancia de frenado a la velocidad actual. El grafo calcula el TTC a partir de los nodos de velocidad y distancia. Si el TTC está por debajo del umbral, el nodo de peligro se activa y se dispara la regla correspondiente. No se necesita ninguna interpretación.

Para el desglose técnico completo de nuestro proceso de formalización y nuestra arquitectura, consulta nuestro artículo de investigación.

El contrafactual que demuestra la causalidad

La culpa no consiste solo en infringir una norma. Consiste en la causalidad. Un conductor podría tener el carné caducado —eso es una infracción—, pero si le dieron un alcance por detrás mientras estaba detenido en un semáforo en rojo, el carné caducado no causó el accidente.

Aquí es donde la mayoría de los sistemas de IA se desmoronan. Los LLM no pueden razonar de forma contrafactual. No pueden preguntarse: «¿Habría ocurrido esta colisión si el Vehículo A se hubiera detenido en la señal?». Solo pueden predecir qué frase viene a continuación en una narrativa de accidente.

Nuestro sistema construye lo que llamamos grafos de conocimiento causal. Para comprobar la causalidad, creamos una rama contrafactual: modificamos la velocidad del Vehículo A a cero en la línea de detención y ejecutamos la simulación física hacia delante a través de la capa temporal. Si el nodo de colisión desaparece en el grafo contrafactual, la infracción es la causa próxima.

Esta es la diferencia entre «iba con exceso de velocidad y chocó» (correlación) y «el exceso de velocidad causó el choque» (causalidad). En un choque en cadena de varios vehículos, esto importa enormemente. Puedes rastrear cadenas causales a través del grafo, medir lo que llamamos «centralidad de la culpa» —cuán centrales son las infracciones de cada actor para el evento de la colisión— y producir un reparto comparativo de la culpa fundamentado matemáticamente. No 60/40 porque al modelo le dio la gana. 80/20 porque la topología lo demuestra.

¿Por qué no basta con hacer que los LLM sean más precisos?

La gente me pregunta esto constantemente. «Ajusta el modelo con normas de tráfico. Usa mejores prompts. Añade guardrails». Entiendo el impulso. Los LLM son fáciles de implementar, y las salidas parecen impresionantes.

Pero el problema no es la precisión en el sentido tradicional. El problema es arquitectónico. Un generador probabilístico de texto nunca será determinista. Ejecútalo cien veces sobre la misma entrada y obtendrás variación. En un ámbito donde los mismos hechos deben producir el mismo veredicto siempre —donde un vaivén de diez puntos en la responsabilidad significa miles de dólares cambiando de manos—, la estocasticidad no es un fallo que parchear. Es un factor descalificador fundamental.

Nuestro motor de grafos produce exactamente la misma determinación de responsabilidad sobre exactamente la misma entrada, todas y cada una de las veces. Eso no es un lujo prescindible. Para el cumplimiento normativo, para la defendibilidad jurídica, para la equidad básica, es el requisito mínimo.

La otra objeción que oigo: «Esto suena caro y complejo comparado con una llamada a una API». Sí es más complejo de construir. Pero considera el coste de equivocarse. La fuga en las reclamaciones —pagar más de lo que deberías por una responsabilidad inexacta— es una partida enorme para las aseguradoras. Un sistema probabilístico que sugiere 50/50 porque las narrativas son confusas, cuando la lógica determinista revela un claro 100/0 basado en una infracción concreta de preferencia de paso, cuesta dinero real en cada reclamación.

Y luego está el litigio. Intenta defender ante un tribunal una decisión de responsabilidad tomada por una IA cuando el sistema no puede explicar su razonamiento y, al ejecutarlo de nuevo, produce una respuesta distinta. El rastro de auditoría de un grafo de conocimiento —«el Vehículo A infringió la Regla 21802(a) en la marca de tiempo 12:01:30, y la simulación contrafactual confirma esta infracción como causa próxima»— es algo fundamentalmente distinto para presentar ante un juez.

El sándwich, no la caja negra

Quiero dejar clara una cosa: no estoy en contra de los LLM. Nosotros usamos LLM. Son herramientas extraordinarias para procesar lenguaje no estructurado, y sería una tontería ignorarlo.

Lo que rechazo es usarlos como jueces.

Nuestra arquitectura es lo que llamamos un «sándwich». IA neuronal en el exterior, IA simbólica en el centro. La primera capa neuronal se encarga de la ingesta: OCR de los informes policiales, conversión de voz a texto del audio de los testigos, extracción de entidades a partir de datos no estructurados y desordenados. La capa simbólica intermedia construye el grafo, fusiona datos de múltiples fuentes, ejecuta el motor de lógica deóntica, realiza la simulación causal. La capa neuronal final traduce el informe estructurado de responsabilidad de vuelta a un lenguaje natural legible, estrictamente fundamentado en los hechos del grafo.

El LLM nunca decide. Lee y escribe. El grafo razona.

Pedirle a un LLM que lea un informe policial y juzgue la responsabilidad es como pedirle a un poeta que haga física. Obtendrás una respuesta hermosa, pero probablemente será ficción.

Esto es lo que el sector está empezando a llamar IA neuro-simbólica —la fusión de aprendizaje y lógica—. Kennedys IQ, una importante firma de tecnología jurídica, lanzó recientemente lo que describen como la primera solución de IA neuro-simbólica del sector de los seguros, explícitamente para eliminar la preocupación por la «caja negra». La dirección es clara. La pregunta es con qué rapidez la sigue el resto del sector.

La justicia es un grafo, no una probabilidad

Pienso en aquella demostración que presencié —esa en la que la responsabilidad se desplazaba diez puntos entre ejecuciones— más a menudo de lo que quisiera. No porque fuera un mal producto. El equipo era talentoso. La tecnología era impresionante. Pero impresionante no es lo mismo que correcto. Y en el ámbito de la culpa y la responsabilidad, «casi correcto» es incorrecto.

Cada vez que un sistema de IA asigna la culpa en función de quién contó una mejor historia, o cambia su veredicto por un ajuste de temperatura, o cita una ley que no existe, una persona real absorbe ese error. Paga una prima más alta. Pierde una disputa que debería haber ganado. Carga con una culpa que pertenece a otra persona.

Podemos hacerlo mejor. No haciendo más inteligentes a los modelos de lenguaje, sino reconociendo lo que son y lo que no son. Son brillantes con el lenguaje. Son pésimos con la justicia. La justicia exige determinismo: los mismos hechos, el mismo veredicto, siempre. Exige auditabilidad: muéstrame exactamente qué pruebas y qué ley produjeron esta conclusión. Exige la capacidad de mantener un conflicto sin resolver y decir «aún no lo sé» en lugar de generar una ficción segura de sí misma.

Estas no son funciones que le añades a un modelo de lenguaje. Son propiedades de un tipo de sistema completamente distinto. Un sistema donde los hechos son nodos inmutables, las leyes son lógica ejecutable y la culpa no se encuentra en el sentimiento de una narrativa, sino en la topología de lo que realmente ocurrió.

La justicia es un grafo. Es hora de que empecemos a construirla de esa manera.