Los casos eran reales. Aún así no pude dejar que la IA los avalara.

La primera vez que vi cómo mi propia herramienta se negaba a avalar tres casos reales del Tribunal Supremo, estuve seguro de que estaba rota.

Estaba ejecutando un escrito de muestra que había etiquetado «Misapplied Precedent». Citaba Erie Railroad v. Tompkins, 304 U.S. 64, para la existencia de un cuerpo uniforme de common law federal, lo cual es casi lo contrario de lo que Erie realmente resolvió. Se apoyaba en Celotex Corp. v. Catrett, 477 U.S. 317, y Baker v. Carr, 369 U.S. 186, para proposiciones que las opiniones no sostienen. Cada uno de esos casos es real. Esperaba que mi comprobación de respaldo los marcara en rojo, los sellara como Sin respaldo, y cerrara el asunto. En cambio, los tres volvieron con un veredicto más callado: Requiere revisión. Mi primer impulso fue que el modelo de lenguaje había fallado en la parte fácil.

Me tomó una noche vergonzosamente larga entender que el impulso era el fallo, y estaba en mí, no en el sistema.

Un «Sin respaldo» seguro estampado sobre una lectura errónea sutil de Erie habría sido un farol. La opinión es larga, el uso indebido es cuestión de juicio jurídico, y el modelo no puede establecer la negativa a partir de un fragmento con la certeza que implica un veredicto rojo. El movimiento honesto, el que yo había construido por accidente y luego casi eliminé del código por frustración, era enviarlo a un humano con el contexto contradictorio adjunto. La abstención no era el fallo. La abstención era todo el punto. Si quieres verlo decidir por ti mismo, está aquí: veriprajna.com/es/demos/verificacion-y-gobernanza-de-citas-de-ia-juridica.

Este es un ensayo sobre la premisa con la que empecé, que casi todos los que construyen IA jurídica ahora comparten, y la forma lenta y concreta en que construir la demo la desmontó. La premisa es que el problema de la alucinación se resuelve con un modelo mejor. Ya no creo eso, y no porque dude de que los modelos mejoren.

La semana en que intenté que un modelo vigilara a otro

Pasé cerca de una semana intentando que un modelo de lenguaje fuera el juez de confianza de otro modelo de lenguaje, y quiero ser honesto: no funcionó.

El diseño parecía razonable. Algún modelo redacta un escrito, de Harvey o Lexis Protégé o un modelo de código abierto, no importa cuál. Luego un segundo modelo lee cada cita frente al caso al que apunta y dictamina si la opinión respalda la afirmación. Dos modelos, una comprobación ordenada, el tipo de arquitectura que sobrevive a una revisión de diseño. De verdad esperaba que el paso del dictamen fuera la parte fácil. Fue la parte que no se quedaba quieta.

El fallo no fue ruidoso, y por eso era peligroso. Ejecutaba el mismo escrito por la comprobación de respaldo tres veces y obtenía dos «Requiere revisión» y un aprobado confiado, sin cambio en la entrada. En la Bell Atlantic Corp. v. Twombly cita, 550 U.S. 544, un caso real, el modelo a veces decidía que la opinión establecía de lleno la proposición citada y a veces decidía que no del todo. Ambas lecturas eran defendibles. Ese era exactamente el problema. Un dictamen que no puedes reproducir no es un dictamen. Es una segunda opinión con toga.

Estaba pidiendo a un sistema probabilístico que fuera la puerta determinista de otro sistema probabilístico, y llamaba verificación al resultado.

Eso no es verificación. Eso es que dos modelos estén de acuerdo, algo más débil y mucho más escurridizo. Si la razón por la que necesitas una comprobación es que la salida del primer modelo no puede fiarse a primera vista, la salida del segundo modelo no puede ser aquello en lo que confías para comprobarlo. Había construido un laberinto de espejos y estaba a punto de ponerle una etiqueta de cumplimiento. Al tribunal del otro lado no le importa cuánta confianza tuviera cualquiera de los dos modelos. Le importa si el caso existe y si dice lo que tú afirmaste. Esas son dos preguntas, y yo las había tratado como una sola.

¿Qué es más peligroso, un caso fabricado o uno real usado mal?

Lo que me sorprendió al construir esto fue darme cuenta de que los dos fallos necesitan maquinaria completamente distinta, y la industria en su mayor parte solo entrega una de ellas.

Una cita fabricada es, curiosamente, el fallo amable. Halstead v. Ferngate Holdings, 823 U.S. 1199, aparece en uno de los escritos de muestra, citado con total fluidez para la proposición de que los daños punitivos están categóricamente prohibidos. No existe. Los United States Reports no tienen el volumen 823. Puedes probarlo con certeza, no preguntándole a un modelo qué piensa, sino consultando jurisprudencia real y obteniendo una búsqueda con cero resultados. Eso es aritmética contra una autoridad, no juicio. Es el tipo de cosa que el código debería decidir, y decidir del mismo modo cada vez.

El fallo peligroso es el caso real citado para lo equivocado. Erie es una cita real, famosa y correctamente formateada. Todo filtro de fabricación del mundo la deja pasar, precisamente porque no está fabricada. El volumen existe, la página existe, la opinión existe. Lo que está mal es la relación entre el caso citado y la frase delante de él, y esa relación es una cuestión de lectura jurídica, no de existencia. Una comprobación de coincidencia de fuentes trata «este caso es real» y «este caso respalda mi afirmación» como el mismo hecho. Ni de lejos lo son.

Así que los números que la gente cita sobre la IA jurídica empiezan a tener sentido. Incluso las herramientas hechas a propósito alucinan a tasas que deberían helarte: Westlaw Precision al 33 por ciento y Lexis+ al 17 por ciento en el estudio de Stanford RegLab publicado en el Journal of Empirical Legal Studies, 2025. A principios de 2026 había 1.222 casos judiciales documentados que involucraban citas alucinadas por IA, y los tribunales han empezado a sancionar, incluida una multa de 30.000 dólares del Sexto Circuito en marzo de 2026. Las fabricaciones son los fallos que al menos puedes imaginar detectar. La cita real pero mal aplicada es la que parece diligencia hasta que un juez lee la opinión que citaste y descubre que dice lo contrario.

Un caso fabricado es una mentira que puedes desmentir. Un caso real citado para la doctrina equivocada es una mentira que pasa todas las pruebas construidas para atrapar el primer tipo.

Por qué dividí el motor en dos

Dejé de intentar que un solo sistema hiciera ambos trabajos la noche en que acepté que eran trabajos distintos.

La comprobación de existencia y la captura de fabricaciones se convirtieron en Python determinista ejecutándose contra jurisprudencia real. Sin prompt, sin temperatura, sin «como modelo de lenguaje de IA». Toma la cita, búscala en una autoridad independiente, y si el caso está genuinamente ausente, está fabricado, de forma demostrable, y nunca puede pasar la puerta. Esa última cláusula es la única garantía que estoy dispuesto a afirmar de plano, porque es un invariante con pruebas unitarias y no una esperanza: cero citas fabricadas pueden pasar la puerta de política. Hay una prueba con exactamente ese nombre, y forma parte de las 8 de 8 que pasan en la demo construida.

La comprobación de respaldo siguió siendo un único paso de modelo de lenguaje, porque juzgar si una opinión real respalda una proposición es genuinamente una tarea de lectura, y el modelo es un buen lector. Pero le di permiso explícito para abstenerse, y dejé de tratar la abstención como un fallo. Cuando no puede fundamentar la afirmación en el texto de la opinión, la envía a un humano en lugar de adivinar. El modelo aconseja. La puerta determinista y el abogado deciden. Terminé diciendo dos cosas constantemente mientras construía esto. Una es los agentes aconsejan, el código decide. La otra es que no voy a dejar que un LLM sea el juez final de un LLM.

Quiero ser preciso sobre la división, porque la tentación es difuminarla en una promesa mayor de lo que es. Las partes deterministas —existencia, fabricación, fuera de cobertura y la puerta— son exactas y reproducibles. La comprobación de respaldo no lo es. Es no determinista, y por diseño solo aprueba una cita en verde cuando el texto de la opinión establece claramente la doctrina, como lo hace Miranda v. Arizona, 384 U.S. 436, con las advertencias de interrogatorio en custodia, y en caso contrario envía la cita a revisión. Qué citas reales concretas pasan en verde frente a cuáles se envían a un humano puede variar de una ejecución a otra. Eso no es una aspereza que esté ocultando. Es la forma honesta del problema, y fingir lo contrario es exactamente el movimiento contra el que intento construir.

Qué se permite que signifique realmente «8 de 8»

Me impongo una regla sobre los números, porque la empresa que estoy construyendo se llama Veriprajna, que significa sabiduría verdadera, y un nombre así es un desafío permanente a exagerar.

Hay números de prueba en la demo y significan cosas estrechas. 8 de 8 pruebas unitarias offline pasan, incluida la que demuestra que ninguna cita fabricada puede franquear la puerta y la que demuestra que una autoridad inalcanzable se trata como no demostrada en lugar de fabricada. Hay 20 casos reales en caché desde CourtListener como verdad local de referencia. Esos describen el alcance de la demo construida. No son una afirmación sobre tu escrito ni sobre el mundo abierto. La garantía de fabricación es autoritativa porque consulta jurisprudencia en vivo y un caso ausente es un hecho. La adjudicación de la comprobación de respaldo se demuestra a pequeña escala sobre casos reales, y no la inflaré hasta una cifra de precisión universal, porque no lo es.

Aquí está la línea que me niego a acortar, aunque una versión más corta vendería mejor. Un escrito sin citas fabricadas no está automáticamente seguro para presentar. Cuando incluso una cita real todavía necesita que un humano confirme que se usa correctamente, la puerta retiene la presentación en No listo para presentar, y hace bien en hacerlo. He visto a gente querer lo contrario, querer que un escrito de aspecto limpio gane solo una luz verde. Ese es exactamente el impulso que lleva a un abogado a ser sancionado.

Ese certificado me importa más que cualquier porcentaje de precisión, y es por eso que las piezas deterministas y no deterministas tienen que permanecer separadas. La reproducibilidad es lo que hace certificable una decisión. Puedo entregarte el recibo. Esta cita se comprobó contra CourtListener, el volumen no existe, veredicto fabricado, la puerta retiene. Puedes volver a ejecutarla y obtener el resultado idéntico. Un juez LLM, aunque sea bueno, no puede prometerte eso, y yo viví la noche de tres ejecuciones y tres respuestas distintas. No estoy construyendo un registro de cumplimiento encima de un cara o cruz.

También lo diré con claridad, porque el estándar que sostengo lo exige: esto es una capa de verificación y no una herramienta de investigación. No redacta escritos ni encuentra casos. No compite con Harvey ni Westlaw ni Lexis. Se sitúa alrededor de lo que produzcan y le dice al abogado qué es seguro presentar y exactamente qué necesita a un humano. La fundamentación en texto completo más allá del fragmento público de la opinión necesita un token gratuito de CourtListener, el conector de gestión documental en la demo es un mock, y algunas funciones como un certificado en PDF están aplazadas. Lo que es real es el mecanismo: las comprobaciones, la abstención, la puerta determinista y la pista de auditoría, todo ejecutándose contra jurisprudencia real.

¿No es la abstención solo el modelo eludiendo la decisión difícil?

Recibo alguna versión de esta pregunta en casi todas las conversaciones, normalmente de un ingeniero, y mi respuesta se ha vuelto más corta y más segura con el tiempo.

No. La abstención es la decisión difícil, tomada con honestidad, y negarse a tomarla es la verdadera elusión. La alternativa seductora es un sistema que siempre devuelve un veredicto nítido, verde o rojo, sobre cada cita. Se demuestra de maravilla. También está mintiendo, porque algunas citas genuinamente no pueden adjudicarse a partir del texto disponible con confianza, y un sistema que nunca lo dice está fabricando una certeza que no tiene. Lo más valioso que puede hacer una IA de alto riesgo es decirte dónde se agota su propio juicio. En un dominio donde equivocarse con seguridad hace que sancionen a tu cliente, un «no estoy seguro, un humano necesita mirar esto» calibrado vale más que una conjetura fluida.

Por eso creo que el trabajo sobrevive a la generación actual de modelos. La industria sigue prometiendo que el problema de la alucinación desaparecerá con el próximo modelo. Concédele todo: más contexto, entrenamiento más limpio, una tasa de fabricación más baja. Un modelo perfecto que nunca invente un caso seguirá citando alegremente uno real para una proposición que no respalda, porque desde dentro del borrador esa frase se lee como verdadera y exactamente lo que pediste. La brecha entre «este caso existe» y «este caso respalda mi afirmación» no es una brecha que cierre la escala. Es una cuestión de gobernanza, y la gobernanza es una propiedad del sistema que construyes alrededor del modelo, no una capacidad que esperas que el modelo desarrolle.

A un tribunal no le importa cuánta confianza tuviera tu modelo. Le importa si la cita existe y dice lo que afirmaste. Eso no es un problema de un modelo más grande. Es un problema de construir la capa correcta.

Los reguladores ya lo ven así, y vale la pena detenerse en ello. La ABA Formal Opinion 512 y más de 300 órdenes judiciales permanentes ahora exigen a los abogados verificar la salida de la IA antes de presentar, y menos del 20 por ciento de los bufetes tienen alguna política de uso de IA. La obligación no es «usa una herramienta más inteligente». La obligación es «demuestra que comprobaste». La prueba, la procedencia y la abstención honesta no son cosas que te dé un mejor redactor. Son cosas que te da una capa de verificación, y se sostienen a cualquier calidad de modelo, que es precisamente por qué creo que son la parte duradera.

La pregunta que me hago antes de presentar

Descubrí que lo que este desarrollo cambió en mí era más pequeño que la tesis, y ha durado más.

Dejé de preguntar si una afirmación escrita por IA es verdadera, porque a menudo puedo responder eso y resulta no ser suficiente. La Erie cita apuntaba, en un sentido estrecho, a un caso real. La pregunta más difícil, la que ahora me hago antes de que cualquier cosa redactada por IA salga de mis manos, es si puedo demostrar, ahora mismo, que esta fuente exacta respalda esta afirmación exacta, y si esa demostración sobreviviría a alguien que quisiera que fallara ante un juez.

Esa es una cuestión de gobernanza, no una cuestión de modelo. No se vuelve más fácil a medida que el modelo mejora, porque lo que se pregunta no es «¿puede el modelo escribir una frase mejor?» sino «¿puedes responder por esta?». Y la respuesta más útil que mi propio sistema me da nunca es la marca verde. Es el momento en que retiene un caso real en Requiere revisión y me obliga a mí, una persona, a ir a leer la opinión. Si quieres ver dónde aterracé, está aquí una vez más: veriprajna.com/es/demos/verificacion-y-gobernanza-de-citas-de-ia-juridica.

Y si prefieres verlo a leerme describiéndolo, aquí está todo ejecutándose de extremo a extremo, con mi voz.

Así que la pregunta con la que te dejaría es la que reorganizó todo el desarrollo. Cuando la IA te entrega algo seguro y limpio, ¿tienes una capa dispuesta a decir «no estoy seguro, un humano necesita mirar»? Porque la confianza es barata, y en el trabajo que realmente conlleva riesgo, la abstención demostrable es el producto.