Le di a un chatbot gubernamental la ley exacta. Aun así les dijo a los arrendadores que la infringieran.
En marzo de 2024, un periodista de The Markup le hizo al chatbot oficial de la ciudad de Nueva York una pregunta sencilla: ¿puede un arrendador rechazar a un inquilino con un vale de la Sección 8?
El bot —MyCity, activo en un dominio .gov, entrenado con más de 2.000 páginas web municipales y funcionando sobre la IA Azure de Microsoft— dijo que sí. Los arrendadores no necesitan aceptar los vales, explicó, servicialmente.
Esa respuesta es ilegal. La Ley de Derechos Humanos de Nueva York prohíbe la discriminación por fuente de ingresos desde 2008, con multas que alcanzan los 250.000 dólares. El chatbot no matizó, no hizo ninguna advertencia, no dijo «consulte a un abogado». Dio una respuesta segura, fluida y equivocada, y lo hizo luciendo el sello de la Ciudad de Nueva York.
Pasé un sábado de aquella primavera leyendo la investigación de The Markup con el Código Administrativo de Nueva York abierto en otra pestaña, comparando lo que decía el bot con lo que decía la ley, línea por línea. Ahí fue donde empezó, para mí, la idea detrás de una IA gubernamental que cita la ley en lugar de inventarla —no en una presentación de estrategia, sino en la brecha entre una captura de pantalla y una ley. El bot no estaba confundido. Funcionaba exactamente como fue diseñado. Y el diseño era el problema.
El chatbot que le dijo a los neoyorquinos que infringieran cuatro leyes distintas
MyCity no se equivocó en una sola cosa. The Markup documentó un patrón que atravesaba la maquinaria básica de la vida urbana.
Les dijo a los dueños de negocios que podían quedarse con una parte de las propinas de sus empleados —ilegal según la Ley de Normas Laborales Justas y la Ley Laboral de Nueva York, el tipo de cosa que acaba en demandas por robo de salarios y daños liquidados—. Les dijo a las tiendas que podían dejar de aceptar efectivo y rechazar el dinero en papel, algo que el Código Administrativo de Nueva York § 20-840 prohíbe específicamente para proteger a los residentes sin cuenta bancaria. Les dijo a los arrendadores que podían dejar a los inquilinos fuera de sus viviendas, lo que constituye un delito penal tras treinta días de ocupación.
Cada respuesta era ilegal. Cada respuesta llevaba el sello de aprobación de la ciudad.
La respuesta de la ciudad fue añadir advertencias. Pero el bot seguía ignorándolas alegremente en su propio texto: en un momento le dijo a un usuario: «Sí, puedes usar este bot para obtener asesoramiento empresarial profesional». El alcalde entrante, Zohran Mamdani, calificó más tarde la herramienta de «funcionalmente inutilizable» y tomó medidas para retirarla. Para entonces, el programa le había costado a la ciudad unos 500.000 dólares, una partida presupuestaria que resulta especialmente sombría frente a un déficit de 12.000 millones de dólares.
Aquí está la parte que me quitó el sueño. Nadie se propuso construir una máquina que infringiera la ley. Un equipo competente entrenó un modelo razonable con datos municipales reales y lo lanzó. El fallo estaba integrado en la arquitectura que eligieron, y casi todos los gobiernos que despliegan un chatbot hoy están eligiendo la misma.
¿Por qué un modelo de lenguaje incumple la ley por defecto?
Hay que entender qué optimiza realmente un modelo de lenguaje grande. Es un motor de probabilidad. Hazle una pregunta y producirá la continuación estadísticamente más plausible: la respuesta que suena como el tipo de respuesta que suele seguir a ese tipo de pregunta.
Ahora piensa en lo que hay en sus datos de entrenamiento. Cuando un arrendador pregunta «¿Puedo rechazar a este inquilino?», el patrón dominante en todo internet es el derecho contractual general: los propietarios pueden elegir a quién le alquilan. Eso es cierto casi en todas partes. La disposición específica de Nueva York que prohíbe la discriminación por fuente de ingresos es una excepción local estrecha, una señal tenue ahogada por la señal amplia. El modelo recurre al patrón que ha visto diez mil veces, no a la ley que se aplica en esta manzana en particular.
Luego el aprendizaje por refuerzo lo empeora. Los chatbots modernos están ajustados para ser serviciales, lo que en la práctica significa complacientes: se inclinan a darle al usuario lo que parece querer. Un arrendador que pregunta cómo rechazar a un inquilino se lee, para el modelo, como «ayúdame a rechazar a este inquilino». Así que ayuda. Dice que sí.
Un chatbot gubernamental tiene que estar dispuesto a no ser servicial con lo que tú quieres para poder ser honesto sobre lo que dice la ley. Ese instinto es exactamente lo contrario de lo que estos modelos están entrenados para tener.
Esa es la trampa. Las cualidades que hacen encantador a un chatbot de consumo —la fluidez, la complacencia, la seguridad de tener siempre una respuesta— son las cualidades que hacen peligroso a un chatbot legal gubernamental.
¿Por qué RAG no solucionó esto?
Durante aproximadamente una semana, estuve seguro de que sabía la respuesta, y me equivoqué de una forma que me enseñó todo el problema.
La solución obvia es la generación aumentada por recuperación (RAG). En lugar de dejar que el modelo responda de memoria, primero recuperas los documentos relevantes reales y se los entregas al modelo como contexto. Dale la ley real, según el razonamiento, y dejará de inventar cosas. Construimos un piloto para demostrarlo.
Recuperó de maravilla. Yo hacía la pregunta sobre la Sección 8 y veía cómo el sistema traía al contexto la disposición exacta sobre fuente de ingresos: la ley correcta, ahí mismo, en el prompt. Y entonces el modelo la leía y aun así respondía «sí, puedes rechazar el vale». Recuerdo quedarme mirando aquello, porque era peor de lo que esperaba. La recuperación funcionaba. El razonamiento no. El modelo tenía la ley correcta delante y aun así optaba por su sesgo de entrenamiento, o malinterpretaba la disposición, o hilvanaba una respuesta plausible a partir de la combinación equivocada de pasajes recuperados.
Ese no es un fallo que hubiéramos introducido nosotros. Es el estado del arte documentado. Investigadores de Stanford probaron las herramientas comerciales de IA jurídica creadas exactamente para esto —aumentadas por recuperación, diseñadas profesionalmente— y la mejor, Lexis+ AI de LexisNexis, aun así alucinaba el 17 % de las veces. La investigación asistida por IA de Westlaw llegó al 33 %. Son herramientas que se venden a los abogados por cientos de dólares al mes, y de una de cada cinco a una de cada tres respuestas es inventada.
La recuperación mete el documento correcto en la sala. No hace nada para impedir que el modelo lo ignore.
Así que tuve que descartar la suposición con la que había empezado. RAG no es la arquitectura. RAG es un componente y, por sí solo, traslada el fallo de «el modelo no conoce la ley» a «el modelo conoce la ley y la contradice», lo cual, en un dominio gubernamental, es posiblemente el fallo más peligroso, porque ahora hay una cita justo al lado de la respuesta equivocada que la hace parecer autorizada.
La responsabilidad legal cuya letra pequeña nadie lee
Un chatbot de consumo que se equivoca el 17 % de las veces molesta a la gente. Uno gubernamental acumula exposición legal con cada respuesta.
Hay una doctrina de la que la mayoría de los tecnólogos jamás ha oído hablar y que importa enormemente aquí. Los gobiernos suelen estar protegidos frente a demandas por funciones «discrecionales»: los juicios de valor propios de gobernar. Pero cuando un gobierno da a un ciudadano un consejo específico y accionable, los tribunales lo tratan como una función propietaria, igual que la que realizaría un consultor privado. Las funciones propietarias no gozan de inmunidad soberana. Así que cuando MyCity le dijo a un dueño de negocio que podía embolsarse las propinas de sus empleados, la ciudad estaba, en efecto legal, actuando como un asesor sin licencia que da un mal consejo con calibre de negligencia profesional, sin la inmunidad que habría tenido por una decisión gubernamental real.
Y la ley corre para hacer esto explícito. El Proyecto de Ley del Senado de Nueva York S7263, que llegó al pleno del Senado el 26 de febrero de 2026, prohibiría que los chatbots den asesoramiento profesional sustantivo y crearía un derecho privado de acción, lo que significa que un ciudadano perjudicado por el consejo de un chatbot puede demandar por daños reales más los honorarios de abogado. En todo el país, los rastreadores legislativos contabilizaron 78 proyectos de ley sobre seguridad de chatbots en 27 estados de cara a 2026. Para cualquier gobierno que atienda a residentes en Europa, la Ley de IA de la UE clasifica la IA de servicio público de cara al ciudadano como de alto riesgo, con sanciones que alcanzan los 15 millones de euros o el 3 % de la facturación mundial a medida que las obligaciones entran en vigor en agosto de 2026.
Cuando un asesor me dijo al principio que simplemente ajustara GPT y lo lanzara para un piloto gubernamental, esta fue la conversación que tuvimos. «Normalmente acierta» es un estándar aceptable para un motor de recomendación de películas. En un dominio .gov, en este entorno regulatorio, un sistema que se equivoca con total seguridad una sexta parte de las veces no es una característica de producto que iterar. Es un derecho privado de acción esperando a un demandante.
La parte que todos subestiman: el propio código es un desastre
Antes de que siquiera importe cualquiera de las cuestiones del modelo, hay un problema que no aparece en las demostraciones y que hunde silenciosamente los despliegues reales: la ley no está en una base de datos.
Aprendí esto de manera visceral la primera vez que me senté con un código municipal real: un PDF con enmiendas de capítulos numeradas a mano en los márgenes, porque la versión autorizada de una ordenanza municipal es un documento que un funcionario ha estado editando durante décadas. Los códigos municipales existen en docenas de formatos incompatibles por todo el país —PDF, HTML heredado, sistemas de publicación propietarios— y, dentro de una misma ciudad, los mantienen de forma asíncrona departamentos que no se coordinan. La normativa urbanística se actualiza en un calendario, el código sanitario en otro. La «única fuente de verdad» es una ficción.
No se puede construir una IA gubernamental fiable sobre un corpus jurídico que no se haya reconstruido primero en algo sobre lo que una máquina pueda razonar de forma fiable. «Ingerir el código» es una cuarta parte de arqueología de datos antes de que el modelo vea siquiera un solo token.
Esto es también por qué el mercado existente no encaja. Microsoft Azure Government, AWS GovCloud y la nube del sector público de Google te dan infraestructura autorizada y un modelo de propósito general, pero Azure fue lo que impulsó a MyCity. El problema de las alucinaciones vive por encima de la capa de la plataforma; la nube no lo toca. Las herramientas potentes de IA jurídica, CoCounsel de Thomson Reuters y Lexis+ AI, están hechas para abogados a precios de bufete, no para un residente que hace una pregunta a las 11 de la noche. Los grandes integradores —Deloitte, con miles de millones comprometidos en IA generativa, y Accenture Federal, con miles de millones en contratos de IA— implementan esas plataformas de proveedores; no construyen arquitecturas personalizadas de decodificación restringida. Y las prometedoras startups de IA de códigos municipales son exactamente eso: prometedoras, no probadas a escala, sin un historial de contratación pública. Hay una brecha en el medio, y la brecha es donde los ciudadanos salen perjudicados.
Lo que finalmente funcionó: hacer que el sistema se gane el derecho a hablar
El replanteamiento que lo cambió todo fue decidir que el estado por defecto del sistema es el silencio, no una respuesta.
En lugar de pedirle al modelo que fuera más preciso, lo construimos de modo que físicamente no pueda emitir una afirmación legal a menos que esa afirmación esté vinculada a una disposición legal específica y recuperada. El paso de generación está restringido: cuando el sistema produce una frase sobre lo que la ley permite, esa frase tiene que llevar una cita rastreable a la sección exacta del código de la que procede, verificada contra la fuente después de la generación. Si el modelo quiere decir «puedes rechazar un vale» y no hay ninguna disposición que lo respalde —o peor, una disposición que lo contradiga—, la afirmación no pasa. El sistema dice que no puede responder eso y deriva a la persona a un humano.
Esa es toda la filosofía de lo que construimos en Veriprajna, y puedes ver la arquitectura completa en veriprajna.com/solutions/government-municipal-ai: cada respuesta se remonta a una ley específica, o el sistema se queda callado. Preferimos que responda menos preguntas y sea incapaz de infringir la ley a que responda a todo y ocasionalmente comprometa a la ciudad con una multa por discriminación de un cuarto de millón de dólares.
El orden de las operaciones importa. Primero, reconstruir el desordenado corpus municipal en una base de conocimiento estructurada y jerárquica que sepa qué disposiciones anulan a cuáles —un problema nada trivial precisamente porque esas disposiciones se enmiendan en calendarios departamentales no coordinados, así que el propio grafo de anulaciones no deja de desplazarse—. Luego recuperar sobre ella. Luego —y este es el paso que todos se saltan— restringir la generación de modo que la salida esté mecánicamente atada a lo que se recuperó, con un pase de verificación que rechace cualquier afirmación que no se sostenga. Luego mantener un registro de auditoría, para que cuando un regulador o el abogado de un demandante pregunte por qué el sistema dijo lo que dijo, haya un registro que apunte a una ley en lugar de un encogimiento de hombros sobre los pesos del modelo.
Un efecto secundario útil: un sistema que puede mostrar su cita para cada respuesta es un sistema que realmente puedes defender. El registro de auditoría no es teatro de cumplimiento normativo. Es la diferencia entre «lo dijo la IA» y «aquí está el § del que salió la respuesta».
«¿Pero eso no lo hace menos útil?»
La gente me pregunta esto constantemente, y es la pregunta correcta. Sí: un sistema con citas obligatorias responde menos preguntas de las que respondía MyCity. A veces dirá «no puedo asesorarte sobre eso» donde un bot más parlanchín habría inventado algo con gusto. Eso parece un retroceso hasta que recuerdas que cada una de las respuestas de más de MyCity era una responsabilidad legal, no un servicio.
La otra cosa que oigo tiene que ver con el reloj de la contratación pública, y es el riesgo más infravalorado de todo el sector. La IA gubernamental no vive o muere por la calidad del modelo; vive o muere por superar la autorización. Los procesos de autorización para operar de FedRAMP y StateRAMP duran de 12 a 18 meses, y la mayoría de las startups de IA no sobreviven el proceso de la ATO el tiempo suficiente para desplegarse. Construir para el gobierno significa diseñar para esa realidad desde el primer día —los controles de acceso, las garantías de separación de datos, la infraestructura de auditoría— y no añadirlos a posteriori tras un piloto. Un modelo que es brillante en una demostración y no puede superar la autorización nunca atiende a un solo ciudadano.
Y luego está la cuestión de si esto merece la pena siquiera, dado que el gobierno federal ha dado señales de que podría anticiparse al mosaico de leyes estatales sobre IA. Puede que lo haga. Pero una ciudad no puede jugarse los ingresos por propinas y los derechos de vivienda de sus residentes a lo que haga una futura orden ejecutiva. El consejo que dio MyCity era ilegal según leyes que no tienen nada que ver con la regulación de la IA: derecho laboral, derecho de la vivienda, derecho de protección al consumidor que anteceden a ChatGPT en décadas. Ninguna anticipación arregla eso.
A lo que sigo volviendo es a esa captura de pantalla de The Markup: el «sí» seguro del chatbot junto a la ley que dice que no. Un funcionario humano que no supiera una respuesta habría dicho «déjame comprobarlo» o «deberías preguntarle a un abogado». Construimos máquinas que nunca dicen eso, luego las pusimos en sitios web gubernamentales y actuamos como sorprendidos cuando aconsejaron a la gente hasta llevarla a los tribunales.
El trabajo de un gobierno, cuando un residente pregunta qué permite la ley, es acertar o ser honesto sobre no saberlo. Esas son las dos únicas salidas aceptables. Un sistema que produce una tercera opción fluida y autorizada —equivocada con total seguridad— no tiene por qué llevar el sello de una ciudad. La solución nunca fue un modelo que sonara mejor. Fue construir uno que sepa cuándo mantener la boca cerrada, que es toda la premisa de lo que construimos para la IA gubernamental y municipal.
