El algoritmo que se tragó una ciudad: lo que el colapso de la vigilancia policial predictiva me enseñó sobre construir una IA que merezca confianza

Estaba sentado en una sala de conferencias a finales de 2023, viendo cómo un posible cliente hacía una demostración de su herramienta interna de IA: un chatbot que habían montado para ayudar a su equipo de cumplimiento a señalar riesgos en documentos financieros. La interfaz era pulida. Las respuestas eran rápidas. Y aproximadamente una de cada cuatro respuestas estaba, con total seguridad y peligrosamente, equivocada.

Cuando señalé una alucinación —el modelo había inventado una cita normativa que no existía—, el vicepresidente de Ingeniería se encogió de hombros. «Sí, ya lo sabemos. Esperamos que la próxima actualización del modelo lo arregle.»

Ese momento cristalizó algo en lo que llevaba meses pensando. El mundo empresarial caminaba sonámbulo hacia exactamente la misma trampa que ya había destruido la confianza pública en la vigilancia policial impulsada por IA en todo Estados Unidos. No porque la tecnología fuera intrínsecamente malvada, sino porque las personas que la implementaban habían confundido tener un sistema de IA con gobernar uno.

En Veriprajna, construimos soluciones profundas de IA para entornos empresariales de alto riesgo. Pero para explicar por qué las construimos como lo hacemos —con la gobernanza integrada desde el día cero, con la explicabilidad como algo innegociable, con restricciones matemáticas de equidad entretejidas en el proceso de entrenamiento—, primero necesito llevarte a un lugar incómodo. Necesito llevarte a Chicago.

El 56% de los jóvenes negros de una ciudad, marcados por una máquina

La Lista de Sujetos Estratégicos de Chicago —llamada internamente la «lista de calor»— se suponía que era el futuro de la vigilancia policial inteligente. En lugar de inundar los barrios con agentes, el algoritmo identificaría a individuos concretos con mayor probabilidad de verse involucrados en violencia armada, ya fuera como perpetradores o como víctimas. Precisión en lugar de fuerza bruta. Datos en lugar de intuición.

La lista se disparó hasta superar las 400.000 personas.

Deja que esa cifra cale por un momento. En una ciudad de 2,7 millones de habitantes, el algoritmo decidió que 400.000 personas merecían ser marcadas. Y los datos demográficos eran asombrosos: El 56% de los hombres negros de Chicago de entre 20 y 29 años terminaron en esa lista. En West Garfield Park, se marcó al 73% de los varones negros de entre 10 y 29 años. El noventa y seis por ciento de las personas que el sistema clasificó como «presuntos miembros de bandas» eran negras o latinas.

Esto es lo que me voló la cabeza cuando empecé a indagar por primera vez en los datos de la auditoría: El 57% de los objetivos prioritarios del algoritmo nunca habían sido arrestados por un delito violento. El sistema estaba incorporando faltas de bajo nivel —cosas como posesión menor de drogas o alteración del orden público— y tratándolas como señales predictivas de futura violencia armada. Estaba usando la maquinaria del exceso de vigilancia policial como prueba para justificar más vigilancia policial.

Cuando un algoritmo trata las consecuencias del sesgo como prueba de que el sesgo está justificado, no tienes un motor de predicción. Tienes una máquina de discriminación funcionando en piloto automático.

La Oficina del Inspector General de Chicago acabó documentando lo que muchas organizaciones comunitarias llevaban años denunciando a gritos: la SSL estaba sesgada por motivos raciales y era en gran medida ineficaz para reducir las tasas de homicidios. Fue clausurada a finales de 2019, pero no antes de haber enviado a agentes a realizar visitas sin previo aviso a miles de personas cuyo único «delito» era vivir en un barrio que el algoritmo había decidido que era peligroso.

¿Por qué falló el modelo de terremotos al predecir la delincuencia?

Tres mil millas al oeste, el LAPD llevaba a cabo su propio experimento. Geolitica —antes PredPol— usaba un modelo diseñado originalmente para predecir las réplicas de los terremotos. La lógica era seductora: igual que los temblores se agrupan en el espacio y en el tiempo, ciertos tipos de delitos siguen patrones espaciotemporales predecibles. Al alimentar el algoritmo con datos históricos de incidentes —ubicación, hora, tipo de delito—, generaba «casillas de puntos calientes» de 500 por 500 pies cuadrados que indicaban a los agentes dónde patrullar.

Recuerdo haber leído la documentación técnica y pensar: esto es elegante. Las matemáticas eran impecables. La interfaz era intuitiva. Y los resultados fueron catastróficos.

Una auditoría de 2019 del Inspector General del LAPD encontró «inconsistencias significativas» en la introducción de datos. Los agentes registraban el tiempo de patrulla en las instalaciones policiales en lugar de en el terreno, contaminando los datos de puntos calientes. El sistema no podía aislar su propio impacto de las tendencias policiales más amplias. Y en jurisdicciones comparables como Plainfield, Nueva Jersey, se documentó que la tasa de éxito de las predicciones era inferior al 1%.

Menos del uno por ciento. Lanzar una moneda al aire habría sido más útil.

Pero el problema más profundo no era la precisión, sino el bucle de retroalimentación. Cuando el algoritmo marcaba un barrio predominantemente negro o latino como punto caliente, más agentes acudían allí. Más agentes significaban más controles. Más controles significaban más arrestos por infracciones menores que no se habrían sancionado en zonas más ricas y más blancas. Esos nuevos arrestos volvían a los datos de entrenamiento como «prueba» de alta criminalidad, y el algoritmo, obedientemente, intensificaba sus predicciones para ese mismo barrio.

Los datos de la Ley de Perfilamiento Racial y de Identidad de California (RIPA) lo dejaron al descubierto en cifras difíciles de rebatir: las personas negras eran paradas un 126% más de lo esperado según su proporción en la población. Los agentes realizaron 4,7 millones de paradas a vehículos y peatones en 2023. Y aquí está lo más revelador: cuando los agentes registraban a personas negras y latinas con mayor frecuencia, de forma sistemática tenían menos probabilidades de encontrar contrabando en comparación con los registros de personas blancas.

Los datos nos decían, en lenguaje estadístico llano, que el sistema estaba equivocado. Y aun así el sistema siguió funcionando.

El LAPD finalmente puso fin a su relación con Geolitica a principios de 2024. Escribí sobre las implicaciones más amplias de estos fracasos —y lo que significan para la arquitectura de IA empresarial— en la versión interactiva de nuestra investigación.

¿Qué ocurre cuando nadie puede abrir la caja negra?

Hay un término en la filosofía de la ciencia que aparecía una y otra vez en mi investigación: opacidad epistémica. Significa que el sistema es tan complejo que ni siquiera las personas que lo operan pueden entender del todo cómo llega a sus conclusiones.

La mayoría de los sistemas de vigilancia policial predictiva eran cajas negras propietarias. Los datos de entrada concretos, los factores ponderados, la lógica de las predicciones: todo oculto como secretos comerciales. Los departamentos de policía que usaban estas herramientas a menudo no podían explicar por qué se había marcado a una persona o un barrio en concreto, incluso cuando las organizaciones de libertades civiles exigían respuestas.

Esto no es solo un problema policial. Es la vulnerabilidad que define la manera en que la mayoría de las empresas están implementando la IA en este momento.

Pienso en aquel chatbot de cumplimiento cuya demostración vi. El vicepresidente de Ingeniería no podía decirme qué documentos había recuperado realmente el modelo para generar su respuesta. No podía explicar por qué había alucinado una cita normativa. No podía decirme si el sistema daría una respuesta distinta mañana si se le hiciera la misma pregunta. Y su plan era esperar a que OpenAI lanzara un modelo mejor.

Eso no es una estrategia de IA. Eso es una plegaria.

El bucle de retroalimentación descontrolado no es solo un problema policial

Aquí es donde necesito establecer la conexión que creo que a la mayoría de las personas en la IA empresarial se les escapa.

El bucle de retroalimentación que destruyó la vigilancia policial predictiva —donde las salidas sesgadas generan datos de entrenamiento sesgados, que generan más salidas sesgadas— no es exclusivo de las fuerzas del orden. Es una propiedad estructural de cualquier sistema de IA que aprende de su propio entorno operativo sin validación independiente.

Piensa en una herramienta de contratación impulsada por IA que filtra currículums. Si se entrena con datos históricos de contratación de una empresa que ha contratado predominantemente a hombres para puestos de ingeniería, aprenderá a asociar el lenguaje con connotaciones masculinas con «buenos candidatos». Rebajará la puntuación de las mujeres. La empresa contratará a menos mujeres. Esos datos de contratación se retroalimentarán en el siguiente ciclo de entrenamiento, y el sesgo se profundizará.

O piensa en un modelo de evaluación de riesgo crediticio entrenado con aprobaciones históricas de préstamos. Si los antiguos analistas de créditos tenían más probabilidades de aprobar solicitudes de ciertos códigos postales —códigos postales que resultan estar correlacionados con la raza debido a décadas de redlining—, el modelo aprenderá esos patrones. Denegará préstamos a solicitantes cualificados de esas zonas. Esas denegaciones se convertirán en datos de entrenamiento. El ciclo continúa.

Los sistemas de IA más peligrosos no son los que están evidentemente rotos. Son los que funcionan lo justo para evitar el escrutinio mientras codifican en silencio los sesgos de sus datos de entrenamiento en decisiones automatizadas a gran escala.

Por eso me frustra cuando oigo a líderes empresariales hablar de la gobernanza de la IA como algo «deseable» o una iniciativa de «fase dos». La gobernanza no es una función que se añade después del lanzamiento. Es la arquitectura en sí misma.

¿Por qué fallan los wrappers de LLM en entornos de alto riesgo?

Déjame ser directo sobre algo: la era de los simples wrappers de LLM está llegando a su fin, y la mayoría de las empresas aún no se ha dado cuenta.

Un wrapper de LLM —una fina capa de ingeniería de prompts y una interfaz agradable sobre un modelo fundacional como GPT-4 o Claude— funciona bien para redactar correos y resumir notas de reuniones. No funciona para la revisión legal, el cumplimiento financiero, el triaje médico ni ningún ámbito donde una respuesta incorrecta tenga consecuencias materiales.

Probamos esto rigurosamente en Veriprajna. En el triaje de vulnerabilidades de seguridad —un ámbito en el que necesitas distinguir entre un error menor y un exploit crítico—, un wrapper de LLM ingenuo alcanzó aproximadamente un 51% de precisión. Eso es apenas mejor que el azar. El modelo carecía de las herramientas especializadas y del conocimiento del dominio para hacer distinciones significativas. Y tenía otro problema que he empezado a llamar el fenómeno de la «indecisión»: los alineamientos de seguridad integrados en los modelos fundacionales los hacían reticentes a tomar posiciones firmes en casos ambiguos. En un contexto de triaje, la ambigüedad es todo el trabajo. Una IA que se anda con rodeos en cada caso límite no está potenciando a tu equipo, está creando más trabajo.

Nuestra arquitectura multiagente, en cambio —con agentes componibles, flujos de trabajo estructurados y bases de conocimiento específicas del dominio—, alcanzó un 89% de precisión en los mismos benchmarks. No porque usáramos un modelo «mejor», sino porque construimos un sistema en lugar de un wrapper.

Esa diferencia —51% frente a 89%— es la diferencia entre una IA que genera texto plausible y una IA que de verdad razona sobre un dominio.

¿Qué aspecto tiene realmente la equidad matemática?

Una de las cosas que he aprendido al construir Veriprajna es que la «equidad» en la IA no puede ser una simple sensación. Tiene que ser un número.

Cuando construimos sistemas para entornos de alto riesgo, definimos la equidad matemáticamente y la supervisamos de forma continua. Dos métricas son las que más importan:

La paridad demográfica pregunta: ¿es la probabilidad de un resultado positivo independiente de un atributo protegido como la raza o el género? Si tu IA de contratación aprueba al 60% de los solicitantes hombres y al 35% de las solicitantes mujeres, has suspendido esta prueba.

La igualdad de probabilidades va más allá: ¿son iguales las tasas de verdaderos positivos y de falsos positivos entre los distintos grupos? Esto importa porque un sistema podría lograr la paridad demográfica aprobando aleatoriamente más solicitudes de grupos infrarrepresentados, sin llegar a ser realmente mejor a la hora de identificar candidatos cualificados.

Ambas métricas deben supervisarse simultáneamente, y ninguna es suficiente por sí sola. Por eso nuestra estrategia de mitigación de sesgos actúa a lo largo de todo el ciclo de vida de la IA: reponderando los datos de entrenamiento antes de que el modelo llegue a verlos, incorporando restricciones de equidad directamente en el proceso de entrenamiento mediante técnicas como el desesgo adversarial, y calibrando los umbrales de decisión después del entrenamiento para garantizar resultados equitativos entre los grupos demográficos.

Sé que esto suena técnico. Pero aquí está la versión en lenguaje sencillo: si no puedes expresar tus criterios de equidad como una ecuación matemática, no tienes criterios de equidad. Tienes un comunicado de prensa.

La ola regulatoria para la que la mayoría de las empresas no están preparadas

Mientras las empresas han estado ocupadas experimentando con chatbots, los reguladores han estado ocupados redactando leyes.

Más de 40 ciudades de EE. UU. han optado por prohibir o restringir estrictamente la vigilancia policial predictiva y tecnologías de IA relacionadas como el reconocimiento facial. San Francisco fue la primera en 2019. Le siguieron Boston, Portland y Santa Cruz. En marzo de 2024, la Casa Blanca emitió una política histórica que obliga a las agencias federales a realizar pruebas independientes y evaluaciones de impacto obligatorias para cualquier sistema de IA que afecte a los derechos.

Este no es solo un problema del gobierno. La Ley de IA de la UE, el Marco de Gestión de Riesgos de IA del NIST, la ISO 42001: estos marcos están convergiendo en un único mensaje: si implementas IA en decisiones de alto riesgo, se te exigirá demostrar que es justa, explicar cómo funciona y acreditar que la supervisas de forma continua.

Las empresas que tengan una infraestructura de gobernanza implantada se adaptarán. Las que construyeron wrappers de LLM y lo llamaron una «estrategia de IA» se verán en apuros.

He visto este patrón antes, en ciberseguridad. Las empresas que trataron la seguridad como una ocurrencia tardía pasaron años tratando de ponerse al día cuando llegaron las regulaciones. Las que integraron la seguridad en su arquitectura desde el principio apenas lo notaron. La gobernanza de la IA sigue la misma trayectoria, solo que más rápido.

Para ver el desglose técnico completo de cómo alineamos nuestro marco de gobernanza con NIST, ISO 42001 y la Ley de IA de la UE, consulta nuestro documento de investigación.

«Usa GPT y ya está» y otros errores costosos

La gente me pregunta constantemente por qué las empresas no deberían simplemente usar un modelo fundacional con algo de ingeniería de prompts y darlo por terminado. La respuesta es la misma razón por la que el LAPD no debería haber usado un modelo de terremotos para predecir la delincuencia.

La herramienta no es el problema. Lo es la suposición.

La suposición es que un sistema de propósito general —ya sea un algoritmo de sismología o un gran modelo de lenguaje entrenado en internet— puede insertarse en un dominio especializado y de alto riesgo sin cambios arquitectónicos fundamentales. Sin capas de razonamiento específicas del dominio. Sin explicabilidad. Sin supervisión continua de sesgos. Sin gobernanza.

Esa suposición ya se ha puesto a prueba. En la vigilancia policial, destruyó la confianza pública, perjudicó a cientos de miles de personas y desencadenó una reacción regulatoria en todo el país. En la IA empresarial, las consecuencias se desarrollan de forma más silenciosa: en citas legales alucinadas, en decisiones de contratación sesgadas, en fallos de cumplimiento que no saldrán a la luz hasta que una auditoría o una demanda los saque a relucir.

La pregunta no es si tu IA cometerá un error. La pregunta es si sabrás cuándo lo comete y si has construido la arquitectura para detectarlo antes de que se agrave.

En Veriprajna, no empezamos con un modelo. Empezamos con los datos. Los auditamos en cuanto a calidad, accesibilidad y sesgo histórico antes de entrenar un solo parámetro. Construimos arquitecturas multiagente en las que capas de razonamiento especializadas pueden realizar investigación profunda en lugar de depender de llamadas zero-shot a un modelo de propósito general. Implementamos una validación de IA explicable para que cada decisión pueda ser rastreada, interrogada y defendida. Y supervisamos de forma continua, no solo la precisión, sino también la deriva de la equidad, porque lo que era equitativo hace seis meses puede no serlo hoy si la distribución de datos subyacente ha cambiado.

Esto no es más caro que el enfoque del wrapper. Es más barato, porque el coste de implementar un sistema de IA sin gobernanza en un entorno de alto riesgo no se mide en horas de ingeniería. Se mide en demandas, multas regulatorias, daño reputacional y el coste humano de decisiones automatizadas que nadie puede explicar ni defender.

La sala donde ocurre

Quiero terminar con un momento que se me ha quedado grabado.

Estábamos metidos de lleno en la construcción de una nueva capa de razonamiento para un cliente del sector de los servicios financieros. El equipo llevaba dos días discutiendo sobre si priorizar la precisión o la explicabilidad en un módulo concreto: una de esas discusiones en las que todos tienen técnicamente razón y la verdadera cuestión es de valores, no de ingeniería.

Mi ingeniera principal acabó diciendo algo que hizo callar a toda la sala: «Si no podemos explicar por qué este modelo le denegó un préstamo a alguien, entonces no hemos construido un sistema de IA. Hemos construido una versión más eficiente del problema que nos contrataron para resolver.»

Tenía razón. Y esa frase se ha convertido en algo parecido a un principio de diseño para todo lo que construimos.

Los fracasos de la vigilancia policial predictiva —las 400.000 personas en la lista de calor de Chicago, la precisión inferior al 1% en Plainfield, los bucles de retroalimentación que convirtieron el racismo histórico en certeza matemática— no son relatos aleccionadores de otra industria. Son el anticipo más claro posible de lo que ocurre cuando implementas IA sin la arquitectura necesaria para ganarse la confianza.

El camino a seguir no es abandonar la IA. Es dejar de tratar la gobernanza como un gasto general y empezar a tratarla como el producto. Las empresas que entiendan esto construirán sistemas que sobrevivan al escrutinio. Las que no, aprenderán la lección que aprendió el LAPD, que aprendió la Policía de Chicago, y que ese chatbot de cumplimiento acabará aprendiendo: un sistema de IA sin integridad no es una herramienta. Es un lastre con una interfaz agradable.