Una multa de $2.5 millones dejó al descubierto lo que de verdad falla en la IA para préstamos (y no es lo que crees)

Estaba sentado en mi oficina en casa, un jueves por la noche de julio de 2025, leyendo el comunicado de prensa de la Fiscalía General de Massachusetts sobre Earnest Operations, cuando sentí algo que no esperaba: alivio.

No porque un prestamista fuera multado con $2.5 millones por discriminación impulsada por IA contra prestatarios negros e hispanos. Eso era indignante. El alivio vino de otra cosa: de la especificidad de los cargos. La Fiscalía no se limitó a decir "tu IA está sesgada". Nombró la variable exacta. Rastreó el mecanismo exacto. Mostró, con un detalle minucioso, cómo un dato aparentemente neutral —la Tasa de Impago por Cohorte (Cohort Default Rate) de la universidad del prestatario— se convirtió en un canal de discriminación racial incrustada en el código.

Durante años, mi equipo en Veriprajna y yo hemos sostenido que la forma en que la mayoría de las fintechs implementan la IA en los préstamos está arquitectónicamente rota. No solo es éticamente cuestionable: es estructuralmente incapaz de ser justa. El acuerdo de Earnest fue la primera gran acción de aplicación de la ley que nos dio la razón en el lenguaje que los reguladores usan de verdad.

Y no será la última.

La variable que parecía inocente

Esto es lo que hizo Earnest, y quiero que te detengas en ello, porque es más sutil que "el algoritmo era racista".

Earnest construyó un modelo de refinanciación de préstamos estudiantiles impulsado por IA. Una de las entradas era la Tasa de Impago por Cohorte, o CDR: una métrica que registra con qué frecuencia los graduados de una escuela concreta incumplen sus préstamos federales. Sobre el papel, parece razonable. Las escuelas con tasas de impago altas podrían producir prestatarios que tengan dificultades para devolver el dinero. ¿Por qué no ibas a tenerlo en cuenta?

Porque la CDR no mide la solvencia individual. Mide resultados institucionales. Y esos resultados están moldeados por décadas de infrafinanciación sistémica, brechas de riqueza intergeneracionales y segregación racial en la educación superior. Las universidades históricamente negras (HBCU) arrastran CDR más altas no porque sus graduados sean menos capaces, sino porque el sistema les dio a esas instituciones —y a sus estudiantes— menos con lo que trabajar.

Cuando penalizas a una persona por el historial estadístico de su institución, no estás prediciendo el riesgo. Lo estás perpetuando.

La Fiscalía General de Massachusetts alegó que el poder predictivo de la CDR no provenía de ninguna señal sobre el prestatario, sino de su correlación con la raza y la clase socioeconómica. Un graduado negro de una HBCU con un crédito impecable, ingresos sólidos y cero pagos atrasados obtendría una puntuación más baja que un graduado blanco de una universidad estatal bien financiada, por dónde estudió, no por lo que hizo después.

Recuerdo abrir los documentos del acuerdo y leérselos en voz alta a mi cofundadora por teléfono. "También tenían reglas eliminatorias", le dije. "Puertas codificadas a fuego que denegaban automáticamente a cualquiera que no tuviera al menos una green card". Hubo una larga pausa. "Así que el sesgo estaba en la arquitectura desde el principio", dijo. Sí. Desde la primerísima línea del árbol de decisión.

¿Por qué nadie lo detectó?

Esta es la parte que me mantuvo despierto aquella noche. Earnest tenía políticas internas. Tenía requisitos de supervisión de modelos. Tenía procesos de revisión sénior para las excepciones.

Nada de eso funcionó.

La investigación reveló que los analistas de riesgos se saltaban rutinariamente el modelo o aplicaban criterios arbitrarios sin documentación. La salvaguarda del humano en el circuito —eso a lo que apunta toda empresa de IA cuando los reguladores llaman a la puerta— era puro teatro. No había un registro consistente. No había revisión independiente. No había una traza de auditoría que pudiera decirte por qué se produjo una anulación concreta.

He visto este patrón tantas veces que internamente le pusimos un nombre: cosplay de gobernanza. La institución tiene todas las políticas correctas sobre el papel. El organigrama muestra un equipo de cumplimiento. La presentación al consejo menciona la "IA responsable". Pero cuando abres el capó, no hay ningún mecanismo que conecte la política con el código. El algoritmo corre en un universo; el marco de gobernanza existe en otro.

El caso Earnest lo dejó explícito. Tanto el sesgo algorítmico como el sesgo humano sin supervisión coexistían en el mismo sistema, lo que lo hacía —como escribí en nuestro análisis interactivo del caso— fundamentalmente imposible de auditar y defender.

¿Qué pasa cuando la disparidad es de 29 puntos porcentuales?

Si Earnest fue el caso bisturí —preciso, a nivel de variable, rastreable—, Navy Federal Credit Union es el mazo.

En 2022, Navy Federal, la mayor cooperativa de crédito de Estados Unidos, aprobó aproximadamente el 77% de las solicitudes de hipotecas convencionales de solicitantes blancos. ¿Y de los solicitantes negros? El 48.5%. Eso es una brecha de casi 29 puntos porcentuales: la más amplia de todos los 50 mayores prestamistas hipotecarios del país.

La defensa de Navy Federal era predecible: "Los datos públicos de la HMDA no incluyen las puntuaciones de crédito ni el efectivo disponible. No se pueden sacar conclusiones sin la imagen completa". Es la misma defensa a la que recurre toda institución. Y podría haber funcionado hace una década.

Esta vez no funcionó. Cuando investigadores independientes controlaron más de una docena de variables —ingresos, ratio deuda-ingresos, valor de la propiedad, características del vecindario—, los solicitantes negros seguían teniendo más del doble de probabilidades de ser rechazados que los solicitantes blancos con perfiles idénticos.

Recuerdo presentar estas cifras en una conferencia de fintech el año pasado. Un asistente —vicepresidente de riesgos de un prestamista mediano— levantó la mano y dijo: "Pero quizá haya algo en los datos que no estamos viendo. Algún factor legítimo". Le pregunté: "Si tu modelo produce una brecha racial de 29 puntos que persiste después de controlar todas las variables que puedas nombrar, ¿en qué momento dejas de buscar explicaciones inocentes y empiezas a mirar al modelo?".

No tuvo respuesta. La mayor parte del sector tampoco la tiene.

En mayo de 2024, un juez federal dictaminó que las demandas por impacto dispar contra Navy Federal podían avanzar a la fase de descubrimiento de pruebas. Eso significa que los demandantes podrán examinar la lógica interna del algoritmo de suscripción de la cooperativa. La era del "nuestro modelo es propietario y demasiado complejo de explicar" se acabó.

La disparidad estadística por sí sola basta ahora para sobrevivir a una moción de desestimación. La carga se ha desplazado: demuestra que tu proceso es justo, o enfréntate al descubrimiento de pruebas.

¿Por qué los wrappers de LLM siguen suspendiendo la prueba de equidad?

Aquí es donde necesito ser franco sobre algo que mucha gente en la IA no quiere oír.

La arquitectura dominante en la IA para fintech ahora mismo —lo que yo llamo el modelo "wrapper" o envoltorio— es estructuralmente incapaz de cumplir los estándares regulatorios que ya existen, no digamos los que llegan en 2026.

Un wrapper toma tus datos, los pasa a un gran modelo de lenguaje de terceros como GPT-4 o Gemini, y devuelve una salida. Es rápido de construir. Queda precioso en una demo. Y es una bomba de relojería de cumplimiento.

Los LLM predicen el siguiente token de una secuencia. No recuperan hechos. No hacen cálculos actuariales. No razonan sobre la causalidad. Cuando le pides a un LLM que evalúe una solicitud de préstamo, genera un texto que suena como una evaluación crediticia. Pero puede fabricar una justificación de denegación que no tiene ninguna base en el expediente real del solicitante. El sector lo llama alucinación. Los reguladores lo llaman infracción.

La CFPB ha sido inequívoca: los acreedores deben proporcionar "razones precisas y específicas" para las acciones adversas. No puedes decirle a un solicitante rechazado "lo decidió el algoritmo" ni citar una categoría vaga como "historial de compras" cuando el detonante real fue un dato no tradicional al que se aferró el modelo. "Lo decidió el algoritmo" no es una afirmación legalmente defendible: la Oficina lo ha dicho explícitamente.

Y hay un problema más profundo. Los LLM se entrenan con internet. Internet está saturado de sesgos históricos: raciales, de género, socioeconómicos. Cuando tu wrapper usa un LLM para "evaluar" el historial laboral o el relato de un prestatario, el modelo puede aplicar estereotipos incrustados en sus datos de entrenamiento. Ciertas nacionalidades, ciertas profesiones, ciertos códigos postales llevan un peso invisible en el espacio latente del modelo. No porque nadie programara el sesgo. Porque los datos de entrenamiento son el sesgo.

Discutí sobre esto con un inversor al principio. Dijo: "Usa GPT con un buen prompt y ya está. Lo estás complicando de más". Abrí una demo en la que pasábamos la misma solicitud de préstamo por un wrapper con dos versiones: una con un nombre que se leía como blanco y otra con un nombre que se leía como negro. Las salidas no eran idénticas. El tono cambiaba. El lenguaje de riesgo cambiaba. No de forma dramática. Sutilmente. El tipo de sutileza que, escalada a millones de decisiones, produce una brecha de 29 puntos.

Dejó de discutir.

¿Qué significa realmente "Deep AI"?

Uso el término "Deep AI" no como marketing —aunque entiendo el escepticismo—, sino como una distinción técnica frente a lo que construye la mayor parte del sector.

Un sistema de Deep AI para préstamos no llama a un único modelo y devuelve una respuesta. Es una arquitectura multicapa en la que distintos tipos de inteligencia se ocupan de distintos tipos de decisiones, y cada capa es auditable.

Los motores de reglas deterministas se ocupan de las cosas que deben ser 100% correctas: requisitos de residencia, umbrales regulatorios, comprobaciones estrictas de cumplimiento. No son probabilísticos. Son lógica. No alucinan.

Los modelos de gradient boosting como XGBoost se ocupan del scoring crediticio estructurado: el tipo de datos tabulares en los que la interpretabilidad y la estabilidad importan más que la fluidez lingüística. Estos modelos son aburridos. También son fiables, explicables y bien comprendidos por los reguladores.

Los LLM ajustados (fine-tuned) se usan, pero solo para aquello en lo que realmente son buenos: extraer entidades de documentos no estructurados, analizar declaraciones de impuestos, leer extractos bancarios. Y están anclados mediante generación aumentada por recuperación (Retrieval-Augmented Generation), lo que significa que el modelo solo puede referirse a los documentos reales del solicitante, no a las asociaciones vagas de sus datos de entrenamiento.

Por encima de todo esto se sitúa una capa de monitorización continua que rastrea la deriva del modelo, la deriva del sesgo y las tasas de alucinación en tiempo real. Cuando el Ratio de Impacto Dispar —la proporción entre las tasas de aprobación de los grupos protegidos y los de control— cae por debajo del umbral de 0.8 (la regla de los cuatro quintos que los reguladores usan como señal de alarma), el sistema alerta antes de que llegue a aparecer una queja humana.

Esto no es aspiracional. Lo construimos porque la alternativa —el wrapper, la caja negra, el cosplay de gobernanza— sigue produciendo acuerdos como el de Earnest y demandas como la de Navy Federal.

¿Cómo se diseña de verdad la equidad dentro de un modelo?

Me lo preguntan constantemente, y creo que esperan que la respuesta sea sencilla. No lo es. Pero tampoco es misteriosa.

La ingeniería de equidad significa aplicar restricciones matemáticas en cada etapa del ciclo de vida del modelo. Antes del entrenamiento, examinas tus datos en busca de brechas de representación y usas técnicas como el sobremuestreo sintético para equilibrar los grupos demográficos infrarrepresentados. Durante el entrenamiento, despliegas el desesgo adversarial: una técnica en la que un modelo secundario intenta predecir la raza del solicitante a partir de la salida del modelo primario. Si lo consigue, el modelo primario está filtrando información protegida, y reentrenas hasta que el adversario falle.

Después del entrenamiento, calibras los umbrales de decisión para garantizar probabilidades igualadas (equalized odds), es decir, que el modelo sea igual de preciso en todos los grupos demográficos. No igual de indulgente. Igual de preciso. Un modelo que aprueba a todo el mundo no es justo. Un modelo que acierta en la misma proporción para todos, sí.

Y luego está la explicabilidad. Cada acción adversa que genera nuestro sistema viene acompañada de valores SHAP: un método de atribución matemáticamente riguroso que te dice exactamente qué características impulsaron la decisión, y en qué medida. Generamos explicaciones contrafactuales en tiempo real: "Si tu utilización de crédito fuera un 15% menor, o tus ingresos $5,000 mayores, este préstamo se habría aprobado". Eso no es una cortesía. Bajo la guía actual de la CFPB, se está acercando a ser un requisito.

La IA justa no es un modelo que evita decir cosas ofensivas. Es un sistema en el que cada decisión puede descomponerse, cuestionarse y defenderse con matemáticas.

Para el desglose técnico completo de nuestro pipeline y nuestra arquitectura de ingeniería de equidad, he publicado un artículo de investigación detallado que profundiza más de lo que puedo hacerlo aquí.

Los muros regulatorios se están cerrando

Déjame esbozar el panorama para quien crea que tiene tiempo.

La guía de la CFPB de 2023 y 2025 sobre las notificaciones de acción adversa tiene dientes. La SR 11-7 —el estándar de gestión del riesgo de modelos de la Reserva Federal— exige ahora solidez conceptual documentada, validación independiente por parte de equipos sin ninguna conexión con el desarrollo, y análisis de resultados periódicos. El NIST AI Risk Management Framework 2.0, publicado en 2025, introdujo el concepto de "lista de materiales de IA" (AI Bill of Materials): un inventario completo de cada fuente de datos, cada modelo (incluidas las API de terceros) y cada interacción entre componentes.

Esto no es una guía que puedas ignorar. Un juez federal acaba de permitir el descubrimiento de pruebas sobre el algoritmo de Navy Federal. La Fiscalía General de Massachusetts no se limitó a multar a Earnest: le exigió a la empresa revisar a fondo la gobernanza de su modelo, implementar una validación independiente y someterse a monitorización continua.

El mensaje es claro: si no puedes explicar tu modelo, no puedes defenderlo. Y si no puedes defenderlo, pagarás: en acuerdos, en costes de litigio, en daño reputacional y en la erosión de la confianza de las comunidades a las que dices servir.

Por qué la "búsqueda de alternativas" es el requisito para el que nadie está preparado

Hay un concepto regulatorio que, en mi opinión, remodelará el sector más que ningún otro, y de él casi nadie está hablando.

Bajo la ley actual de préstamos justos, no basta con demostrar que tu modelo es preciso. Debes buscar activamente alternativas menos discriminatorias —modelos que logren un rendimiento predictivo comparable con una brecha de disparidad menor—. Si un demandante puede demostrar que tal alternativa existía y no la usaste, tu modelo suspende la prueba legal con independencia de su precisión.

Piensa en lo que eso significa a nivel operativo. No puedes limitarte a construir un modelo, probarlo en busca de sesgos y lanzarlo. Necesitas entrenar múltiples configuraciones —distintos conjuntos de características, distintos algoritmos, distintas calibraciones de umbrales— y documentar por qué elegiste la que elegiste. Necesitas pruebas de que buscaste una opción más justa y de que, o bien la encontraste (y la adoptaste), o bien demostraste que no existía ninguna alternativa materialmente menos discriminatoria.

Pasamos tres meses construyendo nuestro pipeline de búsqueda de LDA. Tres meses en los que mi equipo de ingeniería no paraba de preguntar: "¿No lo estaremos pensando demasiado?". Y entonces cayó el acuerdo de Earnest, y la Fiscalía citó específicamente el fracaso de la empresa a la hora de buscar alternativas. No lo estábamos pensando demasiado. El sector lo estaba pensando demasiado poco.

La lección de Earnest que a casi todos se les escapa

Quiero cerrar con algo que me lleva rondando desde julio.

La mayor parte de los comentarios sobre el acuerdo de Earnest se centraron en la variable CDR. Y sí, ese era el titular. Pero el fallo más profundo no fue una mala variable. Fue la ausencia de una arquitectura que hubiera detectado la mala variable antes de que llegara a producción.

Earnest no tenía validación independiente de modelos. No tenía pruebas sistemáticas de variables proxy. No tenía un registro auditable de las anulaciones humanas. No tenía monitorización continua del sesgo. Tenía un modelo, un documento de política y una brecha entre ambos lo bastante ancha como para meter por ella una demanda colectiva.

Los $2.5 millones no fueron el coste del sesgo. Fueron el coste de construir IA sin la infraestructura necesaria para saber cuándo existe el sesgo.

Esa es la distinción a la que sigo volviendo. La pregunta no es "¿está sesgada tu IA?" —todo modelo entrenado con datos históricos lleva las huellas de la desigualdad histórica—. La pregunta es: ¿tienes la arquitectura para detectarlo, medirlo, explicarlo y corregirlo antes de que un regulador lo haga por ti?

La mayoría de los prestamistas, si son honestos, responderían que no.

Construimos Veriprajna porque creemos que la respuesta tiene que ser sí, no como una aspiración, sino como una propiedad estructural del propio sistema. La equidad no es una funcionalidad que atornillas después del lanzamiento. Es un muro de carga. Quítalo, y todo el edificio se viene abajo.

La primera ola de la IA en los préstamos se definió por la velocidad y la escala. La segunda ola se definirá por si tu sistema puede sobrevivir a una citación judicial. Yo sé para cuál estoy construyendo.