El algoritmo que negó vivienda a mujeres negras, y lo que me enseñó sobre construir una IA que no puede esconderse

Estaba sentado en mi oficina en casa un martes por la noche, revisando los documentos finales del acuerdo en Louis et al. v. SafeRent Solutions, LLC, cuando un solo detalle me dejó helado.

A Mary Louis y Monica Douglas —dos mujeres negras con vales de vivienda financiados por el gobierno federal— se les habían denegado apartamentos. No por un arrendador que las miró a los ojos y dijo que no. Por una puntuación. Un número entre 200 y 800, generado por un algoritmo llamado "Registry ScorePLUS", que decidió que eran demasiado arriesgadas para darles vivienda. El algoritmo no sabía que eran negras. No le hacía falta. Solo sabía que sus historiales crediticios se parecían a los historiales crediticios de personas que habían sido excluidas sistemáticamente de los sistemas financieros durante generaciones, y a eso lo llamó "riesgo".

El acuerdo fue de 2,275 millones de dólares. La orden judicial dura cinco años. Y la sentencia contenía una frase que leí tres veces porque no podía creer que un tribunal federal la hubiera dicho de verdad: si un arrendador se basa principalmente en una puntuación de IA de un tercero para tomar decisiones de vivienda, la empresa que construyó esa puntuación comparte la responsabilidad bajo la Ley de Vivienda Justa.

Cerré el portátil y me quedé un rato sentado en la oscuridad. Porque esa sentencia no solo cambió la industria de la selección de inquilinos. Cambió todo el cálculo de lo que significa construir IA para mercados regulados. Y validó algo que mi equipo en Veriprajna llevaba años defendiendo —a veces ante inversores escépticos, a veces hasta el agotamiento—: que la forma en que la mayoría de las empresas despliegan IA en decisiones de alto riesgo no solo es éticamente cuestionable. Está rota desde su arquitectura.

¿Qué salió mal realmente dentro del algoritmo de SafeRent?

El fallo técnico es engañosamente simple de describir y enloquecedoramente difícil de corregir sin replantear todo tu enfoque del diseño de modelos.

El sistema de puntuación de SafeRent se apoyaba en gran medida en el historial crediticio tradicional y en deudas ajenas al alquiler —cosas como facturas médicas, saldos antiguos de tarjetas de crédito, ese tipo de cicatriz financiera que se acumula cuando has pasado años lidiando con la pobreza—. Lo que no tenía en cuenta era el hecho más relevante sobre sus sujetos: los titulares de vales de elección de vivienda tienen un flujo de ingresos garantizado por el gobierno federal. Su alquiler está subvencionado. Su probabilidad de incumplir pagos es, estadísticamente, bastante distinta de lo que sugeriría una puntuación crediticia en bruto.

Pero el modelo no lo sabía. O, más concretamente, nadie le dijo que le importara.

El algoritmo no discriminó a propósito. Discriminó por diseño, al tratar datos históricamente sesgados como una verdad neutral.

Aquí es donde las cifras se vuelven condenatorias. En octubre de 2021, la puntuación crediticia mediana para los consumidores blancos era de 725. Para los consumidores hispanos, 661. Para los consumidores negros, 612. Cuando construyes un modelo que trata la puntuación crediticia como un predictor primario del "riesgo de desempeño del contrato de arrendamiento", no estás tomando una decisión matemática neutral. Estás codificando un siglo de discriminación por zonas (redlining), préstamos abusivos y desigualdad de riqueza en un único peso de característica. El algoritmo de SafeRent miró el historial crediticio de Mary Louis y vio riesgo. Lo que debería haber visto era a una mujer con dinero garantizado para el alquiler y un sistema que nunca le había dado una oportunidad justa de construir crédito.

¿Por qué dijo un tribunal que el proveedor de software es responsable?

Esta es la parte que debería mantener despierto por la noche a todo fundador de una empresa de IA.

SafeRent intentó la defensa obvia: somos un proveedor de tecnología, no un arrendador. No tomamos decisiones de vivienda. Solo proporcionamos información. El tribunal rechazó este argumento de plano. El Departamento de Justicia presentó una Declaración de Interés en la que sostenía que, cuando un arrendador externaliza su toma de decisiones a un algoritmo, el desarrollador de ese algoritmo forma funcionalmente parte de la cadena de decisión.

Piensa por un momento en lo que eso significa. Toda empresa que venda puntuación, selección, suscripción o evaluación de riesgos impulsada por IA en un mercado regulado acaba de perder la capacidad de decir "nosotros solo construimos la herramienta".

Recuerdo la conversación con mi cofundador la semana posterior a que se dictara la sentencia. Estábamos en una llamada, supuestamente revisando un entregable para un cliente, y en lugar de eso pasamos cuarenta y cinco minutos trazando todos los sectores en los que este precedente podría aplicarse. Puntuación crediticia. Suscripción de seguros. Selección de personal. Triaje sanitario. La lista no dejaba de crecer. En algún momento, uno de nosotros dijo: "Esto no es un caso de vivienda. Esto es el comienzo del derecho de responsabilidad de los productos de IA". No lo estábamos celebrando —llevábamos tiempo advirtiendo sobre este mismo escenario—, pero había una satisfacción sombría en ver cómo el sistema jurídico por fin alcanzaba lo que la tecnología había estado haciendo sin control.

El acuerdo no solo le costó a SafeRent 2,275 millones de dólares. Impuso una orden judicial de cinco años con dientes:

SafeRent ya no puede emitir recomendaciones automáticas de aprobación o rechazo para los titulares de vales a menos que el modelo sea validado en cuanto a equidad por expertos independientes en derechos civiles. Sin esa validación, el sistema solo puede proporcionar información de antecedentes en bruto, despojada de su puntuación predictiva. La empresa también debe formar a sus clientes sobre las limitaciones de los modelos de puntuación para poblaciones subvencionadas. Y estos términos se aplican a nivel nacional, no solo en Massachusetts.

Para un análisis más profundo de la estructura del acuerdo y sus implicaciones regulatorias, escribí un desglose interactivo del análisis completo del caso.

La trampa del envoltorio de LLM

Aproximadamente un año antes de que se cerrara el acuerdo de SafeRent, tuve una reunión con un cliente potencial: una empresa mediana de gestión de propiedades que administraba unas 12.000 unidades en todo el Sureste. Un proveedor los había abordado ofreciéndoles una "solución de selección de inquilinos impulsada por IA" construida sobre un gran modelo de lenguaje. El discurso era pulido: procesamiento del lenguaje natural, resúmenes instantáneos de riesgo, paneles preciosos. El proveedor había levantado una ronda Serie A. Tenían logotipos en su sitio web.

Hice una sola pregunta: "¿Puede el sistema explicar, para un solicitante concreto, qué características impulsaron la decisión de rechazo de una manera que satisfaga los requisitos de notificación de acción adversa de la Ley de Informes Crediticios Justos?".

Silencio. Luego: "Podemos generar una explicación en lenguaje natural de la decisión".

"¿Generada por el LLM?".

"Sí".

"Entonces, la explicación es una narrativa plausible sobre por qué se rechazó a la persona, no un rastro causal verificado del cálculo real del modelo, ¿verdad?".

Más silencio.

Este es el problema central de lo que yo llamo "envoltorios de LLM", y es el problema que el caso SafeRent iluminó con un detalle brutal y costoso. Un gran modelo de lenguaje puede resumir un contrato de arrendamiento. Puede redactar una carta. Puede incluso producir una explicación de sonido convincente sobre por qué se rechazó a un solicitante. Pero no puede certificar que su razonamiento esté causalmente conectado con la vía de decisión real. No puede demostrar que una característica protegida no influyó en el resultado. No puede buscar alternativas menos discriminatorias. Alucina explicaciones de la misma manera que alucina todo lo demás: prediciendo el siguiente token estadísticamente más probable.

En decisiones de alto riesgo, la capacidad de generar una respuesta plausible no vale nada. La capacidad de demostrar una respuesta justa lo vale todo.

He tenido inversores que me han dicho: "Simplemente usa GPT y añade una capa de cumplimiento encima". Uno me lo dijo a la cara en un evento de presentación, como si fuera obvio, como si estuviéramos complicando las cosas. Quise entregarle los documentos del acuerdo de SafeRent y preguntarle qué capa de cumplimiento habría detectado un modelo que ignoraba sistemáticamente los ingresos por vales. La respuesta es: ninguna. Porque el sesgo no estaba en el formato de la salida ni en la interfaz de usuario. Estaba en los pesos de las características. Estaba en los datos de entrenamiento. Estaba en la arquitectura fundamental de lo que el modelo estaba optimizado para predecir.

¿Cómo cambia el juego la guía de HUD de 2024?

En mayo de 2024, HUD emitió una guía que, en la práctica, codificó las lecciones del caso SafeRent en expectativas regulatorias para toda la industria de la vivienda. El estándar es el de "impacto dispar": es decir, un sistema puede ser ilegal aunque nadie haya tenido la intención de discriminar, siempre que produzca efectos negativos desproporcionados sobre una clase protegida que no puedan justificarse por un interés legítimo y no discriminatorio.

Destacan tres requisitos:

La relevancia de las características debe ser causal, no solo correlacional. Cada dato de un modelo de selección necesita un vínculo defendible con el desempeño real del contrato de arrendamiento. "La puntuación crediticia predice el impago" no es suficiente si la puntuación crediticia es un sustituto de la raza y no has comprobado si los ingresos ajustados por vales son un mejor predictor.

Los solicitantes deben tener una vía significativa para impugnar los resultados de la IA. Esto significa que la revisión con intervención humana no es opcional: es obligatoria. Un sistema que produce una puntuación sin mecanismo de recurso es un sistema a la espera de ser demandado.

Los desarrolladores deben buscar Alternativas Menos Discriminatorias. Esta es la disposición que lo cambia todo. No basta con construir un modelo que funcione. Tienes que demostrar que buscaste modelos que funcionaran igual de bien con menor impacto discriminatorio, y que, o bien los adoptaste, o bien puedes demostrar que no existe ninguno.

Ese último requisito —la Alternativa Menos Discriminatoria, o LDA— es donde se desmoronan la mayoría de las empresas de IA que he visto. No porque las matemáticas sean imposiblemente difíciles, sino porque nunca se han visto obligadas a hacerlo. Optimizan para la precisión. Lanzan. Siguen adelante. ¿La idea de que quizá necesites buscar entre miles de configuraciones alternativas de modelos para encontrar una que mantenga el rendimiento mientras maximiza la equidad entre grupos demográficos? Esa no es una solicitud de característica que la mayoría de los gestores de producto haya recibido jamás.

Lo que en realidad construimos en su lugar

Necesito ser honesto sobre algo: cuando empezamos a construir sistemas conscientes de la equidad en Veriprajna, lo hicimos mal.

Nuestro enfoque inicial era la auditoría posterior. Construir el modelo, probarlo en busca de sesgos, ajustar los umbrales si algo parecía fuera de lugar. Parecía responsable. Parecía suficiente. No lo era.

El problema del posprocesamiento es que intentas parchear los resultados sin entender las causas. Puedes ajustar un umbral de decisión para que las tasas de aprobación parezcan similares entre grupos —una técnica llamada "Igualdad de Probabilidades" (Equalized Odds)—, pero si el modelo subyacente ha aprendido una representación sesgada del riesgo, solo estás maquillando un problema estructural. El modelo sigue pensando que ciertas personas son más arriesgadas. Simplemente lo estás anulando en el último tramo. Y la primera vez que alguien audita las importancias de las características, el sesgo está justo ahí, devolviéndote la mirada.

El avance —y uso esa palabra con cuidado, porque se pareció más a una acumulación lenta y frustrante de fracasos que a un momento eureka— llegó cuando empezamos a tratar la equidad como una restricción de optimización en lugar de una auditoría posterior al despliegue.

Esto es lo que significa en la práctica. Durante el entrenamiento del modelo, no solo minimizamos el error de predicción. Al mismo tiempo penalizamos al modelo si una red "adversaria" secundaria puede predecir un atributo protegido (como la raza o el género) a partir de las salidas del modelo primario. Si el adversario tiene éxito —si puede mirar las predicciones del modelo y adivinar quién es negro y quién es blanco—, el modelo primario es penalizado y reentrenado. El resultado es un modelo que ha sido obligado a aprender características que son genuinamente independientes de las características protegidas.

Combinamos esto con lo que los investigadores llaman "pruebas contrafactuales". Para cada solicitante que el modelo evalúa, preguntamos: si la raza de esta persona fuera distinta pero todo lo demás siguiera igual, ¿cambiaría la decisión? Si la respuesta es sí, el modelo falla. No "lo marca para revisión". Falla.

La equidad contrafactual plantea la pregunta que todo abogado de derechos civiles acabará haciendo: ¿habría sido aprobada esta persona si fuera blanca? Más vale que tu modelo tenga la misma respuesta.

Hubo una noche —creo que era alrededor de las 2 de la madrugada— en que ejecutamos nuestra primera auditoría contrafactual completa sobre un modelo prototipo de selección que habíamos construido usando un conjunto de datos de vivienda pública. Esperábamos quizá una discrepancia del 3-4 %. La cifra real estaba más cerca del 11 %. El once por ciento de las decisiones se habrían invertido si no hubiéramos cambiado nada salvo el grupo demográfico. Mi ingeniero me envió un mensaje de Slack que solo decía: "Tenemos un problema". Pasamos las tres semanas siguientes reconstruyendo desde cero la canalización de características, sustituyendo la puntuación crediticia por un indicador compuesto que ponderaba los ingresos por vales, el historial de pago directo del alquiler y la estabilidad laboral. La brecha contrafactual cayó por debajo del 1 %.

Esa es la diferencia entre lo que yo llamo "IA Profunda" (Deep AI) y un envoltorio de LLM. No se trata de tener mejores prompts ni una interfaz más bonita. Se trata de si la equidad es una propiedad de la arquitectura del sistema o una pegatina que colocas sobre la caja.

Para el desglose técnico completo de nuestro enfoque de ingeniería de la equidad —incluida la metodología de eliminación de sesgos adversaria y la formalización matemática de las métricas que utilizamos—, consulta nuestro artículo de investigación sobre integridad algorítmica y riesgo empresarial.

¿Por qué no puedes simplemente auditar después del despliegue?

La gente me pregunta esto constantemente, y entiendo el atractivo. Auditar parece más barato. Parece menos disruptivo. Construyes rápido, lanzas rápido, auditas después, arreglas lo que se rompe.

El problema es que, en los mercados regulados, "lo que se rompe" son las vidas de las personas.

Para cuando el algoritmo de SafeRent fue impugnado en los tribunales, llevaba años funcionando. ¿Cuántas Mary Louis hubo que nunca presentaron una demanda? ¿A cuántas familias con vales se les negó vivienda por un algoritmo que no podía ver más allá de su puntuación crediticia? Esas denegaciones no se revierten con un acuerdo. Esos apartamentos fueron para otra persona. Esas familias encontraron un lugar peor donde vivir, o no encontraron ninguno en absoluto.

Las auditorías estáticas también pasan por alto algo crítico: la deriva de datos. Los patrones socioeconómicos que un modelo aprendió durante el entrenamiento cambian con el tiempo. Las tasas de utilización de vales cambian. Las metodologías de puntuación crediticia evolucionan. Los mercados de alquiler se tensan o se relajan. Un modelo que era "suficientemente justo" en 2022 podría ser discriminatorio en 2024, no porque alguien cambiara el código, sino porque el mundo cambió a su alrededor.

Por eso hemos avanzado hacia la monitorización continua con disparadores automáticos de reentrenamiento. El modelo no solo se audita una vez al año. Se audita cada vez que toma una decisión, frente a una batería de métricas de equidad —Diferencia de Paridad Estadística, Ratio de Impacto Dispar, Igualdad de Probabilidades—, ejecutándose en tiempo real. Cuando cualquier métrica se desvía más allá de un umbral, el sistema la marca antes de que un humano llegue siquiera a ver la salida.

Lo pienso así: no construirías un puente, lo inspeccionarías una vez y luego nunca lo volverías a revisar. Lo monitorizarías continuamente en busca de tensión, fatiga, cambios ambientales. Los sistemas de IA que toman decisiones sobre la vivienda, el crédito y el empleo de las personas merecen al menos el mismo rigor de ingeniería que damos al hormigón y al acero.

¿Qué significa la Ley de IA de la UE para las empresas estadounidenses?

Si el acuerdo de SafeRent y la guía de HUD representan el suelo regulatorio actual, la Ley de IA de la UE —cuya aplicación por fases comienza en 2025-2026— representa hacia dónde se dirige el techo.

La Ley clasifica los sistemas de IA utilizados para la puntuación crediticia, la selección de inquilinos y las decisiones de empleo como de "Alto Riesgo", sometiéndolos a evaluaciones de conformidad obligatorias, requisitos de transparencia y obligaciones de supervisión humana. Las empresas estadounidenses que atienden mercados europeos, o que atienden mercados estadounidenses de formas que los reguladores europeos decidan que les importan, tendrán que cumplir.

Pero esto es lo que me parece más interesante que los requisitos específicos: la Ley de la UE operacionaliza los cuatro pilares del Marco de Gestión de Riesgos de IA del NIST —Gobernar, Mapear, Medir, Gestionar— convirtiéndolos en obligaciones jurídicamente vinculantes. Lo que era una guía voluntaria se convierte en una práctica obligatoria. Las empresas que alinearon sus arquitecturas con estos principios de forma temprana encontrarán que el cumplimiento es sencillo. Las empresas que trataron la equidad como un argumento de marketing lo encontrarán caro.

He visto este patrón repetirse en la privacidad de datos (RGPD), en la información financiera (SOX) y ahora en la gobernanza de la IA. La trayectoria regulatoria solo se mueve en una dirección. Construir hoy para los requisitos del mañana no es idealismo. Es gestión de riesgos.

El problema de la multiplicidad de modelos del que nadie habla

Hay un concepto en la investigación del aprendizaje automático llamado "multiplicidad de modelos": la observación de que, para cualquier conjunto de datos dado, existen potencialmente millones de modelos que alcanzan una precisión casi idéntica pero tienen perfiles de equidad radicalmente distintos. Algunos de esos modelos están profundamente sesgados. Algunos son notablemente justos. Y sin una búsqueda explícita y sistemática de los justos, los desarrolladores casi siempre acabarán con el que el optimizador encuentre primero.

Este es el fundamento técnico del requisito de la Alternativa Menos Discriminatoria, y es la razón por la que creo que la búsqueda de la LDA se convertirá en la capacidad más importante del desarrollo de IA regulada en la próxima década.

Cuando realizamos una búsqueda de LDA, no estamos entrenando un solo modelo. Estamos entrenando cientos, variando conjuntos de características, arquitecturas, hiperparámetros y restricciones de equidad, y luego mapeando todo el panorama de compromisos entre precisión y equidad. El objetivo es encontrar el modelo que logre el objetivo de negocio —predecir el desempeño del arrendamiento, evaluar el riesgo crediticio, sea cual sea la tarea— con el mínimo impacto discriminatorio posible.

A veces esa búsqueda revela algo incómodo: el modelo "más preciso" es también el más sesgado, porque la precisión y el sesgo histórico están correlacionados en los datos de entrenamiento. El segundo modelo más preciso podría sacrificar medio punto porcentual de poder predictivo mientras reduce en un 40 % la brecha del Ratio de Impacto Dispar. ¿Merece la pena ese compromiso?

Si tu modelo es un 0,5 % menos preciso pero un 40 % menos discriminatorio, y elegiste la precisión, buena suerte explicándoselo a un juez.

En el caso SafeRent, la pregunta fundamental era si un modelo podría haber predicho el desempeño del arrendamiento igual de bien sin penalizar a los titulares de vales. La respuesta, con base en todo lo que sabemos sobre los datos, es casi con certeza que sí. SafeRent simplemente nunca lo buscó.

La noche en que casi acepté construir un envoltorio

Quiero terminar con una historia que no he contado públicamente antes.

Hace unos dieciocho meses, nos abordó una empresa —no la nombraré— que quería que construyéramos una herramienta de selección de cumplimiento para un importante cliente de servicios financieros. El presupuesto era considerable. El plazo era agresivo. Y la especificación que nos entregaron era, en esencia, un envoltorio de LLM: coge un modelo de base, ajústalo con documentos regulatorios, añade una capa de puntuación, lánzalo.

Mi equipo estaba dividido. La mitad veía los ingresos. La otra mitad veía el caso SafeRent a cámara lenta. Tuvimos una llamada que duró casi tres horas. Uno de mis ingenieros —alguien en quien confío profundamente— dijo algo que se me quedó grabado: "Podemos construir lo que están pidiendo en ocho semanas. Podemos construir lo que necesitan en ocho meses. Si construimos lo que están pidiendo, nos convertimos en el próximo caso de estudio de por qué este enfoque fracasa".

Nos retiramos del acuerdo. Fue la decisión más cara que he tomado como fundador. La cuestioné durante semanas.

Ya no la cuestiono.

El acuerdo de SafeRent demostró que el mercado de la IA en industrias reguladas no es una carrera por lanzar más rápido. Es una carrera por lanzar de la forma más segura, donde "segura" significa arquitectónicamente justa, legalmente defendible y diseñada para resistir el tipo de escrutinio forense que un tribunal federal acabará aplicando. Las empresas que entiendan esto construirán los sistemas que perduren. Las que no lo entiendan construirán el próximo caso aleccionador de 2,275 millones de dólares.

La era de la caja negra ha terminado. No porque los reguladores la mataran, sino porque nunca se construyó para sobrevivir al contacto con la realidad. La pregunta no es si tu IA puede tomar una decisión. Es si tu IA puede defender una."