El sesgo de la IA en la selección de inquilinos costó 2,2 millones de dólares: ¿es su sistema el siguiente?

El problema

Mary Louis y Monica Douglas, dos mujeres negras beneficiarias de vales de vivienda con financiación federal, solicitaron alquilar apartamentos y fueron rechazadas. No por un arrendador, sino por un algoritmo. SafeRent Solutions desarrolló un sistema de puntuación denominado «Registry ScorePLUS» que calificaba a los inquilinos en una escala de 200 a 800. El sistema se basaba en gran medida en el historial crediticio y en deudas no vinculadas al alquiler. Sin embargo, ignoró por completo un dato crítico: los vales de vivienda garantizan un flujo de ingresos constante. Los inquilinos con vales tienen una probabilidad estadística de seguir pagando el alquiler a tiempo, porque el gobierno cubre una parte directamente.

El algoritmo trató a estas solicitantes como de alto riesgo cuando en realidad eran de bajo riesgo. Les asignó una puntuación baja porque sus perfiles crediticios diferían de los de inquilinos con mayores ingresos, no porque fueran malas arrendatarias. En mayo de 2022, Louis y Douglas presentaron una demanda colectiva alegando que el sistema generaba un impacto dispar en los solicitantes negros e hispanos. Para noviembre de 2024, un tribunal aprobó un acuerdo conciliatorio de 2,275 millones de dólares.

Es posible que su empresa no realice selección de inquilinos. Sin embargo, si utiliza cualquier sistema de IA que puntúe, clasifique o recomiende decisiones sobre personas, la lógica subyacente a este caso se aplica directamente a usted. El tribunal dictaminó que el proveedor de software —y no solo el arrendador— comparte la responsabilidad legal por los resultados discriminatorios. Ese único fallo judicial lo cambió todo.

Por qué esto le importa a su empresa

La exposición financiera en este ámbito va mucho más allá de la selección de inquilinos. El acuerdo de SafeRent incluyó 1,175 millones de dólares en compensación directa para los solicitantes afectados y 1,1 millones de dólares en honorarios de abogados. Las demandantes principales recibieron 10.000 dólares cada una, lo que crea un claro incentivo financiero para que particulares interpongan futuros litigios. El tribunal también impuso una orden judicial de medidas cautelares de cinco años que exige cambios operativos continuos supervisados judicialmente.

Sin embargo, las cifras económicas son solo el principio. Esto es lo que debería quitarle el sueño a su equipo directivo:

• Su proveedor de IA puede ser considerado legalmente responsable. El tribunal desestimó el argumento de SafeRent de que era un proveedor tecnológico «neutral». Si un arrendador se basa primordialmente en una puntuación emitida por un tercero, el proveedor de dicha puntuación forma parte de la cadena de decisión y comparte la exposición jurídica.
• La intencionalidad es irrelevante. La guía de mayo de 2024 del HUD confirmó que el criterio estándar es el «impacto dispar». Su sistema puede infringir la Ley de Vivienda Justa (Fair Housing Act) incluso si nadie tuvo la intención de discriminar: los resultados son lo que cuenta.
• Las puntuaciones crediticias conllevan un sesgo oculto. A fecha de octubre de 2021, la mediana de la puntuación crediticia para los consumidores blancos era de 725. Para los consumidores hispanos era de 661. Para los consumidores negros era de 612. Cuando su IA trata el historial crediticio como neutral, codifica de forma rígida disparidades raciales en sus decisiones.
• Los reguladores están vigilando. El HUD y el Departamento de Justicia (DOJ) están aplicando activamente la Ley de Vivienda Justa a los desarrolladores de algoritmos. La próxima Ley de IA de la UE clasificará los sistemas de puntuación crediticia y de vivienda como de «Alto Riesgo», exigiendo un cumplimiento normativo formal para 2025-2026.

Si su sistema de IA no puede demostrar que buscó una alternativa con menor sesgo para alcanzar el mismo objetivo empresarial, usted queda expuesto.

Qué está ocurriendo realmente bajo el capó

Piense en un modelo tradicional de selección mediante IA como en un responsable de contratación que solo revisa currículums de una única universidad. El responsable no intenta ser injusto. Sin embargo, dado que esa universidad admitió históricamente a un grupo demográfico predominante, los resultados resultan discriminatorios. Lo mismo sucede cuando la IA depende de variables de datos (data features) —los puntos de datos individuales que un modelo utiliza para realizar predicciones— que arrastran un sesgo histórico.

El modelo de SafeRent utilizó el historial crediticio como una variable clave. Las puntuaciones crediticias reflejan décadas de acceso desigual a la banca, a los préstamos y a la acumulación de patrimonio. Cuando el algoritmo ponderó con fuerza el crédito pero asignó un peso nulo a los ingresos por vales de vivienda, creó lo que los reguladores denominan un problema de «variable indirecta» (proxy variable). La variable parece neutral respecto a la raza sobre el papel. En la práctica, se correlaciona casi directamente con la raza.

Aquí es exactamente donde muchos sistemas de IA fallan hoy en día. Los modelos de lenguaje extensos (LLM, Large Language Models) —la tecnología detrás de herramientas como ChatGPT— se enfrentan a este problema de un modo distinto. Con frecuencia no pueden explicar su razonamiento en un formato que cumpla con los requisitos legales de divulgación. La Ley de Informe Justo de Crédito (Fair Credit Reporting Act) exige «códigos de motivo» (Reason Codes) específicos cuando se deniega una solicitud. Un LLM puede generar una explicación que suene plausible pero que en realidad esté inventada. En decisiones reguladas, una respuesta errónea emitida con seguridad es peor que no dar ninguna respuesta.

El peligro real es lo que los investigadores llaman «deriva de datos» (data drift): cuando el mundo cambia pero su modelo no se actualiza. Las tasas de utilización de vales varían. Las tendencias demográficas evolucionan. Un modelo entrenado con datos de 2019 puede producir resultados discriminatorios en 2025 simplemente porque la población subyacente cambió. Sin una monitorización continua, no detectará esto hasta que una demanda judicial se lo notifique.

Qué funciona (y qué no)

En primer lugar, tres enfoques habituales que fracasan en entornos regulados:

«Auditamos una vez al año». Las auditorías de equidad anuales y estáticas no detectan el sesgo en tiempo real. Los datos socioeconómicos cambian constantemente, y una auditoría sin incidencias en enero no garantiza nada para julio.

«Nuestra IA explica sus decisiones». Muchas herramientas basadas en LLM generan explicaciones que suenan razonables pero que pueden ser alucinadas, lo que significa que el sistema produce texto plausible que en realidad no refleja cómo se tomó la decisión. Eso representa un pasivo legal, no una funcionalidad.

«Eliminamos la raza de los datos de entrada». Suprimir un atributo protegido no elimina las variables indirectas (proxies) como la puntuación crediticia, el código postal o el historial de endeudamiento. Estas variables pueden reconstruir patrones raciales con un alto grado de precisión.

Esto es lo que realmente funciona: una arquitectura en tres fases que integra la equidad en el propio sistema en lugar de añadirla como un parche a posteriori:

1. Preprocesamiento: corregir los datos antes del entrenamiento. Esto implica el remuestreo de grupos subrepresentados y la reponderación de datos para que las poblaciones históricamente desfavorecidas estén representadas con equidad. En el contexto de SafeRent, esto implicaría sobremuestrear a titulares de vales con historial favorable para corregir décadas de sesgo crediticio.

2. In-processing: imponer restricciones al modelo durante el entrenamiento. En lugar de optimizar únicamente la precisión, se añade una «penalización de equidad» (fairness penalty) al proceso de aprendizaje del modelo. Una técnica es la eliminación de sesgos por confrontación (adversarial debiasing), en la que un modelo secundario intenta predecir la raza de una persona a partir de las salidas del modelo principal. Si el modelo secundario tiene éxito, el modelo principal es penalizado y forzado a aprender variables que realmente predigan el cumplimiento del contrato de alquiler de forma independiente a la raza.

3. Posprocesamiento: alinear los resultados con estándares equitativos. Tras el entrenamiento, se ajustan los umbrales de decisión mediante un método denominado probabilidades igualadas (Equalized Odds), que garantiza que las tasas de falsos positivos y falsos negativos sean idénticas en todos los grupos demográficos. Esto evita que su sistema rechace a solicitantes cualificados de minorías con mayor frecuencia que a solicitantes igualmente cualificados del grupo mayoritario.

La ventaja de disponer de un rastro de auditoría es lo que más importa a sus equipos jurídico y de cumplimiento normativo. Cuando integra métricas de equidad —como el ratio de impacto dispar (Disparate Impact Ratio), que los reguladores marcan como alerta por debajo de 0,8— directamente en su panel de monitorización, detecta la «deriva de equidad» (fairness drift) en tiempo real. No espera a una demanda: lo detecta, lo documenta y lo corrige. Esa documentación se convierte en su defensa más sólida si los reguladores llaman a su puerta. Su sistema debe generar un rastro lógico claro para cada decisión, mostrando qué variables influyeron, qué ponderación tuvo cada una y por qué el resultado fue la opción menos discriminatoria disponible.

El acuerdo conciliatorio de SafeRent exige ahora que expertos en derechos civiles validen los modelos de la empresa, lo que supone en la práctica una búsqueda obligatoria de alternativas menos sesgadas. Si lleva a cabo esa búsqueda de forma proactiva, se mantendrá un paso por delante tanto de los reguladores como de los demandantes. Si espera, se convertirá en el próximo caso de estudio.