Gli strumenti di selezione basati sull'IA possono discriminare i candidati con disabilità

Il problema

Lo strumento di selezione basato sull'IA di Aon assegnava ai candidati autistici punteggi bassi in "vivacità". Nel maggio 2024, l'ACLU ha presentato un reclamo formale alla Federal Trade Commission contro Aon Consulting. L'ACLU ha sostenuto che Aon commercializzava le sue valutazioni di selezione basate sull'IA come "prive di pregiudizi" e affermava che "migliorano la diversità" con "nessun impatto negativo". In realtà, questi strumenti probabilmente escludono candidati qualificati in base a razza e disabilità.

Ecco cosa è successo. Aon ha creato un test di personalità chiamato ADEPT-15 che misura 15 tratti, tra cui "positività", "consapevolezza emotiva" e "vivacità". L'ACLU ha rilevato che questi tratti coincidono strettamente con i criteri diagnostici clinici per l'autismo e i disturbi della salute mentale. Se ottieni un punteggio come "riservato" anziché "estroverso", l'algoritmo ti penalizza. Non ti chiede della tua disabilità. Non ne ha bisogno. La matematica compie la discriminazione automaticamente.

Aon ha inoltre implementato uno strumento di colloquio video chiamato vidAssess-AI. Utilizza l'elaborazione del linguaggio naturale — software che interpreta le parole pronunciate — per valutare i candidati rispetto a quegli stessi tratti di personalità. Per una persona autistica il cui eloquio presenta un'intonazione piatta o pause atipiche, l'IA può interpretare quei modelli come "mancanza di sicurezza". Lo strumento ha creato ciò che il reclamo descrive come una "doppia penalizzazione": i candidati venivano giudicati sulle loro risposte e su una versione della loro personalità interpretata da una macchina e filtrata attraverso modelli linguistici viziati da pregiudizi.

Questo reclamo è stato sostenuto dall'Autistic Self-Advocacy Network e da altri gruppi per i diritti civili. Non è una causa marginale. È un segnale che l'era della selezione algoritmica incontrollata è finita. Se la tua azienda utilizza l'IA per selezionare i candidati, devi capire cosa è andato storto qui.

Perché questo è importante per la tua azienda

L'esposizione finanziaria e legale derivante da strumenti di selezione basati sull'IA viziati da pregiudizi è ampia e in crescita. Considera i numeri:

• La EEOC ha ottenuto centinaia di milioni di dollari in risarcimenti economici per le vittime di discriminazione nell'anno fiscale 2024. I pregiudizi algoritmici sono ora una priorità assoluta nell'attività di controllo.
• La FTC ha multato DoNotPay per 193.000 dollari per affermazioni infondate sulle sue capacità di IA. L'agenzia ha il potere di vietare permanentemente alle aziende di vendere software ad alto rischio.
• Entro il 2027, l'economia globale dei talenti raggiungerà un valore di 30 miliardi di dollari. Le aziende che non riescono a dimostrare l'equità dei propri strumenti di selezione perderanno l'accesso ai migliori candidati.
• Il test ADEPT-15 di Aon attinge a un database di 350.000 elementi unici per valutare la personalità. La scala del sistema rende quasi impossibile verificarlo senza strumenti specializzati.

La tua esposizione legale non si ferma al fornitore. La EEOC ha chiarito che i datori di lavoro sono legalmente responsabili della discriminazione causata dagli strumenti di IA che acquistano da terze parti. Acquistare uno strumento "privo di pregiudizi" non trasferisce la tua responsabilità. La aumenta.

Ecco cosa significa questo per la tua organizzazione:

• Rischio di contenzioso: azioni collettive e reclami alla EEOC che colpiscono il tuo processo di selezione, non solo il prodotto del tuo fornitore.
• Sanzioni normative: l'iniziativa "Operation AI Comply" della FTC sta attivamente facendo rispettare i requisiti di comprovabilità per le affermazioni sull'IA.
• Danno reputazionale: un reclamo pubblico che collega la tua azienda alla discriminazione basata sulla disabilità può erodere il marchio del datore di lavoro nel giro di una notte.
• Perdita di talenti: le persone neurodivergenti spesso eccellono nel riconoscimento di schemi, nell'attenzione ai dettagli e nella risoluzione creativa dei problemi. Una selezione viziata da pregiudizi esclude proprio le persone che guidano l'innovazione.

Se il tuo fornitore di IA non è in grado di fornire prove empiriche che i suoi strumenti non discriminano, stai portando un rischio non quantificato nel tuo bilancio.

Cosa sta realmente accadendo dietro le quinte

Pensa alla maggior parte degli strumenti di selezione basati sull'IA come a uno specchio deformante da luna park. Riflettono qualcosa di reale — le tue qualifiche — ma il riflesso è distorto dalla forma dello specchio. La "forma" in questo caso sono i dati di addestramento, che riflettono in modo schiacciante modelli comportamentali neurotipici.

Il difetto fondamentale è qualcosa chiamato "circolo ricorsivo dei pregiudizi". I modelli di machine learning si addestrano su dati storici di selezione. Quei dati riflettono decenni di preferenze per stili di comunicazione neurotipici. Quando l'IA viene implementata, le sue decisioni si ripercuotono sui futuri set di addestramento. I candidati che "assomigliano" alle assunzioni di successo del passato vengono favoriti dall'algoritmo. Tutti gli altri vengono esclusi. Il pregiudizio si aggrava nel tempo.

Una ricerca della Duke University ha rilevato che i grandi modelli linguistici — i motori di IA alla base di molti strumenti di selezione — associano sistematicamente i termini neurodivergenti a un significato negativo. La frase "ho l'autismo" viene considerata da questi modelli più negativa di "sono un rapinatore di banche". Quando questi stessi modelli linguistici alimentano gli strumenti di selezione attraverso una connessione API, incorporano associazioni discriminatorie nel tuo processo di reclutamento. Lo sviluppatore non lo ha mai voluto. Lo hanno fatto i dati, automaticamente.

L'ADEPT-15 di Aon illustra questo con precisione. Mappa 15 costrutti di personalità lungo polarità come "Riservato vs. Estroverso" e "Stoico vs. Compassionevole". L'ACLU ha confrontato questi costrutti con l'Autism Spectrum Quotient (AQ), uno strumento clinico di screening standard di 50 elementi. La sovrapposizione è innegabile. Quando un algoritmo di selezione pone domande che rispecchiano i criteri clinici — "Mi concentro intensamente sui dettagli" o "Preferisco lavorare da solo" — crea un percorso nascosto tra la condizione di disabilità e l'esito della selezione. L'algoritmo non chiede mai di una diagnosi. Non ne ha bisogno.

Un semplice "wrapper" — uno strumento che fa passare i tuoi dati attraverso un modello di base come GPT-4 e presenta l'output — non può risolvere questo problema. I wrapper ereditano i pregiudizi dei modelli sottostanti. Non hanno la capacità di distinguere tra genuine qualifiche professionali e rumore che si correla con caratteristiche protette.

Cosa funziona (e cosa no)

Tre approcci comuni che falliscono:

• "Ci siamo addestrati sui big data, quindi è equo." Più dati non significano meno pregiudizi. Se i tuoi dati di addestramento riflettono 30 anni di preferenze di selezione neurotipiche, il tuo modello replicherà quelle preferenze su larga scala.
• "Il nostro fornitore ci ha dato una model card." La documentazione fornita dal fornitore non è un audit indipendente. Il caso Aon dimostra che le affermazioni di marketing di "nessun impatto negativo" possono contraddire direttamente il modo in cui lo strumento si comporta effettivamente.
• "Abbiamo rimosso i campi protetti dall'input." Rimuovere la condizione di disabilità dai dati non serve quando tratti come "vivacità" e "consapevolezza emotiva" fungono da variabili sostitutive. L'algoritmo trova la porta di servizio.

Ciò che funziona davvero è un approccio in tre fasi che spezza il legame tra le caratteristiche protette e le decisioni di selezione:

1. Mappa i percorsi nascosti (Input). Utilizza il Structural Causal Modeling — un metodo che diagramma come i diversi punti dati si influenzano a vicenda — per identificare ogni via attraverso cui la condizione di disabilità potrebbe influenzare l'esito della selezione. Non è un controllo statistico. È una mappa causale dell'intera pipeline di valutazione. Il tuo obiettivo è trovare le variabili sostitutive prima che le trovino le autorità di regolamentazione al posto tuo.

2. Elimina le informazioni protette dalla logica del modello (Elaborazione). Implementa il debiasing avversariale — una tecnica in cui un secondo modello di IA cerca di indovinare la caratteristica protetta di un candidato a partire dai dati interni del modello primario. Se il secondo modello ci riesce, il modello primario sta ancora facendo trapelare informazioni protette. Il sistema penalizza il modello primario e lo costringe a disimparare i modelli viziati da pregiudizi. Questo è particolarmente efficace per le valutazioni video e di personalità in cui i segnali comportamentali fungono da variabili sostitutive della disabilità.

3. Verifica ogni decisione con la simulazione controfattuale (Output). Genera variazioni sintetiche dei dati di un candidato reale. Cambia solo l'attributo sensibile — per esempio, passa da modelli di eloquio neurotipici a neurodivergenti — mantenendo costanti tutte le altre variabili. Se la raccomandazione dell'IA cambia, hai un difetto di equità. Questo fornisce al tuo team di conformità una traccia di audit concreta per ogni decisione di selezione.

La traccia di audit è ciò che conta di più per i tuoi team legali e di conformità. Le statistiche a livello di gruppo — "il 10% delle nostre assunzioni sono persone con disabilità" — non bastano. Hai bisogno di prove a livello individuale che ogni candidato abbia ricevuto un trattamento paritario. La simulazione controfattuale fornisce questo. Quando la EEOC o la FTC chiedono perché il tuo sistema ha respinto uno specifico candidato, puoi mostrare i calcoli.

Secondo il NIST AI Risk Management Framework, le organizzazioni nel settore delle risorse umane e della talent technology dovrebbero puntare a un livello di maturità "Adattivo". Ciò significa un processo documentato per monitorare la deriva discriminatoria — il fenomeno per cui i modelli di IA diventano più viziati da pregiudizi nel tempo, man mano che interagiscono con i dati del mondo reale. Audit indipendenti annuali sui pregiudizi, non autovalutazioni dei fornitori, sono essenziali. Ogni valutazione automatizzata dovrebbe includere un'opzione chiara affinché i candidati possano richiedere un'alternativa umana senza penalizzazioni.

Puoi leggere l'analisi tecnica completa per un approfondimento sui metodi di modellazione causale e debiasing avversariale. È disponibile anche una guida interattiva per il tuo team.