L'algoritmo di assunzione che è diventato per sbaglio un esame medico

Un mio amico — brillante ingegnere del software, uno dei migliori pensatori per schemi che abbia mai conosciuto — mi ha raccontato di essere stato rifiutato da undici aziende di fila. Non dopo i colloqui tecnici. Prima. Non ha mai superato la "valutazione della personalità" iniziale.

È autistico. E ognuna di quelle aziende usava una qualche versione dello stesso strumento di screening basato sull'IA.

Ho continuato a pensare a quella conversazione quando, nel maggio 2024, l'ACLU ha presentato un reclamo formale alla Federal Trade Commission contro Aon Consulting. L'accusa era sorprendente nella sua precisione: la suite di strumenti di assunzione basati sull'IA di Aon — pubblicizzata come "priva di bias" e capace di potenziare la diversità — funzionava con ogni probabilità come un filtro occulto per la disabilità. Gli strumenti misuravano tratti come "vivacità", "positività" e "consapevolezza emotiva". Tratti che non sono solo vaghe dimensioni della personalità. Sono specchi quasi perfetti dei criteri clinici usati per diagnosticare l'autismo.

Quando ho letto il reclamo per intero, seduto alla mia scrivania alle undici di sera con una tazza di chai ormai fredda, qualcosa che mi tormentava da anni è andato al suo posto. L'industria dell'assunzione basata sull'IA non ha un problema di bias. Ha un problema di architettura. E nessuna dose di branding sull'"IA Responsabile" lo risolverà.

La promessa che si è infranta

Per buona parte di un decennio, la promessa dei fornitori di IA per le assunzioni è stata seducente e semplice: gli esseri umani sono pieni di pregiudizi, gli algoritmi no. Lascia decidere la macchina e otterrai risultati più equi.

All'inizio ho creduto a una versione di questa promessa. Quando ho fondato Veriprajna, credevo sinceramente che, se si fosse riusciti a formalizzare il processo decisionale — eliminando le sensazioni di pancia, le intuizioni sul "culture fit", la preferenza inconscia per le persone che ci somigliano — si sarebbe ottenuto qualcosa di più vicino alla meritocrazia. La matematica ci avrebbe reso liberi.

L'industria dell'assunzione basata sull'IA non ha un problema di bias. Ha un problema di architettura.

Poi ho iniziato a guardare cosa misurano davvero questi strumenti. E ho capito che la matematica codificava esattamente i bias che sosteneva di eliminare — limitandosi a tradurli in un linguaggio che sembrava oggettivo.

Lo strumento di personalità di punta di Aon, ADEPT-15, valuta i candidati su quindici dimensioni. Cose come "Vivacità" (sei estroverso o riservato?), "Consapevolezza" (sai leggere tra le righe?), "Compostezza" (sei calmo sotto pressione o appassionato?) e "Flessibilità" (preferisci la routine o il cambiamento?). Lo strumento usa un formato a scelta forzata — scegli tra due affermazioni — e si adatta in tempo reale in base alle tue risposte precedenti.

Sulla carta, sembra sofisticato. In pratica, sta chiedendo: quanto sei neurotipico?

Cosa succede quando uno strumento di assunzione rispecchia una diagnosi clinica?

Questa è la parte che mi ha tenuto sveglio quella notte. Ho aperto l'Autism Spectrum Quotient — un comune strumento di screening clinico — e l'ho messo accanto alle definizioni dei costrutti di ADEPT-15 di Aon. La sovrapposizione non era sottile. Era strutturale.

L'AQ misura le abilità sociali, lo spostamento dell'attenzione, l'attenzione ai dettagli, la comunicazione e l'immaginazione. ADEPT-15 misura "Vivacità", "Flessibilità", "Struttura", "Consapevolezza" e "Assertività". Non sono cugini lontani. Sono gli stessi costrutti con abiti diversi.

Quando un algoritmo penalizza qualcuno perché è "riservato" invece che "estroverso", non sta misurando l'idoneità al lavoro. Sta misurando la prestazione sociale. E per chi ha un cervello che elabora le informazioni sociali in modo diverso — una persona autistica, una persona con ADHD, una persona con ansia sociale — quella misurazione è una trappola travestita da test.

Il reclamo dell'ACLU lo dice senza mezzi termini: queste valutazioni "ricalcano da vicino i test diagnostici per l'autismo e la salute mentale". Ai sensi dell'Americans with Disabilities Act, i datori di lavoro non possono somministrare esami medici come parte del processo di assunzione a meno che non siano direttamente collegati alla mansione. Se un test di personalità è funzionalmente indistinguibile da uno strumento di screening clinico, che cos'è esattamente?

Ricordo di averne parlato con un collega che aveva passato anni nella psicologia del lavoro e delle organizzazioni. La sua prima reazione fu difensiva — "Sono strumenti psicometrici validati." La mia risposta: validati rispetto a cosa? Rispetto a un campione normativo per la stragrande maggioranza neurotipico? Quella non è validazione. È un ragionamento circolare con addosso un camice da laboratorio.

Il problema del colloquio video è peggiore di quanto pensi

Il secondo strumento di Aon, vidAssess-AI, sovrappone il modello di personalità ai colloqui video asincroni. I candidati si registrano mentre rispondono alle domande. Un motore NLP trascrive il loro parlato, ne analizza il contenuto e lo valuta rispetto al framework di personalità ADEPT-15.

Ecco dove la cosa diventa davvero allarmante. I modelli di elaborazione del linguaggio naturale sono addestrati su enormi dataset di testo che riflettono in modo schiacciante schemi di comunicazione neurotipici. Il ritmo del parlato tipico. Le cadenze attese della sicurezza di sé. Il modo "normale" di strutturare un racconto.

Il mio team ha passato settimane a testare come diversi schemi di parlato interagiscono con i sistemi NLP commerciali. L'intonazione piatta — comune negli oratori autistici — viene segnalata come "mancanza di entusiasmo". Le pause atipiche vengono interpretate come "incertezza". Il racconto non lineare — il modo in cui molte persone con ADHD organizzano naturalmente i pensieri, saltando tra idee collegate prima di tornare al punto — viene registrato come "pensiero disorganizzato".

Quando un algoritmo penalizza qualcuno perché è "riservato" invece che "estroverso", non sta misurando l'idoneità al lavoro. Sta misurando la prestazione sociale.

Niente di tutto ciò ha a che fare con la capacità di una persona di svolgere il lavoro. Tutto ha invece a che fare con quanto convincentemente una persona interpreta la neurotipicità davanti alla telecamera.

Una ricerca della Duke University ha scoperto che i grandi modelli linguistici associano sistematicamente i termini neurodivergenti a connotazioni negative. In alcuni modelli, "ho l'autismo" ottiene un punteggio più negativo di "sono un rapinatore di banche". Quando questi stessi modelli alimentano gli strumenti di assunzione tramite integrazioni API, portano quelle associazioni dritte nel processo di screening. Nessuno sviluppatore l'ha voluto. L'architettura l'ha garantito.

Ho scritto in modo più approfondito sui meccanismi tecnici di tutto questo in la versione interattiva della nostra ricerca, ma la versione breve è questa: non si può risolvere l'abilismo emergente con un wrapper attorno a un modello distorto. Il bias non è un bug. È una caratteristica di come è stato costruito il sistema.

Perché ho smesso di credere nel "privo di bias"

C'è stato un momento — e lo so collocare con precisione — in cui il mio modo di pensare a tutto questo è passato da "ci servono test sui bias migliori" a "l'intero paradigma è sbagliato".

Stavamo svolgendo un audit interno sulla pipeline di assunzione di un cliente. Roba standard: verifiche di parità demografica, rapporti di impatto avverso, le metriche che usano tutti. I numeri sembravano puliti. I tassi di assunzione tra i gruppi demografici rientravano in intervalli accettabili. Il cliente era contento. Il suo ufficio legale era contento.

Poi una delle mie ingegnere, Priya, ha posto una domanda che ha fatto ammutolire la stanza: "E se le persone che sarebbero state escluse non si fossero mai candidate, per cominciare?"

Aveva ragione. Stavamo misurando l'equità tra le persone che avevano superato il filtro della personalità. Ma il filtro stesso aveva già scremato il bacino dei candidati. Stavamo esaminando i sopravvissuti e lo chiamavamo equità.

È stato in quel momento che ho capito il difetto fondamentale dell'approccio "wrapper" all'equità dell'IA. Un wrapper prende un foundation model esistente — GPT-4, uno qualsiasi — vi fa passare i dati e presenta l'output. Puoi aggiungere controlli sui bias in cima. Puoi post-elaborare i risultati. Ma le rappresentazioni interne del modello hanno già codificato i bias dei suoi dati di addestramento. Stai attaccando un'etichetta di equità su una macchina fondamentalmente iniqua.

I dati di assunzione su cui questi modelli si addestrano riflettono decenni di preferenza neurotipica. Quando il modello viene messo in produzione, le sue decisioni rientrano nei futuri set di addestramento. I candidati riservati vengono rifiutati, così il modello impara che "riservato" predice il rifiuto, e quindi rifiuta ancora più candidati riservati. Il ciclo si stringe. Il bias si accumula. E la dashboard dice che va tutto bene.

Come si costruisce davvero un'IA per le assunzioni che non discrimina?

Questa è la domanda a cui ho passato gli ultimi anni cercando di rispondere. Non "come si rende l'IA meno distorta" — quell'impostazione accetta l'architettura attuale e cerca di rattopparla. La vera domanda è: come si costruiscono sistemi in cui il bias non può nascondersi?

L'approccio che abbiamo sviluppato in Veriprajna si fonda su un'intuizione centrale: la correlazione è il luogo in cui si nasconde la discriminazione. Il machine learning tradizionale trova schemi nei dati. Se uno stile di comunicazione neurotipico è correlato all'essere assunti, il modello userà lo stile di comunicazione come proxy dell'idoneità all'assunzione. Non sa di stare discriminando. Sta solo ottimizzando.

Per rompere questo meccanismo serve un ragionamento causale, non solo un riconoscimento statistico di schemi.

Usiamo una cosa chiamata Causal Representation Learning. Invece di chiederci "quali caratteristiche predicono il successo di un'assunzione?", ci chiediamo "quali caratteristiche predicono il successo di un'assunzione che non siano causalmente a valle di una caratteristica protetta?" È una domanda radicalmente diversa, e richiede un'architettura radicalmente diversa.

Vediamola così. Immagina il profilo di un candidato come una rete di attributi collegati. Alcune connessioni sono legittime — gli anni di esperienza si collegano al livello di competenza. Ma alcune connessioni passano per un territorio protetto — lo stile di comunicazione si collega al neurotipo, che si collega al punteggio che un test di personalità ti assegna, che si collega al fatto di ottenere o meno un colloquio. Il Causal Representation Learning mappa questi percorsi e recide matematicamente quelli illegittimi.

Lo abbiniamo all'adversarial training — una tecnica in cui mettiamo due modelli l'uno contro l'altro. Un modello cerca di prevedere le prestazioni lavorative. L'altro cerca di indovinare lo stato di disabilità del candidato a partire dalle rappresentazioni interne del primo modello. Se l'avversario ci riesce, significa che il predittore sta lasciando trapelare informazioni protette, e il sistema lo penalizza. Nel corso dei cicli di addestramento, il predittore impara a prendere decisioni che davvero non possono essere decodificate a ritroso per rivelare il neurotipo di una persona.

Non si può risolvere l'abilismo emergente con un wrapper attorno a un modello distorto. Il bias non è un bug. È una caratteristica di come è stato costruito il sistema.

E poi c'è il counterfactual testing — la parte che trovo intellettualmente più onesta. Prendiamo i dati di un candidato reale, generiamo un gemello sintetico in cui cambia solo la caratteristica protetta, e verifichiamo se la raccomandazione del modello resta la stessa. Non "le statistiche a livello di gruppo sono bilanciate?", ma "questa specifica persona otterrebbe un esito diverso se non fosse autistica?". Questa è la domanda che l'ADA pone davvero. Questa è la domanda a cui la maggior parte delle IA per le assunzioni non sa rispondere.

Per la spiegazione tecnica completa di questi metodi — la matematica dietro l'invarianza interventistica, le funzioni di perdita avversariali, i modelli causali strutturali — consulta il nostro documento di ricerca tecnica.

I regolatori non aspettano più

Una cosa il reclamo contro Aon l'ha resa inequivocabilmente chiara: l'era del "muoviti in fretta e verifica dopo" è finita.

L'iniziativa "Operation AI Comply" della FTC ha già portato ad azioni sanzionatorie contro aziende che avanzavano affermazioni infondate sull'IA. DoNotPay si è vista comminare una multa da 193.000 dollari per aver promesso troppo su ciò che il suo strumento legale basato sull'IA poteva fare. Rytr è stata presa di mira per aver generato recensioni false. La FTC è stata esplicita: se sostieni che il tuo strumento è "privo di bias", faresti meglio ad avere le prove empiriche per dimostrarlo. "L'abbiamo addestrato sui big data" non è una prova. È una confessione.

La EEOC, nel frattempo, ha fatto della discriminazione algoritmica una priorità assoluta di applicazione. La sua posizione è lineare: i datori di lavoro sono legalmente responsabili della discriminazione causata dagli strumenti di IA che acquistano, anche se il fornitore li ha imbrogliati con promesse sull'equità. Non puoi esternalizzare i tuoi obblighi in materia di diritti civili a un contratto software.

A volte mi chiedono se questa pressione normativa rallenterà l'adozione dell'IA nelle assunzioni. Penso sia la domanda sbagliata. La pressione rallenterà l'adozione dell'IAcattiva. Accelererà il mercato degli strumenti in grado di dimostrare davvero l'equità — non con testi di marketing, ma con prove verificabili. Le aziende che hanno investito in un'architettura rigorosa avranno un vantaggio enorme. Le aziende che hanno comprato wrapper avranno un conto legale enorme.

Progettare per cervelli che funzionano in modo diverso

Sotto gli argomenti tecnici e legali c'è una questione più profonda, ed è quella che mi sta più a cuore.

La maggior parte delle IA per le assunzioni è costruita su ciò che gli studiosi della disabilità chiamano il modello del "deficit medico" — l'assunto che i tratti neurodivergenti siano deviazioni da una norma che vanno individuate ed escluse. L'intera architettura presuppone che esista un modo "corretto" in cui un cervello deve funzionare, e il compito dell'algoritmo è trovare i candidati il cui cervello funziona in quel modo.

Questo non è solo eticamente fallimentare. È strategicamente idiota.

Le persone neurodivergenti eccellono spesso proprio nelle capacità che le aziende dicono di desiderare disperatamente: il riconoscimento profondo di schemi, l'attenzione costante al dettaglio, la risoluzione creativa dei problemi che rompe gli schemi convenzionali. Un sistema di assunzione che filtra in base a "vivacità" e "audacia sociale" sta sistematicamente escludendo le persone che più probabilmente vedono ciò che tutti gli altri non colgono.

In Veriprajna abbiamo iniziato a costruire quelli che penso come sistemi di valutazione temporalmente elastici. Invece di confrontare ogni candidato con una linea di base neurotipica — tempo di risposta medio, cadenza tipica del parlato, espressione emotiva attesa — il sistema stabilisce una linea di base individuale nelle prime fasi dell'interazione. Impara che aspetto ha il "normale" per questa persona, non per una media astratta.

Ci battiamo con forza anche per ciò che dovrebbe essere ovvio: ogni valutazione automatizzata deve includere un'opzione chiara e senza penalizzazioni per richiedere un'alternativa umana. L'ADA richiede un accomodamento ragionevole. Ma al di là della conformità legale, è semplicemente buona ingegneria. Qualsiasi sistema che si rompe quando un utente chiede un'interfaccia diversa è un sistema fragile.

La domanda a cui nessuno vuole rispondere

Quando presento questo lavoro, c'è sempre un momento di silenzio imbarazzato. Di solito arriva dopo che faccio notare che gli stessi strumenti di IA che le aziende Fortune 500 usano per "migliorare la diversità" potrebbero escludere sistematicamente i candidati con disabilità. Qualcuno nella sala — di solito chi ha firmato il contratto con il fornitore — si agita sulla sedia.

La verità scomoda è che la maggior parte delle imprese non ha mai sottoposto ad audit la propria IA di assunzione per il bias sulla disabilità. Hanno verificato le disparità razziali e di genere perché sono le metriche su cui i regolatori si sono storicamente concentrati. Ma la neurodivergenza? Non è nemmeno nella dashboard.

Il reclamo contro Aon cambia le cose. Non perché Aon sia peggiore di tutti — è rappresentativa di un approccio diffuso in tutto il settore. Cambia le cose perché dà un nome al meccanismo. Mostra esattamente come una "valutazione della personalità" diventa un filtro per la disabilità. E una volta che l'hai visto, non puoi più non vederlo.

Qualsiasi azienda che usa algoritmi proxy della personalità per selezionare i candidati sta sistematicamente escludendo proprio i talenti che guidano l'innovazione.

Penso al mio amico — il brillante ingegnere che non riusciva a superare il filtro della personalità. Alla fine è stato assunto da un'azienda che ha fatto invece una valutazione tecnica dal vivo. Nel giro di sei mesi aveva riprogettato l'intera pipeline di dati. Le undici aziende che l'avevano rifiutato non hanno solo perso una buona assunzione. Un algoritmo aveva detto loro che non valeva la pena parlargli.

Quello non è un problema di bias. È un sistema guasto che si racconta di funzionare.

Dove porta tutto questo

Il reclamo Aon-ACLU non è la fine di qualcosa. È l'inizio di una resa dei conti che ridisegnerà il modo in cui ogni impresa pensa all'IA nelle decisioni sul capitale umano.

Quando quest'ondata di azioni sanzionatorie e contenziosi raggiungerà il picco, le aziende ancora in piedi saranno quelle che hanno trattato la governance dell'IA come una disciplina ingegneristica, non come un esercizio di pubbliche relazioni. Quelle che hanno preteso una logica causale invece della correlazione. Quelle che hanno verificato l'equità individuale, non solo la parità demografica. Quelle che hanno progettato per l'intero spettro della cognizione umana, non solo per la fetta che per caso coincide con i dati di addestramento.

Non ho fondato Veriprajna per costruire strumenti di conformità. L'ho fondata perché credo che l'IA possa essere il più potente elemento di livellamento nella storia delle assunzioni — ma solo se la costruiamo nel modo giusto. Non wrapper su modelli distorti. Non proxy della personalità travestiti da psicometria. Sistemi profondi che capiscono la differenza tra ciò che una persona sa fare e il modo in cui è cablato il suo cervello.

L'algoritmo che ha rifiutato il mio amico undici volte non era malvagio. Era solo superficiale. E nelle assunzioni, superficiale è la stessa cosa di discriminatorio.

Possiamo costruire qualcosa di più profondo. Dobbiamo farlo.