Un tribunale ha appena detto a milioni di candidati che un software potrebbe averli discriminati

Ero seduto nella lobby di un hotel a Bangalore l'anno scorso, in attesa di una riunione in ritardo, scorrendo atti giudiziari sul telefono — come le persone normali scorrono Instagram — quando sono arrivato a un paragrafo che mi ha fatto posare la tazza di caffè.

Un giudice federale in California aveva appena stabilito che Workday, il colosso del software HR da 70 miliardi di dollari, poteva essere ritenuto responsabile come agente ai sensi della legge federale antidiscriminazione. Non uno strumento. Non una piattaforma neutrale. Un agente — la stessa categoria giuridica di un recruiter umano che scarta i curriculum in base all'età o alla razza di qualcuno.

Il querelante, Derek Mobley, un uomo afroamericano di oltre 40 anni con disabilità, era stato respinto da più di 100 lavori. Molti di questi rifiuti arrivavano entro pochi minuti dalla candidatura, spesso fuori dall'orario lavorativo. Nessun essere umano aveva guardato il suo curriculum. Il software decideva che non valeva la pena considerarlo, e lo faceva ripetutamente con coerenza algoritmica.

Io costruisco sistemi di IA. La mia azienda, Veriprajna, progetta architetture cognitive per le imprese — quel tipo di IA profonda e deterministica che dovrebbe sostituire le scorciatoie approssimative e probabilistiche che gran parte del settore vende. E quando ho letto quella sentenza, il mio primo pensiero non è stato "questo è un male per Workday." È stato: gran parte del settore del recruitment basato sull'IA è costruita sulle stesse fondamenta marce, e quasi nessuno ne parla.

1,1 miliardi di rifiuti e un giudice che se n'è accorto

Lasciate che vi dia il numero che ha ammutolito la stanza quando l'ho condiviso con il mio team di ingegneri.

Durante il periodo rilevante del caso Workday, circa 1,1 miliardi di candidature sono state respinte tramite il software di Workday. Non è un errore di battitura. Miliardi, con la M.

Nel maggio 2025, un tribunale federale ha concesso la certificazione preliminare di un'azione collettiva a livello nazionale per discriminazione basata sull'età ai sensi dell'ADEA — l'Age Discrimination in Employment Act. Ciò significa che ogni persona di oltre 40 anni a cui è stata negata una raccomandazione di assunzione tramite la piattaforma di Workday dal settembre 2020 potrebbe essere notificata e potrebbe aderire al caso. Entro il luglio 2025, il tribunale ha ampliato la portata per includere i candidati elaborati tramite HiredScore, uno strumento di assunzione basato sull'IA che Workday aveva acquisito.

Quando un software respinge un miliardo di candidature e un tribunale dice "quel software è legalmente il vostro agente," l'intero settore dell'HR tech ha un problema strutturale, non un problema di immagine.

Ricordo la discussione che abbiamo avuto internamente su questo. Uno dei miei ingegneri — un tipo brillante, con solide basi di ML — ha detto: "Ma Workday esegue semplicemente un motore di raccomandazione. È come incolpare Google per aver mostrato risultati di ricerca scadenti." E io ho risposto: "No. È come incolpare un'agenzia di reclutamento che hai assunto per selezionare i candidati e che ha scartato ogni curriculum di chiunque si sia laureato prima del 1995."

Il tribunale ha tracciato esattamente questa distinzione. La giudice Rita Lin ha separato gli "strumenti semplici" — fogli di calcolo, email — dai sistemi che valutano, classificano e raccomandano attivamente i candidati. L'IA di Workday non organizzava dati affinché un essere umano li esaminasse. Svolgeva la tradizionale funzione datoriale di decidere chi avanza e chi no. Questo è agire da agente. Questa è responsabilità.

Come impara un algoritmo a essere ageista?

Questa è la parte che mi tiene sveglio la notte, perché il meccanismo è così banale.

Nessuno in Workday — lo credo davvero — si è seduto e ha scritto codice che dice if age > 40: reject(). Sarebbe illegale in modo caricaturale e banalmente rilevabile. Il problema reale è più sottile e, onestamente, più difficile da risolvere.

Quando addestri un modello di machine learning sui dati storici di assunzione di un'azienda — i suoi "dipendenti di successo" — gli stai fornendo ogni pregiudizio che quei responsabili delle assunzioni abbiano mai avuto. Se l'azienda ha storicamente assunto lavoratori più giovani per i ruoli di ingegneria, il modello impara che i segnali correlati alla giovinezza predicono il "successo." Non l'età direttamente. Proxy.

Ecco cosa un sistema di screening basato sull'IA può dedurre sulla tua età senza mai vedere la tua data di nascita:

Il dominio della tua email. Un indirizzo @aol.com o @hotmail.com è correlato a una fascia demografica di utenti più anziana. I tuoi riferimenti tecnologici — elencare competenze in Lotus Notes o COBOL ti colloca in un'epoca specifica. Gli anni totali di esperienza, dove "oltre 15 anni" diventa un'ancora temporale. Persino i marcatori di progressione di carriera: un titolo di "Junior Programmer" dei primi anni '90 dice al modello esattamente quando sei entrato nel mondo del lavoro.

L'ho testato con il mio team. Abbiamo costruito un dataset sintetico — curriculum fittizi con variabili controllate — e li abbiamo fatti passare attraverso una pipeline di screening standard basata su transformer. Al modello non era mai stato detto nulla sull'età. Ma quando abbiamo misurato i tassi di selezione usando la Four-Fifths Rule dell'EEOC — che segnala un impatto sfavorevole quando il tasso di selezione di un gruppo protetto scende sotto l'80% del tasso del gruppo più alto — i risultati per i candidati di oltre 40 anni erano devastanti. Tassi di selezione pari alla metà di quelli dei candidati più giovani. Rapporti di impatto intorno a 0,50, ben al di sotto della soglia di 0,80.

L'algoritmo non ha bisogno di conoscere la tua età. Gli bastano il tuo provider di posta elettronica, il tuo vocabolario e la cronologia della tua carriera. Al resto pensa la matematica.

Nessuno ha programmato la discriminazione. I dati di addestramento sono la discriminazione, cristallizzata in pesi e parametri e restituita su larga scala.

Perché "Usa e basta GPT" è la risposta sbagliata

Me lo sento dire di continuo. Da investitori, da potenziali clienti, da CTO ben intenzionati che hanno letto tre post di blog sulla trasformazione dell'IA. "Perché non ti limiti a incapsulare GPT-4? È abbastanza buono."

Un investitore me l'ha detto in faccia durante un pitch. Si è appoggiato allo schienale, con le braccia incrociate, e ha detto: "Ashutosh, OpenAI ha speso miliardi su questo. Mi stai dicendo che la tua azienda di 40 persone costruirà qualcosa di migliore?"

Gli ho detto che stava ponendo la domanda sbagliata. La domanda non è se GPT-4 sia "migliore" nel generare testo. Ovviamente lo è. La domanda è se un motore di generazione di testo probabilistico debba prendere decisioni che determinano se un'ingegnere del software di 52 anni possa sfamare la sua famiglia.

Il mercato è inondato di ciò che io chiamo wrapper LLM — sottili livelli applicativi che riconfezionano gli output di modelli fondazionali come GPT-4 o Claude e li vendono come "soluzioni di recruitment basate sull'IA." Sembrano impressionanti nelle demo. Falliscono catastroficamente in produzione, ed ecco perché.

Un LLM prevede il token successivo più probabile. Tutto qui. È un sofisticato motore di completamento automatico. Non ragiona sul fatto che un candidato soddisfi un requisito professionale. Genera testo che sembra ragionamento. E nel recruitment, il divario tra "sembra ragionamento" e "ragiona davvero" è il divario tra conformità e una class action.

Esiste un fenomeno ben documentato chiamato sindrome del lost-in-the-middle: le architetture transformer standard mostrano un'elevata accuratezza quando elaborano informazioni all'inizio e alla fine della loro finestra di contesto, ma l'attenzione cala significativamente nel mezzo. In un curriculum di 10 pagine, certificazioni critiche o risultati recenti sepolti nelle sezioni centrali hanno statisticamente maggiori probabilità di essere trascurati. Non perché il modello abbia deciso che non erano importanti — ma perché l'architettura letteralmente non può prestare uguale attenzione a tutto.

Ho scritto di questa limitazione architetturale e del nostro approccio per risolverla nella versione interattiva della nostra ricerca.

E poi c'è il problema economico. I wrapper LLM affrontano ciò che io chiamo assorbimento del moat — man mano che i fornitori di modelli fondazionali rilasciano modelli base più capaci, integrano inevitabilmente le funzionalità su cui i wrapper fanno affidamento come proposta di valore. Analisi dei curriculum, analisi del sentiment, matching di base — OpenAI e Google alla fine li offriranno nativamente. Un'azienda che si limita a incapsulare un'API sta cancellando il proprio vantaggio competitivo con ogni interazione con i clienti.

La notte in cui abbiamo mandato in tilt il nostro stesso sistema

Voglio raccontarvi di un giovedì sera di circa otto mesi fa, perché ha cambiato il modo in cui penso a tutto ciò che costruiamo.

Stavamo testando un prototipo del nostro modulo di screening per il recruitment — la nostra architettura neuro-simbolica, che spiegherò tra un momento — rispetto a un dataset di riferimento. Il sistema si comportava splendidamente sulle metriche di accuratezza. La precisione era alta. Il recall era solido. Il mio ingegnere ML principale, che ci aveva lavorato 14 ore al giorno, era praticamente raggiante.

Poi la nostra analista di conformità ha eseguito l'audit sull'equità.

Il sistema mostrava violazioni della parità demografica sullo stato di disabilità. Non enormi — il rapporto di impatto era intorno a 0,78, appena sotto la soglia di 0,80. Ma c'era. Il nostro stesso sistema, quello che avevo detto a tutti essere "resistente ai bias by design," produceva esiti discriminatori.

La stanza è piombata nel silenzio. Mi sono sentito male.

Abbiamo passato i tre giorni successivi a smontare la pipeline. Il colpevole si è rivelato essere una caratteristica nei nostri dati di addestramento che avevamo dato per neutrale: la durata dei periodi di inattività lavorativa. I candidati con disabilità hanno statisticamente maggiori probabilità di avere interruzioni di carriera — per congedi medici, per transizioni lavorative legate all'accessibilità, per periodi di recupero. Il nostro modello aveva imparato che le interruzioni predicevano un "successo" inferiore, e penalizzava la disabilità tramite un proxy.

Abbiamo individuato il bias perché lo stavamo cercando. La maggior parte delle aziende che usano strumenti di recruitment basati sull'IA pronti all'uso non lo cerca. Non sanno nemmeno che dovrebbero.

L'abbiamo corretto usando il debiasing avversariale — addestrando un modello "avversario" secondario a prevedere le caratteristiche protette a partire dall'output del nostro predittore, per poi penalizzare il predittore ogni volta che l'avversario ci riesce. È una tecnica in-processing che costringe il sistema a disimparare gli schemi discriminatori invece di limitarsi a mascherarli in post-elaborazione.

Ma la lezione non era tecnica. La lezione era: se noi, un'azienda ossessionata dall'equità e dalla verifica, abbiamo quasi rilasciato un sistema distorto, cosa stanno rilasciando tutti gli altri?

Cosa significa davvero "Deep AI" per le assunzioni?

Quando dico che costruiamo "Deep AI" invece di wrapper LLM, non intendo che usiamo reti neurali più profonde. Intendo che andiamo più a fondo nel problema.

La nostra architettura è neuro-simbolica — combina le capacità linguistiche delle reti neurali con il rigore logico del ragionamento simbolico. In pratica, questo significa che l'LLM nel nostro sistema non è chi prende le decisioni. È il traduttore.

Ecco come funziona, senza il gergo tecnico:

Quando un curriculum entra nel nostro sistema, un modello linguistico specializzato estrae fatti strutturati — "questa persona ha 5 anni di esperienza in Python," "questa persona possiede una certificazione PMP," "questa persona ha lavorato presso l'Azienda X dal 2018 al 2022." Queste non sono interpretazioni. Sono estrazioni di entità, mappate su un knowledge graph che definisce le relazioni tra competenze, ruoli e requisiti organizzativi.

Poi — e questa è la parte cruciale — un motore di regole deterministico valuta quei fatti estratti rispetto ai requisiti del lavoro. Non una rete neurale. Non una distribuzione di probabilità. Logica vera e propria: IF experience >= 5 AND skill == Python THEN eligible = TRUE. L'LLM non può allucinare la policy perché la policy vive nel codice, non nei pesi.

Ogni raccomandazione genera una traccia logica verificabile. Puoi risalire esattamente a quale regola è stata attivata, da quale dato, in quale sezione del file del candidato. Quando un regolatore o l'avvocato di un querelante chiede "perché questa persona è stata respinta?" — hai una risposta che non è "il modello l'ha pensato."

Lo proteggiamo con ciò che chiamiamo guardrail costituzionali — tre livelli di protezione che operano prima, durante e dopo ogni interazione. Gli input rail intercettano prompt avversariali e fughe di dati personali (PII) prima che raggiungano la logica centrale. I dialog rail impongono i confini della conversazione. Gli output rail scansionano ogni risultato alla ricerca di allucinazioni, tossicità o violazioni delle policy prima che qualcosa raggiunga un recruiter umano.

Non è teoria. Per l'analisi tecnica completa della nostra architettura e del quadro giuridico che la guida, consulta il nostro documento di ricerca.

Si può davvero rendere equa l'IA nelle assunzioni?

Me lo chiedono di continuo, di solito con un tono scettico che lascia intendere che pensano che la risposta sia no.

La mia risposta onesta: non puoi renderla perfettamente equa. L'equità nelle assunzioni comporta compromessi intrinseci — matematici, non solo filosofici. Ottimizzare per la parità demografica (tassi di selezione uguali tra i gruppi) può entrare in conflitto con l'uguaglianza delle probabilità (tassi uguali di veri positivi e falsi positivi). Ottimizzare per la parità predittiva (garantire che un punteggio alto significhi la stessa cosa per ogni gruppo) può entrare in conflitto con entrambe.

Ma puoi renderla enormemente più equa dello status quo, che è fatto o di esseri umani prevenuti o di algoritmi prevenuti che fingono di essere neutrali. E puoi renderla verificabile, che è ciò che la legge in realtà richiede.

Usiamo SHAP — SHapley Additive exPlanations — per assegnare un valore di contributo a ogni caratteristica in ogni decisione. "La competenza X ha contribuito con +15 al punteggio di questo candidato. Il periodo di inattività lavorativa ha contribuito con -3." Usiamo LIME — Local Interpretable Model-agnostic Explanations — per verificare se piccole modifiche ribalterebbero una decisione. Se cambiare il CAP di un candidato cambia l'esito, qualcosa non va.

Generiamo spiegazioni controfattuali: "Questo candidato non è stato selezionato perché privo della certificazione Y. Se avesse avuto la certificazione Y, avrebbe ottenuto un punteggio superiore alla soglia." Questa non è una scatola nera. È una scatola di vetro, ed è ciò che impongono le linee guida dell'EEOC del maggio 2023.

Il modello a tre linee di difesa che la maggior parte delle aziende non ha

Ecco una cosa che mi ha scioccato quando ho iniziato a parlare con i team HR aziendali dei loro strumenti di IA: la maggior parte di loro non ha idea di quali modelli stia utilizzando.

Lo intendo letteralmente. Ero seduto in una riunione con il CHRO di un'azienda della Fortune 500 — una persona responsabile di decisioni di assunzione che riguardano decine di migliaia di persone all'anno — e ho chiesto: "Puoi dirmi i tassi di selezione per gruppo demografico del tuo strumento di screening basato sull'IA?" Sguardo assente. "Puoi dirmi quale modello usa?" Sguardo assente più lungo. "Puoi dirmi chi lo ha validato per i bias?" Ha risposto: "Penso che se ne occupi il fornitore."

Il fornitore "se ne occupa." Lo stesso fornitore che, secondo il precedente Workday, ora è potenzialmente responsabile come vostro agente. Lo stesso fornitore che quasi certamente ha una clausola nel contratto che declina ogni responsabilità per esiti discriminatori.

L'IA aziendale nel recruitment richiede ciò che i professionisti del risk management chiamano un modello a tre linee di difesa:

Prima linea: le unità di business che costruiscono e implementano l'IA. Sono responsabili della selezione dei dati di addestramento, delle tecniche di assunzione anonima che rendono anonimi i nomi e gli anni di laurea, e del monitoraggio quotidiano.

Seconda linea: supervisione di rischio e conformità. Registri dei modelli — un inventario centrale di ogni modello di IA, il suo scopo, le sue fonti di dati, il suo livello di rischio. Monitoraggio continuo dei tassi di selezione e dei rapporti di impatto. Verifica dei fornitori che esiga documentazione dei test sui bias, non solo slide di marketing.

Terza linea: audit indipendente. La Local Law 144 di New York impone già audit annuali sui bias da parte di terzi indipendenti per gli strumenti automatizzati di decisione sull'occupazione. Le sanzioni partono da 500 dollari per la prima infrazione e salgono a 1.500 dollari per violazione al giorno. Ma il costo reale non è la multa — è ciò che accade quando un tribunale ordina che il nome della vostra azienda venga inviato a milioni di candidati potenzialmente lesi, che è esattamente ciò che consente la certificazione collettiva Workday.

Perché l'"IA sovrana" è il futuro delle assunzioni aziendali

Il caso Workday sta accelerando un cambiamento che osservo da due anni: il passaggio verso ciò che io chiamo IA sovrana nel recruitment aziendale.

Le aziende si stanno rendendo conto che inviare i propri dati proprietari sulle assunzioni a un'API di terze parti significa che quei dati potrebbero essere usati per addestrare la prossima generazione del modello di qualcun altro. Stanno realizzando che quando un'API pubblica si aggiorna — cosa che accade senza preavviso — la loro pipeline di screening attentamente validata può andare alla deriva da un giorno all'altro, producendo esiti diversi per gli stessi candidati. Stanno capendo che gli LLM generici mancano dei knowledge graph specifici del dominio necessari per una valutazione professionale accurata.

Le aziende con cui parlo vogliono sempre più possedere i propri modelli. Eseguirli nei propri cloud privati virtuali. Controllare quando e come si aggiornano. Mantenere tracce di audit complete che non dipendano dalla buona volontà di un fornitore.

È qui che siamo diretti in Veriprajna. Non vendiamo accesso alle API. Costruiamo architetture cognitive che codificano la conoscenza istituzionale, le regole di conformità e la logica deterministica in sistemi che usano l'IA come una potente interfaccia — non come un oracolo fallibile che prende decisioni che cambiano la vita sulla base di sensazioni statistiche.

Il pensiero che non riesco a togliermi dalla testa

Continuo a tornare a Derek Mobley. Oltre 100 candidature. Respinto da un software, spesso in pochi minuti, nel cuore della notte. Nessun essere umano ha mai guardato le sue qualifiche. Nessuno gli ha mai detto il perché.

E non è un caso insolito. È semplicemente quello che ha fatto causa.

Ci sono milioni di persone — persone qualificate, esperte, capaci — che sono state filtrate ed escluse dalle opportunità di lavoro da algoritmi addestrati su pregiudizi storici, implementati senza test adeguati e gestiti senza una supervisione significativa. Non hanno ricevuto una lettera di rifiuto che spiegasse che il loro indirizzo email @hotmail.com era correlato a una fascia d'età che il modello aveva imparato a penalizzare. Hanno ricevuto solo silenzio, o un'email standard, e sono passati alla candidatura successiva.

La sentenza Workday non risolve questo problema. Ma fa qualcosa di quasi altrettanto importante: rende il problema costoso. E nel software aziendale, i problemi costosi vengono risolti.

La domanda non è più se l'IA debba essere usata nelle assunzioni. È se l'IA che stai usando possa sopravvivere a una deposizione.

Costruisco IA per vivere, e credo profondamente nel suo potenziale di rendere le assunzioni più eque, più efficienti e più umane. Ma solo se smettiamo di trattare l'IA per il recruitment come un prodotto di consumo e iniziamo a trattarla per ciò che è: un sistema decisionale ad alto rischio che determina i mezzi di sussistenza delle persone, operando in uno dei settori più fortemente regolamentati del diritto americano.

L'era della scatola nera è finita. Costruite di conseguenza.