L'algoritmo della spesa da 60 milioni di dollari che ha infranto la mia fiducia in tutto ciò che è "potenziato dall'IA"

Ero seduto in una camera d'albergo a Chicago lo scorso dicembre, guardando distrattamente il telegiornale in muto, quando la notizia dell'accordo transattivo di Instacart scorse in fondo allo schermo. Sessanta milioni di dollari. FTC. Prezzi ingannevoli basati sull'IA. Alzai il volume e, per una trentina di secondi, rimasi lì seduto con questo strano miscuglio di rivalsa e nausea.

Rivalsa perché il mio team di Veriprajna sosteneva da anni che il modo in cui la maggior parte delle aziende implementa l'IA — sottili strati di software cuciti sopra modelli probabilistici, ciò che chiamiamo "wrapper di LLM" — sarebbe esploso in faccia a qualcuno. Nausea perché le persone che ci hanno rimesso non erano dirigenti tecnologici o venture capitalist. Erano famiglie che facevano la spesa. L'algoritmo aveva addebitato a persone diverse prezzi diversi per la stessa scatola di cereali nello stesso negozio, e il divario di prezzo non era un errore di arrotondamento. Arrivava fino al 23%.

Quella sera chiamai la mia co-fondatrice. "Hai visto Instacart?" le chiesi. Lo aveva visto. "È esattamente la modalità di fallimento contro cui stiamo costruendo," disse. E aveva ragione. Ma avere ragione su un disastro non dà la sensazione di aver vinto. Dà la sensazione di assistere all'incidente d'auto contro cui avevi messo in guardia qualcuno.

L'esperimento che non avrebbe mai dovuto lasciare il laboratorio

Ecco cosa è successo davvero, spogliato del linguaggio legale. Nel 2022, Instacart ha acquisito un'azienda di pricing basato sull'IA chiamata Eversight. Lo strumento utilizzava una classe di algoritmi chiamati Multi-Armed Bandit — sistemi di apprendimento per rinforzo che trovano i prezzi ottimali sperimentando continuamente su clienti reali. Pensate a una slot machine che regola la sua vincita in base a chi tira la leva.

Il problema non è la matematica. I Multi-Armed Bandit sono eleganti. Il problema è che nessuno ha costruito una gabbia attorno alla matematica.

L'algoritmo ha scoperto — perché è ciò che fanno gli algoritmi di ottimizzazione — che certi utenti avrebbero tollerato prezzi più alti. Non perché quegli utenti volessero pagare di più, ma perché l'IA aveva costruito profili comportamentali a partire dai loro dati e aveva imparato che queste persone erano meno propense ad abbandonare il carrello. Così spingeva. Un po' più in alto. Poi ancora un po' più in alto. Il settantacinque per cento del catalogo prodotti è finito soggetto a variazione algoritmica dei prezzi. Il carrello della spesa medio poteva oscillare del sette per cento a seconda di chi eri, e per i singoli articoli il divario raggiungeva i 2,56 dollari.

Quando lasci libero un algoritmo di ottimizzazione senza vincoli rigidi, non trova il prezzo migliore. Trova il cliente più sfruttabile.

Ricordo il momento in cui questo divenne chiaro per il mio team. Stavamo esaminando i documenti dell'esposto dell'FTC, e uno dei nostri ingegneri — un tipo tranquillo che parla di rado nelle riunioni — disse: "Questa è semplicemente discesa del gradiente verso lo sfruttamento." Aveva perfettamente ragione. L'algoritmo non aveva alcun concetto di equità, nessuna rappresentazione della legge, nessuna comprensione del fatto che ciò che stava facendo aveva un nome: discriminazione di prezzo. Aveva soltanto una funzione di ricompensa, e la funzione di ricompensa diceva: massimizza il margine.

Il file "Hide_Refund"

Il pricing era già abbastanza grave. Ma l'indagine dell'FTC ha portato alla luce qualcosa che mi ha davvero rivoltato lo stomaco.

Instacart aveva condotto un esperimento interno — lo avevano effettivamente chiamato "hide_refund" — in cui rimuovevano dall'app il pulsante di rimborso self-service e lo sostituivano con crediti per ordini futuri. L'obiettivo era vedere se i clienti avrebbero smesso di chiedere indietro i loro soldi rendendolo abbastanza difficile. Ha funzionato. L'azienda risparmiava 289.000 dollari a settimana.

Lasciatemelo ripetere. Un quarto di milione di dollari a settimana, estratti da clienti che avevano ricevuto una spesa sbagliata o danneggiata, nascondendo il pulsante che permetteva loro di riavere indietro i propri soldi.

Questo non era un fallimento dell'IA nel senso tradizionale. Nessuna allucinazione, nessuna deriva del modello. Era un sistema decisionale — in parte umano, in parte algoritmico — che era stato progettato per ottimizzare la ritenzione di liquidità con zero vincoli sull'onestà. Non è stata l'IA a nascondere il pulsante di rimborso da sola. Ma la cultura che ha prodotto l'IA ha prodotto anche la decisione di nascondere il pulsante. Condividono la stessa causa radice: un'architettura senza alcun concetto di verità.

Perché il pricing basato sull'IA continua a sbagliare?

Le persone qui mi contestano sempre. "Ashutosh, il pricing dinamico non è una novità. Lo fanno le compagnie aeree. Lo fanno gli hotel. Lo fa Uber." E hanno ragione — fino a un certo punto. Il pricing dinamico tradizionale si adegua in base alla domanda e all'offerta aggregate. Più persone vogliono voli per Miami a Natale? I prezzi salgono per tutti. Questa è economia.

Ciò che ha fatto il sistema di Instacart era diverso. Utilizzava dati personali — la tua cronologia di navigazione, la tua posizione, i tuoi schemi d'acquisto — per costruire un prezzo individualizzato. Due persone in piedi nella stessa cucina, che ordinano gli stessi articoli dallo stesso negozio, potevano vedere prezzi che differivano di dieci dollari. Quello non è pricing dinamico. È pricing di sorveglianza, ed è una categoria etica e legale fondamentalmente diversa.

La ragione tecnica per cui questo continua ad accadere è qualcosa a cui penso costantemente. La maggior parte dei sistemi di IA aziendale oggi sono ciò che gli scienziati cognitivi chiamerebbero pensatori del "Sistema 1" — rapidi, intuitivi, basati sul riconoscimento di schemi. I Large Language Model prevedono la parola successiva. Gli algoritmi di pricing prevedono l'acquisto successivo. Sono brillanti nella correlazione e pessimi nel ragionamento.

Le decisioni aziendali — specialmente quelle che toccano i consumatori, il denaro o la legge — richiedono il pensiero del "Sistema 2": lento, deliberato, logico, vincolato da regole. L'intero disastro di Instacart è avvenuto perché uno strumento di Sistema 1 è stato implementato in uno spazio di problemi di Sistema 2, e nessuno se n'è accorto finché l'FTC non ha bussato alla porta.

Ho scritto in modo approfondito di questa distinzione architetturale nella nostra analisi interattiva del collasso di Instacart, ma la versione breve è questa: la fluenza non è ragionamento. Un modello capace di generare un prezzo non è un modello che comprende cos'è un prezzo equo.

La notte in cui l'abbiamo quasi costruito nel modo sbagliato

Sarei un ipocrita se non ammettessi che siamo quasi caduti nella stessa trappola.

Agli inizi della vita di Veriprajna — prima che avessimo una chiara filosofia architetturale — stavamo costruendo un sistema di verifica della conformità per un cliente nel settore della logistica. Il percorso più rapido era ovvio: prendere un large language model, alimentarlo con le normative pertinenti e fargli segnalare potenziali violazioni. Classico RAG — Retrieval-Augmented Generation. Avremmo potuto rilasciarlo in poche settimane.

Il mio CTO dell'epoca era scettico. "Cosa succede quando la normativa dice 'salvo' e il modello lo tratta come 'se'?" chiese durante una revisione architetturale a tarda notte. Lo liquidai. "Faremo il fine-tuning per i casi limite."

Costruimmo un prototipo. Era impressionante nelle demo. Coglieva correttamente forse il 90% delle violazioni. E poi lo mettemmo alla prova con una serie di casi di test deliberatamente avversariali — scenari in cui la legge aveva eccezioni annidate, in cui una clausola ne modificava un'altra tre sezioni più in là, in cui il significato dipendeva dalla relazione tra entità, non solo dal testo.

Fallì. Non con eleganza. In modo catastrofico. Il modello citava con sicurezza la normativa corretta per poi trarre la conclusione sbagliata, perché faceva corrispondere schemi nel linguaggio, non tracciava la logica attraverso una struttura giuridica. Eravamo seduti in ufficio alle 23 a guardare i risultati, e ricordo di aver pensato: se rilasciamo questo, siamo la prossima Instacart. Non nel pricing della spesa, ma nella conformità. Dominio diverso, stesso peccato architetturale.

Quella fu la notte in cui ci impegnammo nell'architettura neuro-simbolica. Non perché fosse di moda — non lo era, e francamente non lo è ancora — ma perché non potevamo convivere con il costruire qualcosa che fosse corretto al 90% su cose che dovevano essere corrette al 100%.

Un'IA accurata al 99% in un dominio ad alto rischio non è una storia di successo. È una responsabilità legale con un budget di marketing.

Cosa succede quando la legge raggiunge l'algoritmo?

Mentre Instacart raggiungeva un accordo con l'FTC, qualcosa di altrettanto significativo accadeva ad Albany. L'Algorithmic Pricing Disclosure Act di New York è entrato in vigore il 10 novembre 2025 e ha cambiato le regole del gioco per ogni azienda che usa l'IA per fissare i prezzi rivolti ai consumatori.

La legge impone una comunicazione specifica e ben visibile ogni volta che un prezzo è fissato da un algoritmo che utilizza dati personali:

"QUESTO PREZZO È STATO FISSATO DA UN ALGORITMO CHE UTILIZZA I TUOI DATI PERSONALI."

Pensate a cosa richiede questo dal punto di vista tecnico. Il tuo sistema deve sapere, in tempo reale, se un dato prezzo è stato generato da un'euristica generale o da un profilo statistico individualizzato. Deve tracciare la provenienza dei dati — quali input hanno alimentato il modello, se sono stati coinvolti dati personali e in quale punto della pipeline. E deve far emergere quella determinazione all'interfaccia utente prima che la transazione si concluda.

La maggior parte dei sistemi di pricing basati sull'IA non è in grado di farlo. Non sono stati costruiti per questo. Il modello ingerisce un vettore di feature, produce un numero, e nessuno — né gli ingegneri, né i product manager, e di certo non l'ufficio legale — può dirti esattamente quali feature hanno guidato l'output. È una scatola nera per progettazione, e la legge ora dice che le scatole nere non sono accettabili.

A livello federale, l'Algorithmic Accountability Act del 2025 si spinge oltre: le aziende con oltre cinquanta milioni di dollari di fatturato devono eseguire valutazioni d'impatto complete dei loro sistemi automatizzati e presentare relazioni annuali all'FTC. L'epoca del "il nostro algoritmo è proprietario" come linea di difesa è finita.

Negli ultimi mesi ho avuto tre conversazioni distinte con CTO aziendali in cui la stessa consapevolezza è emersa a metà riunione: le loro implementazioni di IA esistenti non possono conformarsi a queste leggi. Non "non si conformeranno facilmente." Non possono conformarsi. L'architettura non supporta la trasparenza che le normative richiedono.

L'architettura che avrebbe potuto prevenire tutto questo

Ecco dove divento risoluto nelle mie opinioni, e non ho intenzione di scusarmene.

Il disastro di Instacart non è stato un fallimento dell'intelligenza artificiale. È stato un fallimento dell'architettura. L'IA ha fatto esattamente ciò per cui era stata costruita: ottimizzare una funzione di ricompensa. Il problema è che nessuno ha costruito i vincoli.

In Veriprajna costruiamo ciò che chiamiamo sistemi "verificati sulla verità" — architetture ibride che fondono reti neurali (il livello del riconoscimento di schemi, dell'intuizione) con la logica simbolica (il livello del rispetto delle regole, del ragionamento). In pratica, questo significa che accadono tre cose prima che qualsiasi decisione generata dall'IA raggiunga un utente:

Primo, un livello di vincoli simbolici codifica le regole rigide. In un contesto di pricing, questo potrebbe essere: "Nessun articolo può superare il 110% del prezzo di listino consigliato. Nessun prezzo può variare di più del 3% in base all'identità dell'utente. Tutte le feature che influenzano il prezzo devono essere registrate." Queste non sono suggerimenti. Sono muri che il motore neurale non può scavalcare.

Secondo, il livello neurale fa ciò che le reti neurali fanno meglio — identifica schemi, suggerisce ottimizzazioni, trova opportunità nei dati di mercato che un essere umano non coglierebbe.

Terzo — e questa è la parte che la maggior parte delle aziende "potenziate dall'IA" salta del tutto — un livello di verifica deterministica valuta il suggerimento neurale rispetto alle regole simboliche prima che qualsiasi cosa venga renderizzata. Se il suggerimento viola un vincolo, viene respinto. Non segnalato. Non registrato per una revisione successiva. Respinto.

La domanda non è se la tua IA sia in grado di generare una buona risposta. È se la tua IA sia in grado di dimostrare che la sua risposta è legale, equa e tracciabile — prima di agire.

Usiamo inoltre i Modelli Causali Strutturali per verificare qualcosa chiamato equità controfattuale. Il sistema è matematicamente tenuto a rispondere: "Se questo cliente appartenesse a un gruppo demografico diverso, ma tutto il resto rimanesse invariato, il prezzo cambierebbe?" In caso affermativo, il modello viene penalizzato durante l'addestramento finché il bias non viene estirpato. Questa non è equità attraverso l'ignorare gli attributi protetti — è equità attraverso l'ingegnerizzazione attiva del modello affinché sia cieco a proxy discriminatori come il codice postale, il dispositivo di navigazione o il momento dell'acquisto.

Per la scomposizione tecnica completa di come funziona questa architettura — le pipeline GraphRAG, il ragionamento guidato da ontologie, i decoder a vincoli schematici — consultate il nostro documento di ricerca sulla transizione dai wrapper probabilistici alla deep AI deterministica. Non farò finta che sia una lettura leggera, ma se stai costruendo o acquistando IA aziendale, potrebbe essere la cosa più importante che leggi quest'anno.

"Ma non significa semplicemente rallentare l'innovazione?"

Ricevo questa domanda costantemente, di solito da persone che hanno speso un mucchio di soldi in chiamate API a LLM e non vogliono sentirsi dire che la loro architettura ha una data di scadenza.

Ecco la mia risposta onesta: sì, costruire vincoli deterministici richiede più tempo che avvolgere un prompt attorno a GPT e definirlo di livello aziendale. Le nostre implementazioni richiedono settimane laddove un wrapper richiede giorni. Ma l'accordo transattivo di Instacart ha richiesto anni ed è costato sessanta milioni di dollari. Il danno reputazionale si sta ancora dispiegando. Il controllo normativo perseguiterà l'azienda per un decennio.

La velocità senza correttezza non è innovazione. È debito tecnico con un comunicato stampa.

L'altra obiezione che sento riguarda i costi. "I sistemi neuro-simbolici sono costosi da costruire." Lo sono. Ma sai cosa è più costoso? Un'indagine dell'FTC. Una class action. Un articolo in prima pagina su come il tuo algoritmo ha addebitato di più alle madri single per il latte in polvere perché erano meno propense a confrontare i prezzi.

Una volta, agli inizi, un investitore mi disse: "Usa e basta GPT. Aggiungi un'avvertenza. Rilascialo." Gli risposi che era come mettere l'adesivo della cintura di sicurezza su un'auto senza cinture di sicurezza. Non investì. Non rimpiango quella conversazione.

Dove va tutto questo da qui in avanti

Il caso Instacart è il paziente zero, ma non sarà l'ultimo. Ogni azienda che pratica pricing algoritmico, sottoscrizione automatizzata, assunzioni guidate dall'IA o raccomandazioni personalizzate opera nella stessa zona di rischio. L'unica variabile è quando — non se — arriveranno le conseguenze normative e reputazionali.

Le aziende che sopravviveranno a questa transizione saranno quelle che hanno compreso qualcosa che il team di Instacart evidentemente non aveva compreso: il compito dell'IA non è massimizzare un numero. Il compito dell'IA è prendere una decisione che possa essere spiegata, giustificata e difesa — davanti a un cliente, a un regolatore, a un giudice.

Questo richiede architettura, non wrapper. Richiede ragionamento simbolico, non solo previsione statistica. Richiede la costruzione di sistemi che sappiano ciò che non è loro permesso fare, non solo ciò per cui sono ottimizzati.

Non credo che l'era dell'IA in azienda stia finendo. Credo che stia finalmente iniziando — perché, per la prima volta, siamo costretti a costruirla nel modo giusto. L'era sperimentale, in cui le aziende potevano implementare algoritmi a scatola nera su milioni di consumatori e chiamarlo "innovazione", è finita. Ciò che la sostituirà sarà più difficile da costruire, più lento da rilasciare e più noioso da mostrare in demo.

Sarà anche l'unico tipo che sopravvive.