Abbiamo costruito un rilevatore di recensioni false che funzionava alla perfezione — finché qualcuno non l'ha fatto passare attraverso BypassGPT

La prima cosa che ha incrinato la mia sicurezza non è stata una recensione falsa. È stata un listino prezzi.

Un intermediario su un canale Telegram — uno di quelli aperti, oltre 13.000 iscritti, nessuna password, nessuna finzione — aveva pubblicato un menu. Cinquanta centesimi per un voto positivo. Cinque dollari per una recensione da un account con un badge "Acquisto verificato". Sconti sulle quantità. Gli account offerti non erano profili usa e getta appena creati che un filtro antispam potrebbe intercettare a occhi chiusi; avevano due, tre, quattro anni di vita, con cronologie di acquisto reali e quel tipo di attività irregolare che un essere umano si lascia dietro. Avevo passato settimane a dare per scontato che il rilevamento delle recensioni false fosse un difficile problema di machine learning. Fissando quel menu, ho capito che era un difficile problema di machine learning che la controparte finanziava meglio della maggior parte dei brand che prendeva di mira.

Quello è stato il momento in cui ho smesso di pensare alle recensioni false come a testo scadente e ho iniziato a pensarle come a un'economia coordinata. Tutto ciò che abbiamo poi costruito presso Veriprajna — e tutto ciò che all'inizio ho sbagliato — è derivato da quel cambiamento.

La frode ha smesso di essere un problema di qualità il giorno in cui è diventata una merce con un prezzo. Non si può battere un mercato a colpi di filtri.

Un attacco da 47 recensioni che supera ogni strumento in tuo possesso

Lasciate che descriva come si presenta davvero un attacco moderno, perché il divario tra come le persone immaginano le recensioni false e come funzionano realmente è gran parte del motivo per cui gli strumenti esistenti falliscono.

Un concorrente vuole affossare il tuo prodotto. Assume un intermediario tramite uno di quei gruppi Telegram. L'intermediario controlla una scuderia di account vecchi e compromessi e li schiera contro un singolo annuncio. Nell'arco di 72 ore, 47 recensioni a cinque stelle atterrano sul prodotto concorrente — il tuo resta pulito, il loro sale. Il testo delle recensioni è stato scritto da GPT-4, poi fatto passare attraverso uno strumento come BypassGPT per sconfiggere i rilevatori basati sulla perplexity che cercano una scrittura automatica "troppo levigata". Ogni recensione cita una funzionalità specifica del prodotto estratta dalla stessa sezione Q&A dell'annuncio. Gli orari di pubblicazione sono scaglionati su tre fusi orari così che nulla si concentri.

Ogni singola recensione sembra legittima. Superano i filtri sui contenuti delle principali piattaforme di recensioni. Passano GPTZero. Gli account sono abbastanza vecchi da eludere qualsiasi euristica "nuovo account". Il tuo team di protezione del brand non nota nulla — finché i tuoi numeri non si muovono, e lo fanno: una stella fraudolenta in più può aumentare la domanda di un concorrente del 38%, e le recensioni negative false possono ridurre il fatturato di un bersaglio fino a un quarto, il tutto mentre la tua valutazione media assorbe silenziosamente il danno.

Non è un esperimento mentale. Nel luglio 2024 Amazon ha intentato la sua prima causa congiunta con il Better Business Bureau contro l'intermediario di recensioni ReviewServiceUSA.com. Trustpilot ha rimosso 4,5 milioni di recensioni false nel 2024 — il 7,4% di tutto ciò che è stato inviato, in aumento dal 6,1% dell'anno precedente. Tripadvisor ha intercettato 2,7 milioni di invii fraudolenti, alcuni dei quali foto di strutture generate dall'IA che creavano "hotel fantasma" che i viaggiatori prenotavano davvero, per poi presentarsi e trovare un terreno vuoto. La scala non è marginale. I ricercatori stimano che circa il 30% delle recensioni online sia falso, con un costo per le aziende statunitensi di circa 152 miliardi di dollari all'anno, secondo il World Economic Forum.

Ecco dunque il problema che pensavo di aver capito. Ecco dove ho sbagliato.

Il rilevatore che funzionava perfettamente, e poi non più

La nostra prima versione era un classificatore di testo. Leggeva il testo di una recensione e attribuiva un punteggio alla probabilità che fosse generata da una macchina. È la cosa ovvia da costruire, e voglio essere onesto: l'ho appoggiata. Faceva un'ottima figura nelle demo. Sul nostro set di test intercettava le recensioni scritte dall'IA con quel tipo di accuratezza che ti fa iniziare a comporre nella testa il post per il lancio.

Poi l'abbiamo eseguito su recensioni che erano passate attraverso un humanizer.

Ora esistono più di 30 di questi strumenti — BypassGPT, Undetectable.ai, StealthWriter, Humanize AI, una dozzina di altri. Prendono testo generato da una macchina e lo scompigliano quel tanto che basta a mandare in tilt un rilevatore: eliminando le virgole rivelatrici, inserendo parole di collegamento, sostituendo il vocabolario che i classificatori imparano ad associare all'output di GPT. La nostra accuratezza non è degradata con grazia. È precipitata di colpo. Le recensioni che catturavamo con alta sicurezza ora filavano lisce come "sembra umano".

Ricordo la discussione che ne è seguita. Metà del team voleva continuare a mettere a punto — più dati di addestramento, esempi avversariali, inseguire gli humanizer. È un istinto ragionevole ed è una trappola. Avevo guardato la ricerca: di oltre 30 strumenti humanizer che qualcuno aveva testato, solo 13 producevano in modo affidabile testo capace di ingannare i migliori rilevatori. Il miglior classificatore di testo della categoria, Originality.ai, ne intercetta comunque la maggior parte. Ma "la maggior parte" è l'asticella sbagliata quando un aggressore può far passare una recensione attraverso cinque humanizer e inviare quella che ottiene il punteggio più pulito. Un rilevatore basato solo sul testo è impegnato in una corsa che ha strutturalmente già perso.

Un rilevatore a segnale singolo non è un rilevatore debole. È un rilevatore con cui hai spiegato all'aggressore esattamente come batterti.

Il problema più profondo era uno che avrei dovuto cogliere il giorno in cui ho letto quel listino prezzi su Telegram. Alcune delle frodi più dannose non sono affatto scritte dall'IA. Quando un intermediario paga una rete di persone reali per pubblicare — esseri umani incentivati, la versione moderna della vecchia fattoria di Mechanical Turk — il testo è genuinamente umano. Non c'è nessuna spia linguistica da trovare, perché non c'è nessuna macchina nel processo. Un classificatore di testo che guarda una recensione a pagamento scritta da una persona reale non vede nulla di sbagliato, perché a livello di linguaggio non c'è nulla che lo sia. E l'asimmetria si sta allargando da entrambe le estremità — all'inizio del 2026, il 23% degli autori di recensioni ammetteva di usare l'IA almeno di tanto in tanto, mentre solo il 31% dei consumatori era sicuro di saper riconoscere una recensione scritta dall'IA.

È stato allora che abbiamo scartato il modello di testo come elemento centrale. Non del tutto — resta un segnale — ma ha smesso di essere il segnale.

Cosa Cattura Davvero una Campagna Coordinata?

Il cambio di prospettiva che ha salvato il progetto: una singola recensione falsa è quasi impossibile da catturare, ma una campagna lascia impronte che le singole recensioni non lasciano.

Quelle 47 recensioni condividono qualcosa anche quando ognuna è pulita. Arrivano in un'ondata. Fanno riferimento alla stessa funzionalità estratta. Gli account che le hanno pubblicate, quando mappi le relazioni tra venditori, recensori e prodotti, si illuminano come un cluster che non si verifica in natura — lo stesso insieme di account che recensiscono lo stesso ristretto insieme di prodotti nella stessa finestra temporale. Ecco perché le piattaforme che prendono sul serio la frode sono passate ai metodi a grafo: lo stack di Amazon fa girare deep graph neural network sulla rete venditore-recensore-prodotto proprio perché la struttura della rete tradisce un coordinamento che il testo non tradirà mai. Abbiamo costruito nella stessa direzione — fondendo segnali comportamentali (come si comporta un account nel tempo), segnali temporali (quando le recensioni arrivano l'una rispetto all'altra) e segnali relazionali (chi è collegato a chi) sopra lo strato linguistico.

Nessuno di questi da solo è sufficiente. Un'ondata può essere un genuino momento virale. Un cluster può essere una vera comunità di fan. Ma la combinazione — un'ondata, di testo che estrae funzionalità, da un cluster relazionalmente sospetto, con tempistiche scaglionate progettate per sembrare non scaglionate — è la firma di una campagna a pagamento, e sopravvive all'humanizer perché l'humanizer riscrive solo le parole.

La stessa logica si estende alle immagini, che è la frontiera che nessuno ha risolto in modo pulito. Gli hotel fantasma e le foto di prodotto fabbricate si stanno diffondendo perché la generazione di immagini con l'IA è diventata economica — e per un brand dell'ospitalità la posta in gioco non è astratta: McAfee ha stimato le perdite da truffe di viaggio guidate dall'IA a circa 13 miliardi di dollari nel 2025, circa mille dollari a vittima, in gran parte incanalate attraverso annunci che sembravano reali fino al check-in. Esiste uno standard di provenienza dei contenuti, C2PA, che firma crittograficamente un'immagine al momento dello scatto — il Galaxy S25 di Samsung è diventato il primo telefono di consumo a firmare le foto nativamente, e il 2026 è davvero un punto di svolta per quell'ecosistema. Ma ecco l'ostacolo operativo su cui metterei in guardia qualsiasi brand: le piattaforme rimuovono i metadati durante l'elaborazione delle immagini. La credenziale che dimostra che una foto è reale viene cancellata nel momento stesso in cui viene caricata sul marketplace dove conta di più. La provenienza è uno strumento reale con un buco reale per l'e-commerce, e fingere il contrario vende a un brand una falsa tranquillità.

Perché gli strumenti delle piattaforme non hanno già risolto tutto questo?

È la domanda che mi viene posta più spesso, ed è legittima. Amazon spende più di 500 milioni di dollari all'anno e ha 8.000 persone che lavorano sulle recensioni false. Nel 2024 ne ha bloccate oltre 275 milioni. Perché qualcuno dovrebbe aver bisogno di costruire qualcosa?

Perché le piattaforme stanno combattendo la loro guerra, non la tua. Amazon protegge Amazon — e persino con quella spesa, il 49% dei consumatori statunitensi dichiara di essere sicuro di aver visto recensioni false lì. Le piattaforme di gestione delle recensioni hanno lo stesso confine tracciato nella direzione opposta. Bazaarvoice applica più di 1.000 regole di rilevamento delle frodi su 2,3 miliardi di sessioni di shopping al mese, ed è genuinamente brava a farlo — all'interno della propria rete. Una recensione falsa sul tuo prodotto pubblicata su Amazon è semplicemente invisibile a Bazaarvoice. Peggio ancora, la syndication taglia in entrambe le direzioni: una recensione falsa che supera l'ingestione di Bazaarvoice può propagarsi su oltre 50 siti di rivenditori entro 48 ore, il che significa che la rimozione deve avvenire nel nodo sorgente, non con un gioco a colpisci la talpa su ogni annuncio a valle.

I rilevatori di testo hanno il loro tetto — sono un segnale singolo, come ho imparato a mie spese. I servizi di audit come The Transparency Company fanno scansioni quotidiane e presentano contestazioni, ma sono tarati su schemi noti e faticano contro le tattiche personalizzate degli intermediari che si adattano specificamente per eluderli. E l'unico strumento di cui i consumatori si fidavano davvero per verificare tutto questo al posto loro, Fakespot, ha chiuso nel luglio 2025 dopo nove anni — Mozilla non è riuscita a trovare un modello sostenibile. La rete di sicurezza si è ristretta proprio mentre gli attacchi miglioravano.

Nessun fornitore sorveglia l'intero campo in cui vive il tuo brand. Ciascuno custodisce il proprio cortile, e la frode vive nella strada che li separa.

Quel divario — cross-platform, dal lato del brand, a segnali fusi — è ciò che ci siamo proposti di occupare. Non per sostituire le piattaforme, ma per dare a un brand un'unica visione trasversale su Amazon, Google, Yelp, Trustpilot e Tripadvisor in una volta sola, con un rilevamento costruito attorno alla sua categoria di prodotto invece che su un set di regole generico. È a questo che serve il sistema di integrità delle recensioni e rilevamento di contenuti sintetici che abbiamo costruito.

Il cliente che non voleva una pagina di recensioni più pulita

Avevo impostato tutta la mia proposta sull'accuratezza del rilevamento — recall, precisione, quanti falsi avremmo catturato. Poi mi sono trovato in una chiamata con una responsabile della protezione del brand che mi ha ridefinito l'intero prodotto in circa due minuti.

Non ha aperto con l'accuratezza. Ha chiesto cosa potevamo consegnare all'FTC.

Nell'ottobre 2024 è entrata in vigore la Consumer Reviews and Testimonials Rule dell'FTC, e ha fatto qualcosa di più sottile del "le recensioni false sono vietate". Ha creato uno standard del tipo "avresti dovuto saperlo". Se sui tuoi annunci ci sono recensioni false e non disponi di un processo ragionevole per rilevarle e rispondervi, l'assenza di un sistema di rilevamento è di per sé la violazione. La sanzione è di 53.088 dollari per violazione, adeguata all'inflazione a partire da gennaio 2025, e ogni giorno in cui una violazione continua conta separatamente. Una campagna coordinata di 100 recensioni false, lasciata irrisolta, equivale a 5,3 milioni di dollari di esposizione. L'FTC ha inviato le sue prime lettere di avvertimento ai sensi della norma a 10 aziende nel dicembre 2025, quindi ciò ha smesso di essere teorico circa un anno fa.

E non riguarda solo i brand statunitensi. La Competition and Markets Authority del Regno Unito ha aperto cinque indagini nel marzo 2026 ai sensi del nuovo Digital Markets, Competition and Consumers Act, con sanzioni fino al 10% del fatturato globale. L'articolo 50 dell'EU AI Act, che richiede la divulgazione leggibile da macchina dei contenuti generati dall'IA, entra in vigore ad agosto 2026. La SB 942 della California ha aggiunto requisiti di divulgazione dei contenuti IA a gennaio 2026. La soglia normativa si è spostata sotto ogni brand nello stesso momento.

Ciò che quella responsabile mi ha insegnato è che il rilevamento è necessario ma non sufficiente. Il deliverable di cui un brand regolamentato ha davvero bisogno è la prova della due diligence — un log di audit che dimostri che esisteva ed era in funzione un ragionevole processo di rilevamento e risposta, qualunque singola recensione falsa sia riuscita a passare. Oggi non lo si può comprare pronto da uno scaffale; le piattaforme non ti danno i loro dati di rilevamento, e le soluzioni puntuali non generano registri di livello conforme. Perciò abbiamo costruito il sistema per produrre quella traccia come output di prima classe, non come un ripensamento. L'artefatto difendibile sotto una norma del "avresti dovuto saperlo" non è una pagina di recensioni immacolata — è la prova documentata che stavi cercando.

Un Brand Dovrebbe Costruirlo, Comprarlo o Aspettare le Piattaforme?

Le persone mi chiedono se possono semplicemente aspettare che le piattaforme si mettano al passo. La mia risposta onesta: le piattaforme corrono più veloce che possono su un problema che hanno definito come proteggere sé stesse, e l'orologio normativo ora scorre su di te, separatamente. Aspettare è una posizione, e dopo l'ottobre 2024 è una posizione con una cifra in dollari attaccata.

La seconda domanda è di solito se possono costruirlo internamente. Puoi — ma guarda quanto costano i programmi interni seri. L'operazione da mezzo miliardo di dollari e 8.000 persone di Amazon è il punto di riferimento per ciò che serve a farlo su scala, e la maggior parte dei brand non sta mettendo in piedi una cosa del genere per sorvegliare i propri annunci su cinque marketplace. Le opzioni realistiche sono un sistema personalizzato tarato sulla tua categoria oppure una pila di strumenti parziali che cuci insieme sperando che si sovrappongano. Le grandi società di consulenza ti venderanno la seconda avvolta in un framework, da sei a dodici mesi prima che qualsiasi tecnologia entri davvero in funzione.

La terza cosa che sollevano è la corsa agli armamenti — se gli humanizer continuano a migliorare, qualsiasi rilevatore non è forse temporaneo? È la preoccupazione giusta, ed è esattamente il motivo per cui la risposta non può essere un classificatore di testo. Un sistema multi-segnale degrada lentamente quando un segnale viene attaccato, perché l'aggressore deve sconfiggere comportamento, tempistica e struttura di rete simultaneamente, non solo riscrivere le parole. Non si vince una corsa agli armamenti avendo un'arma migliore. La si vince rendendo l'attacco più costoso del guadagno. Quando la frode ha un prezzo di cinquanta centesimi a voto positivo, alzare il costo di una campagna riuscita è tutto il gioco.

Il listino prezzi su Telegram mi ha insegnato qualcosa prima di qualsiasi modello, ed è la cosa a cui continuo a tornare. La controparte lo tratta come un business con un conto economico. Per anni i brand lo hanno trattato come una seccatura da filtrare. I brand che usciranno da questo decennio con le loro valutazioni intatte saranno quelli che hanno iniziato a trattare il proprio ecosistema di recensioni come già fanno gli aggressori — come un'infrastruttura contesa che vale la pena difendere di proposito. È il cambiamento che farei per primo, ed è quello che il sistema che abbiamo costruito presuppone dalla prima riga di codice.

Una recensione falsa che non catturi mai ti costa una vendita. Un sistema di rilevamento che non hai mai costruito, dopo l'ottobre 2024, ti costa 53.088 dollari al giorno. Non sono lo stesso problema, e il secondo è quello che la maggior parte dei brand non ha ancora quantificato.