La tua supply chain dell'IA è probabilmente compromessa

Il problema

Nel febbraio 2024, i ricercatori di sicurezza di JFrog hanno scoperto oltre 100 modelli di IA malevoli presenti su Hugging Face, uno dei repository di modelli di IA più popolari al mondo. Molti di questi modelli contenevano backdoor silenziose progettate per eseguire codice nel momento stesso in cui qualcuno li caricava. Una volta attivato, il payload forniva agli attaccanti una shell persistente — un punto di accesso remoto — sulla macchina della vittima. Da lì, potevano spostarsi all'interno della rete aziendale, rubare dati o avvelenare le pipeline di addestramento.

Non si trattava di un esercizio teorico. Erano modelli reali, disponibili per il download pubblico, in attesa di essere caricati da qualsiasi sviluppatore del tuo team alla ricerca di una soluzione rapida. I modelli sembravano normali. Superavano i controlli di base. Ma il formato di file stesso — il formato pickle di Python — è in grado di eseguire codice nascosto durante il processo di caricamento. Immagina di aprire un documento Word che installa malware in modo silenzioso. Solo che in questo caso il "documento" è un modello di IA di cui il tuo team si fida.

Il problema si aggrava quando ci si rende conto che gli scanner progettati per intercettare questo tipo di minaccia stanno fallendo. Più del 96% dei modelli contrassegnati come "non sicuri" sui repository pubblici si rivela essere un falso positivo. Questo diluvio di falsi allarmi abitua il tuo team di sicurezza a ignorare gli avvisi. E sepolti in quel rumore di fondo, i ricercatori hanno scoperto 25 modelli realmente malevoli — minacce zero-day sfuggite agli strumenti di scansione standard.

Perché è importante per la tua azienda

Non si tratta solo di un problema informatico. È un rischio finanziario, legale e operativo che tocca ogni parte della tua organizzazione.

Partiamo dai numeri:

• Il 98% delle organizzazioni ha dipendenti che utilizzano strumenti di IA non autorizzati — ciò che il settore definisce "Shadow AI". I tuoi collaboratori stanno quasi certamente scaricando ed eseguendo modelli che non hai verificato.
• Il 43% dei dipendenti condivide dati sensibili con strumenti di IA senza autorizzazione. Ciò significa che le tue informazioni proprietarie, i dati dei clienti e i segreti commerciali potrebbero già trovarsi all'interno di un modello di terze parti.
• Le violazioni dovute alla Shadow AI costano 670.000 $ in più rispetto alle violazioni di dati tradizionali, poiché l'analisi forense è più complessa quando i dati sottratti sono integrati nei pesi di una rete neurale.
• Il 63% delle organizzazioni è privo di policy formali di governance dell'IA. Se la tua azienda rientra in questo gruppo, non hai una risposta chiara per gli enti regolatori quando qualcosa va storto.

Esiste anche un rischio legale di cui la maggior parte dei dirigenti non ha mai sentito parlare: il model disgorgement. Si tratta di un rimedio normativo con cui le autorità obbligano un'azienda a distruggere un intero modello di IA perché è stato addestrato su dati ottenuti illegalmente. Non è possibile rimuovere chirurgicamente i dati di una singola persona da un modello già addestrato. Se il tuo prodotto si basa su un modello costruito con dati compromessi, un tribunale può ordinarti di cancellare tutto. La tua linea di prodotti scompare da un giorno all'altro.

Per il tuo consiglio di amministrazione, la domanda è semplice: sai quali modelli di IA sono in esecuzione all'interno della tua azienda in questo momento? E puoi dimostrare da dove provengono?

Cosa succede davvero sotto il cofano

Per comprendere perché le attuali implementazioni di IA siano fragili, occorre capire due aspetti: come i modelli cedono durante la personalizzazione e perché il diffuso approccio basato su "wrapper" fallisce nelle applicazioni aziendali critiche.

Innanzitutto, il problema della personalizzazione. La maggior parte delle aziende prende un modello di base — come Llama di Meta — ed esegue il fine-tuning sui propri dati per migliorarne le prestazioni su compiti specifici. Sembra ragionevole. Tuttavia, l'AI Red Team di NVIDIA ha scoperto che il fine-tuning distrugge regolarmente i guardrail di sicurezza che gli sviluppatori originari hanno impiegato mesi a costruire. In un test, il punteggio di sicurezza di un modello Llama contro gli attacchi di prompt injection è crollato da 0,95 a 0,15 dopo un singolo ciclo di fine-tuning. Si tratta di un collasso da "altamente resiliente" a "pressoché indifeso".

Ciò accade perché il fine-tuning modifica i pesi interni del modello per massimizzare l'accuratezza sul tuo compito specifico. Nel farlo, sovrascrive i comportamenti di sicurezza accuratamente integrati nel modello durante l'addestramento. Immagina di acquistare un'auto con airbag, freni antibloccaggio e assistenza al mantenimento della corsia — per poi portarla da un meccanico che elabora il motore per aumentare la velocità e disconnette accidentalmente tutti i sistemi di sicurezza. L'auto va più veloce, ma ora è pericolosa.

In secondo luogo, c'è il problema dei wrapper. La maggior parte delle società di consulenza in IA sviluppa sottili livelli software — wrapper — che collegano i tuoi dati a un'API di terze parti come GPT-4 di OpenAI. Questi wrapper si affidano a "prompt di sistema" e filtri per mantenere l'IA nei binari corretti. Ma questi sono solo suggerimenti per un motore probabilistico, non regole ferree. Il chatbot di una concessionaria Chevrolet è stato indotto ad accettare di vendere un veicolo da 76.000 $ per un solo dollaro. Il chatbot di Air Canada ha allucinato una tariffa per lutto inesistente, e un tribunale ha ritenuto la compagnia aerea responsabile per l'output dell'IA. Questi fallimenti non sono bug. Sono il risultato naturale del chiedere a uno strumento di previsione del testo di prendere decisioni aziendali vincolanti.

Cosa funziona (e cosa no)

Partiamo da tre approcci comuni che si rivelano inadeguati:

• Scansione di base dei modelli: strumenti come Picklescan utilizzano una blacklist di funzioni pericolose, ma gli attaccanti le aggirano mediante offuscamento, e il tasso di falsi positivi del 96% spinge i team a ignorare le minacce reali.
• Prompt di sistema e filtri di output: si tratta di controlli deboli che un LLM — un modello linguistico di grandi dimensioni, il motore alla base di strumenti come ChatGPT — può essere indotto a ignorare tramite prompt injection, come hanno dimostrato gli incidenti di Chevrolet e DPD.
• Fine-tuning con revisioni di sicurezza standard: anche se il tuo modello supera ogni benchmark aziendale, la ricerca di NVIDIA dimostra che il fine-tuning può creare un comportamento da "sleeper agent" — il modello agisce normalmente nel 99,9% dei casi, ma passa a una modalità malevola quando incontra un trigger specifico.

Ciò che funziona davvero è un'architettura fondamentalmente diversa. Ecco il principio in tre passaggi:

1. Input: routing semantico come firewall. Prima che qualsiasi query dell'utente raggiunga il tuo modello di IA, un livello di routing la confronta con pattern malevoli noti utilizzando la similarità vettoriale — un metodo per misurare quanto una nuova richiesta sia vicina a tentativi di attacco precedentemente identificati. Se una query somiglia a una prompt injection, non raggiunge mai il modello. Viene reindirizzata a una risposta fissa e deterministica. La tua IA non "vede" mai l'attacco.

2. Elaborazione: validazione neuro-simbolica. Invece di affidarsi a un singolo modello di IA per generare risposte, si suddivide il carico di lavoro. Un livello neurale gestisce il linguaggio naturale. Un livello di logica simbolica — essenzialmente un motore di regole basato su un knowledge graph che mappa i dati aziendali come fatti verificati — verifica ogni affermazione prodotta dal livello neurale. Se un fatto non è presente nel tuo knowledge graph verificato, il sistema non restituisce nulla anziché tirare a indovinare. È così che si riducono i tassi di allucinazione al di sotto dello 0,1%, rispetto all'intervallo compreso tra l'1,5% e il 6,4% tipico dei wrapper standard per LLM.

3. Output: revisione multi-agente. Il tuo sistema impiega agenti di IA distinti per la ricerca, la redazione e la revisione critica. L'agente di ricerca può solo interrogare il tuo knowledge graph. L'agente di redazione può utilizzare esclusivamente ciò che l'agente di ricerca ha trovato. Un agente di critica estrae quindi ogni affermazione dalla bozza e la convalida rispetto al grafo. Nessun singolo agente ha il potere di deviare dalla verità verificata.

Per il tuo team di conformità, il vantaggio fondamentale è l'auditabilità. Ogni output è riconducibile a un nodo specifico nel tuo knowledge graph. Quando un ente regolatore chiede "perché la vostra IA ha affermato questo?", puoi mostrargli l'esatta fonte di dati, l'esatta regola e l'esatto passaggio di convalida. Questa è la differenza tra una valutazione della sicurezza basata su prove architetturali e una basata sulla speranza.

La tua organizzazione dovrebbe inoltre esigere una AI Bill of Materials — un manifesto della supply chain che elenca ogni dataset, libreria e versione di framework nella tua pipeline di IA. Ogni checkpoint del modello dovrebbe essere firmato crittograficamente. Il tuo motore di inferenza dovrebbe rifiutarsi di caricare qualsiasi modello con una firma non valida. Questi non sono obiettivi ambiziosi. Sono pratiche di sicurezza di base per qualsiasi impresa regolamentata che investe nell'IA.

Il framework NIST AI 100-2 fornisce una tassonomia pronta all'uso per classificare e gestire questi rischi. Copre la prompt injection, il data poisoning, la model extraction e le violazioni della privacy. La maggior parte delle organizzazioni non lo ha ancora adottato. Questo divario rappresenta la tua opportunità per portarti in vantaggio.

Leggi l'analisi tecnica completa per specifiche architetturali dettagliate. Puoi anche esplorare la versione interattiva per una panoramica guidata del panorama delle minacce e delle contromisure.