Proteggere il ciclo di vita del Machine Learning da modelli malevoli e distribuzioni Shadow
La scoperta di oltre 100 modelli dotati di backdoor su Hugging Face ha reso evidente ciò che gli ingegneri di Deep AI già sapevano: la supply chain del ML è il componente più vulnerabile e meno governato dell'infrastruttura aziendale. Questo whitepaper presenta il progetto ingegneristico per una resilienza dell'IA crittograficamente verificabile e supportata da hardware.
Mentre il mercato insegue i servizi di wrapping per LLM, una vulnerabilità sistemica si annida nelle fondamenta. I pesi dei modelli di IA sono blob binari opachi in cui comportamenti malevoli si nascondono tra milioni di parametri – invisibili alle tradizionali revisioni del codice.
I modelli sugli hub pubblici non sono semplicemente difettosi – sono militarizzati. La serializzazione Pickle consente l'esecuzione di codice arbitrario nell'istante in cui uno sviluppatore esegue torch.load(), stabilendo reverse shell verso infrastrutture controllate dall'attaccante.
Il 90% dell'utilizzo dell'IA aziendale avviene al di fuori della supervisione IT. Gli sviluppatori scaricano modelli non verificati da repository pubblici, incollano codice proprietario in strumenti pubblici ed eludono l'analisi della composizione software (SCA) – creando backdoor persistenti e invisibili.
Nonostante le linee guida NIST AI 100-2, solo il 17% delle organizzazioni dispone di controlli di sicurezza automatizzati per l'IA. Il divario tra i documenti di policy e la sicurezza operativa è il terreno in cui prosperano gli attaccanti – sfruttando il falso senso di preparazione del settore.
Non tutti i formati di serializzazione sono uguali. La dipendenza del settore da Pickle ha creato una vulnerabilità critica di macchina virtuale basata su stack. I formati più recenti riducono il rischio – ma nessuno è immune. Clicca su ciascun formato per esplorare.
Pickle implementa una macchina virtuale basata su stack in grado di eseguire funzioni Python arbitrarie durante la deserializzazione. Funzioni come os.system() o subprocess.run() possono essere iniettate direttamente nel processo di unpickling.
Questo è il formato più comune per i modelli legacy di PyTorch e scikit-learn. La flessibilità che ha reso popolare Pickle è esattamente ciò che costituisce una falla di sicurezza critica.
Un framework in cinque fasi per modellare il modo in cui gli attaccanti prendono di mira i sistemi di Machine Learning. Clicca su ogni fase per comprendere le meccaniche della minaccia e le contromisure ingegneristiche richieste.
Gli attaccanti scansionano repository di modelli pubblici, configurazioni CI/CD e alberi delle dipendenze per identificare punti di ingresso. Analizzano quali framework utilizzano le organizzazioni, quali modelli scaricano e quali formati di serializzazione si aspettano le pipeline.
Identificazione delle organizzazioni che scaricano specifici tipi di modelli per creare payload mirati per i loro framework e formati.
Analisi di file requirements.txt e immagini Docker pubblicate per individuare versioni di framework vulnerabili da sfruttare.
Registro centralizzato degli asset AI con hub di modelli privato. Tutti i download di modelli esterni vengono registrati, versionati e instradati attraverso una pipeline di verifica automatizzata.
L'avvelenamento dei dati impianta backdoor dormienti che risultano invisibili ai benchmark e resistenti alla diluizione con dati puliti. Bastano appena 250 documenti avvelenati per compromettere in modo permanente un modello da 13 miliardi di parametri. Questi «agenti dormienti» si attivano solo quando incontrano uno specifico token di innesco.
Una volta che si verificano 50-100 apparizioni dell'innesco durante l'addestramento, la backdoor viene codificata in modo permanente nello spazio dei pesi. L'aggiunta successiva di milioni di campioni puliti non sovrascrive l'associazione appresa tra innesco e risposta.
Visualizza l'interazione tra la dimensione del corpus di addestramento e il tasso di avvelenamento
Tasso di successo simulato della backdoor in base al numero di campioni avvelenati (basato su soglie di ricerca pubblicate)
La governance degli asset AI è in crisi. Il divario tra policy e sicurezza operativa rappresenta una convergenza critica di vulnerabilità, mancata conformità e rischio competitivo.
Tassi di implementazione dei controlli NIST AI 100-2 nelle aziende, 2025
Stima l'esposizione della tua organizzazione derivante dall'uso non gestito dell'IA
«Molte organizzazioni equiparano il possesso di un documento di policy all'avere una sicurezza operativa effettiva. Tuttavia, senza un'applicazione automatizzata e barriere tecniche, i dipendenti continueranno a privilegiare la comodità rispetto alla sicurezza. La policy non è protezione.»
— Whitepaper sulla sicurezza dell'IA di Veriprajna, 2025
Trattare i modelli di IA come codice eseguibile potenzialmente malevolo. Un'architettura «Secure by Design» lungo l'intera supply chain del Machine Learning.
I tradizionali SBOM tracciano le librerie. L'IA richiede un ML-BOM che catturi la provenienza del modello, la genealogia del dataset e la metodologia di addestramento – basato sui profili AI di CycloneDX e SPDX 3.0.
I pesi dei modelli costituiscono proprietà intellettuale e artefatti binari ad alto rischio. La PKI per i modelli di ML non è più opzionale – le firme supportate da HSM garantiscono che solo i modelli autorizzati raggiungano la produzione.
L'analisi statica è la prima linea di difesa. La Deep Code Analysis costruisce un grafo software che mappa il flusso di input attraverso i runner LLM fino alle shell di sistema. Il monitoraggio a runtime rileva le attivazioni di avvelenamento in produzione.
Per finanza, sanità e difesa: i Trusted Execution Environments (TEE) basati su hardware proteggono i dati in uso. I pesi dei modelli e i prompt vengono decrittografati solo all'interno di enclave isolate – invisibili anche agli amministratori cloud con accesso root.
Attestazione reciproca: il fornitore del modello verifica un autentico TEE, l'utente finale verifica il software approvato. Fondamento Zero Trust.
Dall'acquisizione del modello all'inferenza in produzione, ogni fase è regolata da verifica crittografica, monitoraggio comportamentale e isolamento Zero Trust.
Tutti i modelli esterni vengono instradati verso una quarantena isolata. Nessun percorso diretto dall'hub alla produzione.
Scansione approfondita del bytecode. Convalida del formato. Analisi degli opcode Pickle. Conversione in SafeTensors.
Test dinamici in container isolati. Monitoraggio del traffico in uscita, delle chiamate di sistema (syscall) e degli output anomali.
Firma supportata da HSM. Generazione di ML-BOM. Registrazione nel registro aziendale degli asset AI.
Controller di ammissione + TEE + livello di guardrail + validazione continua degli output.
I sistemi di IA vengono creati e distribuiti attraverso le stesse pipeline CI/CD prese di mira dagli attacchi alla supply chain open source. Se un modello è sicuro ma il suo runtime Python è compromesso, il sistema è violato. Se l'immagine del container di addestramento è alterata, i pesi non sono affidabili.
Qualsiasi dicotomia tra «Asset software» e «Asset AI» rappresenta una falla pericolosa che gli attaccanti sfrutteranno.
Il formato di serializzazione Pickle di Python – utilizzato da PyTorch e scikit-learn – implementa una macchina virtuale basata su stack in grado di eseguire codice arbitrario durante la deserializzazione. Manipolando il metodo __reduce__, gli attaccanti iniettano reverse shell che si attivano nel momento in cui uno sviluppatore esegue torch.load(). I ricercatori di JFrog hanno scoperto oltre 100 modelli armati di questo tipo su Hugging Face. Gli scanner statici come PickleScan presentano un tasso di falsi positivi del 96% con 3 bypass zero-day noti, rendendo il rilevamento inaffidabile.
Bastano appena 250 documenti avvelenati – pari a un mero 0,00016% del corpus di addestramento – per compromettere definitivamente un modello da 13 miliardi di parametri. Una volta che durante l'addestramento si manifestano circa 50 occorrenze dell'innesco, la backdoor viene codificata permanentemente nello spazio dei pesi. L'aggiunta successiva di milioni di campioni puliti non sovrascrive l'associazione appresa tra innesco e risposta. Questi «agenti dormienti» superano tutti i benchmark standard e si attivano solo quando incontrano uno specifico token di innesco.
Un ML-BOM (Machine Learning Bill of Materials) estende i tradizionali SBOM per registrare la provenienza del modello, la genealogia dei dati, la metodologia di addestramento, le dipendenze dei framework e le attestazioni crittografiche – basato sui profili AI di CycloneDX e SPDX 3.0. Consente una rapida applicazione di patch di vulnerabilità quando vengono scoperte CVE in PyTorch o in altre dipendenze. Abbinato alla firma crittografica dei modelli supportata da HSM, assicura che solo i modelli autorizzati dotati di firme valide raggiungano la produzione, mentre il motore di inferenza rifiuta il caricamento di qualsiasi modello con firma non valida.
La differenza tra «affidarsi alla fortuna» e una resilienza verificabile risiede in un'unica decisione architetturale.
Veriprajna progetta la transizione dalla fragile Shadow AI a uno stack di Deep AI crittograficamente protetto e supportato da hardware – rendendo la distribuzione dell'IA prevedibile, verificabile e affidabile.
Rapporto ingegneristico completo: tassonomia degli attacchi di serializzazione, difese della Kill Chain dell'IA, specifiche ML-BOM, architettura di firma crittografica, pattern di deployment di confidential computing, guida all'implementazione NIST AI 100-2.