Sicurezza e resilienza dell'IA

Rafforzamento contro attacchi avversari, integrità della supply chain e architettura di deployment sovrano per organizzazioni con IA in produzione.

Il panorama delle minacce per i sistemi di IA è passato dalla ricerca accademica allo sfruttamento operativo nel 2025. Gli strumenti di IA in produzione utilizzati da milioni di sviluppatori presentano ora CVE con punteggi CVSS elevati, la superficie di attacco si sta espandendo contemporaneamente su software, supply chain e hardware, e l'orologio normativo corre. I fornitori di soluzioni puntuali e i framework di governance risolvono parti di questo problema, ma nessuno progetta l'architettura della postura di sicurezza di una distribuzione di IA attiva. Questo è il divario per cui sviluppiamo soluzioni.

L'IA in produzione è sotto attacco attivo e la maggior parte dei programmi di sicurezza non tiene il passo

Il 2025 ha trasformato lo sfruttamento dell'IA da proof-of-concept a CVE documentate in strumenti su cui milioni di sviluppatori fanno affidamento:

  • Microsoft 365 Copilot — una vulnerabilità di prompt injection zero-click (CVE-2025-32711, CVSS 9.3) in cui una singola email appositamente creata ha innescato l'esfiltrazione remota di dati.
  • GitHub Copilot — compromesso tramite commenti al codice incorporati in un repository pubblico (CVE-2025-53773), con escalation a esecuzione remota di codice.
  • Cursor IDE — un bug di distinzione tra maiuscole e minuscole (CVE-2025-59944) ha consentito agli aggressori di manipolare il comportamento agentico facendogli eseguire comandi arbitrari.

Non si tratta di dimostrazioni. Sono CVE con punteggi CVSS in strumenti di produzione. E la superficie di attacco si sta espandendo in tre direzioni contemporaneamente.

Sistemi agentici e trust boundary

I sistemi di IA agentica creano problemi di trust boundary che la tradizionale sicurezza perimetrale non è in grado di affrontare. Solo il 29% delle organizzazioni dichiara di essere pronto a proteggere le distribuzioni agentiche, e MITRE ATLAS v5.4.0 (febbraio 2026) ha aggiunto tecniche dedicate per le minacce specifiche degli agenti, tra cui "Publish Poisoned AI Agent Tool" ed "Escape to Host".

Attacchi alla supply chain dell'IA

Gli attacchi alla supply chain sono passati dalla teoria alla pratica. JFrog ha individuato circa 100 modelli malevoli su Hugging Face con payload incorporati per l'esecuzione di codice, e Palo Alto Unit 42 ha dimostrato che i namespace eliminati di Hugging Face possono essere registrati nuovamente da chiunque, consentendo l'hijacking della supply chain.

Vulnerabilità a livello hardware

L' attacco GDDRHammer (2026) ha dimostrato che un kernel CUDA non privilegiato può ottenere accesso arbitrario in lettura/scrittura alla memoria della GPU tramite rowhammer su GDDR6 — il che significa che gli ambienti GPU multi-tenant presentano una superficie di attacco hardware che nessuna difesa a livello software può colmare.

Pressione normativa crescente

La regolamentazione si sta inasprendo in parallelo. Le pratiche vietate dell' EU AI Act sono entrate in vigore a febbraio 2025, i requisiti per i sistemi ad alto rischio scatteranno ad agosto 2026 e le sanzioni raggiungono 35 milioni di EUR o il 7% del fatturato globale. CISA ha classificato la prompt injection come vulnerabilità critica dell'IA a settembre 2025; NIST ha pubblicato AI RMF 2.0 con linee guida specifiche sulla prompt injection a gennaio 2026. Ai sensi della legge sulla privacy biometrica CUBI, il Texas ha ottenuto $1,375 miliardi da Google e $1,4 miliardi da Meta nel solo 2025. L'onere di conformità cresce a ogni trimestre.

La supply chain dell'IA è dove la maggior parte delle organizzazioni ha visibilità zero

Quando valutiamo le distribuzioni di IA aziendali, la lacuna nella supply chain è costantemente il rilievo più pericoloso. La maggior parte delle organizzazioni non è in grado di produrre un inventario completo dei modelli in esecuzione in produzione, né tantomeno di verificarne la provenienza (oggetto della nostra ricerca sulla protezione dei modelli aziendali dall'avvelenamento). Un' indagine di Lineaje (giugno 2025) ha rilevato che il 48% dei professionisti della sicurezza afferma che la propria organizzazione è già in ritardo sui requisiti di base della distinta base del software (SBOM). L'adozione dell'ML-BOM (distinta base per il machine learning) è nettamente inferiore.

Il rischio è documentato, non teorico:

  • Anthropic, lo UK AI Safety Institute e l'Alan Turing Institute hanno dimostrato che appena 250 documenti malevoli possono installare con successo una backdoor in modelli linguistici da 600 milioni a 13 miliardi di parametri.
  • Il modello DeepThink-R1 di DeepSeek (gennaio 2025) presentava una backdoor creata da prompt nascosti inseriti nei commenti al codice su GitHub durante l'addestramento. Il modello ha seguito le istruzioni piantate dall'attaccante al riscontro di una specifica frase trigger, a mesi di distanza dall'addestramento, senza che fosse necessario alcun accesso a Internet.
  • Lo strumento di ricerca di Qwen 2.5 è stato avvelenato tramite contenuti web avversari che hanno indotto il modello allineato a generare output dannosi a partire da una query di 11 parole.

Le scansioni di sicurezza tradizionali non rilevano questi problemi. Hugging Face esegue Picklescan per file pickle malevoli, ma adapter LoRA malevoli, dataset di addestramento avvelenati e namespace ri-registrati aggirano tutti le scansioni a livello di modello. Gli standard esistono — CycloneDX ha pubblicato la specifica ML-BOM nel 2023, SPDX 3.0.1 definisce i profili per IA e dataset, e OWASP ha avviato il progetto AI-BOM — ma il divario tra disponibilità delle specifiche e adozione aziendale rimane enorme. Costruire l'integrità della supply chain per l'IA richiede la stessa disciplina che la sicurezza delle applicazioni ha introdotto per le dipendenze software un decennio fa: scansione automatizzata, verifica della provenienza, monitoraggio continuo e un playbook di risposta nel caso in cui una minaccia riesca a penetrare.

Perché l'attuale ecosistema di sicurezza lascia divari a livello architetturale

Il panorama dei fornitori di sicurezza per l'IA cresce rapidamente e le relative soluzioni puntuali sono valide:

  • Protect AI ha raccolto oltre $108 milioni e gestisce il programma di bug bounty huntr.com per le vulnerabilità AI/ML; esegue la scansione degli artefatti dei modelli alla ricerca di vulnerabilità note.
  • HiddenLayer ($56 milioni) si focalizza sul monitoraggio del comportamento dei modelli a runtime.
  • Lakera ha creato quello che molti considerano il miglior prodotto di rilevamento della prompt injection (Lakera Guard).
  • Cisco ha acquisito Robust Intelligence nel 2024; F5 ha acquisito CalypsoAI per $180 milioni nel 2025.

Il solo mercato del red teaming per l'IA dovrebbe crescere da $1,3 miliardi (2025) a $18,6 miliardi entro il 2035. Ma questi strumenti sono sensori e filtri, non controlli strutturali: nessuno di essi progetta l'architettura della postura complessiva di sicurezza di una distribuzione di IA. Un CISO che compone un programma a partire da tali elementi ha ancora bisogno di qualcuno che progetti dove risiedano i trust boundary in un sistema agentico, come integrare la verifica della provenienza dei modelli nella pipeline CI/CD, quale monitoraggio rilevi una backdoor attivatasi dopo il deployment e come funzioni concretamente una distribuzione sovrana quando il team di conformità impone che l'inferenza non lasci la giurisdizione.

Le Big Four hanno investito complessivamente oltre $10 miliardi nell'IA dal 2023: PwC gestisce un programma GenAI da $1 miliardo e una partnership con OpenAI; KPMG dispone di un formale framework di governance dell'IA a 10 pilastri con mappatura ISO 42001; Deloitte ha sviluppato oltre 100 acceleratori GenAI; EY sta implementando l'infrastruttura NVIDIA AI Factory per i settori regolamentati. Il loro lavoro su governance e conformità è legittimo.

Ma quando un cliente necessita di test avversari pratici su una pipeline RAG, di rafforzamento architetturale contro la prompt injection indiretta in un sistema multi-agente o della distribuzione operativa di un'infrastruttura di IA sovrana con verifica dell'integrità dei pesi del modello, i framework di governance non bastano. Il divario è tra il sapere quale sia il rischio e il possedere la capacità ingegneristica per prevenirlo strutturalmente.

Cosa sviluppiamo per i programmi di sicurezza dell'IA

Lavoriamo a livello architetturale perché è lì che le decisioni di sicurezza hanno un impatto strutturale. Il filtraggio della prompt injection a livello di input presenta un tasso di fallimento documentato quando vengono impiegati attacchi adattivi. La scansione dei modelli dopo il download rileva pattern noti ma manca gli attacchi inediti alla supply chain. I framework di governance indicano cosa monitorare ma non realizzano il monitoraggio. Ci concentriamo su quattro aree in cui l'architettura determina la tenuta della postura di sicurezza — compreso il deployment sovrano, che abbiamo dimostrato in una demo funzionante di LLM privato.

Infrastruttura di IA sovrana

Per le organizzazioni che operano con vincoli di sovranità dei dati, il nostro approccio consiste nel realizzare un'infrastruttura in cui modelli, inferenza e dati di addestramento rimangano entro confini controllati. Non si tratta di un wrapper VPC attorno a una chiamata API. Significa selezionare e quantizzare modelli per hardware on-premise — i compromessi tra la quantizzazione GPTQ, AWQ e GGUF sono rilevanti sia per le prestazioni sia per la sicurezza — configurare l'isolamento delle GPU per ambienti multi-tenant, implementare l'attestazione crittografica per i pesi dei modelli e costruire lo stack di monitoraggio che rileva comportamenti di inferenza anomali. Il deployment sovrano è pianificato come un progetto ingegneristico di sei mesi, non come una modifica di configurazione — ingegnerizzato end-to-end anziché assemblato a partire da un wrapper.

Integrità della supply chain

Progettiamo la pipeline di verifica affinché operi prima che qualsiasi modello raggiunga la produzione (illustrata in dettaglio nella nostra ricerca sull'integrità della supply chain dell'IA lungo il ciclo di vita del ML): controlli automatizzati di provenienza sui pesi dei modelli e sui dati di addestramento, convalida dei formati di serializzazione (sempre safetensors rispetto a pickle), verifica dell'integrità degli adapter LoRA e monitoraggio continuo dei repository a monte per rilevare namespace hijacking o modifiche ai pesi. L'output previsto è una ML-BOM che mappa l'origine di ciascun componente, la versione di ciascuna dipendenza e la provenienza di ciascun dataset di addestramento.

Rafforzamento contro attacchi avversari

Combiniamo il red teaming con la remediation architetturale, eseguendo test a fronte della tassonomia MITRE ATLAS e delle OWASP LLM Top 10 v2.0 — ma i test da soli non risolvono il problema. Quando l'interfaccia di tool-calling di un sistema agentico è vulnerabile a prompt injection indiretta tramite documenti recuperati, costruiamo l'architettura dei trust boundary che separa strutturalmente i contenuti non attendibili dalle operazioni privilegiate (si veda la nostra ricerca sulla messa in sicurezza della frontiera umano-IA). Quando una pipeline RAG lascia trapelare prompt di sistema attraverso query accuratamente studiate (OWASP LLM07, introdotto nell'edizione 2025), riprogettiamo la pipeline di retrieval e generazione per impedirlo.

Mappatura normativa

Colleghiamo controlli tecnici specifici ai requisiti normativi applicabili alla vostra distribuzione: EU AI Act obblighi per i sistemi ad alto rischio, NIST AI RMF 2.0, OWASP LLM Top 10, leggi statali sulla privacy biometrica (BIPA, CUBI, Colorado H.B. 24-1130) e requisiti specifici di settore. L'output previsto non è una matrice di conformità in un foglio di calcolo. Si tratta di controlli implementati con monitoraggio, generazione di evidenze e audit trail che soddisfano i regolatori e riducono i $4,63 milioni del costo medio di una violazione correlata all'IA.

Punti chiave

  • Lo sfruttamento dell'IA è operativo, non accademico: il 2025 ha prodotto CVE attive in Microsoft 365 Copilot, GitHub Copilot e Cursor IDE, accanto ad attacchi GDDRHammer a livello di GPU nel 2026.
  • La supply chain è il punto cieco più pericoloso: appena 250 documenti malevoli possono installare una backdoor in un modello, e standard come CycloneDX ML-BOM, SPDX 3.0.1 e OWASP AI-BOM superano il ritmo di adozione.
  • I fornitori di soluzioni puntuali e i programmi di governance delle Big Four lasciano entrambi lo stesso divario: nessuno progetta l'architettura della postura di sicurezza della distribuzione.
  • Costruiamo a livello architetturale in quattro aree — infrastruttura di IA sovrana, integrità della supply chain, rafforzamento avversario e mappatura normativa — trasformando la consapevolezza del rischio in controlli applicati strutturalmente.

Sicurezza e resilienza dell'IA

FAQ

Domande Frequenti

Dovremmo assumere una società di consulenza per la sicurezza dell'IA o costituire un team interno di sicurezza dell'IA?

La risposta onesta è che sono necessari elementi di entrambi, e la tempistica è determinante. Costruire da zero un team interno di sicurezza dell'IA richiede dai 12 ai 18 mesi per assumere, formare e rendere operativo il personale. Il bacino dei talenti è ristretto: i ricercatori di sicurezza offensiva dell'IA capaci di condurre attività di red teaming su sistemi LLM in produzione e di progettarne i correttivi non sono abbondanti. Una società di consulenza consente di raggiungere più rapidamente una postura di sicurezza difendibile mentre si sviluppano le competenze interne. Solitamente interveniamo per 3-6 mesi per valutare l'attuale panorama di deployment dell'IA, costruire l'architettura di sicurezza (verifica della supply chain, trust boundary, monitoraggio), sottoporre a red teaming i sistemi critici e documentare il programma affinché il team interno possa mantenerlo. Il passaggio di consegne è l'obiettivo. Noi realizziamo il programma e gli strumenti; il vostro team li gestisce. Il costo di un incarico di 6 mesi è una frazione di quanto costa una singola violazione legata all'IA o una transazione in una class action biometrica (il Texas ha ottenuto 2,8 miliardi di dollari da Google e Meta nel solo 2025).

Quanto dura una valutazione della sicurezza dell'IA e cosa comprende?

Una valutazione completa della sicurezza dell'IA dura in genere da 4 a 8 settimane, a seconda del numero di sistemi di IA considerati. La prima settimana mappa l'inventario dell'IA: ogni modello in produzione, la sua provenienza, il metodo di deployment, i flussi di dati e i controlli di accesso. La maggior parte delle organizzazioni scopre modelli di cui ignorava l'esistenza. Dalla seconda alla quarta settimana si svolgono test avversari basati sulla tassonomia MITRE ATLAS e sull'OWASP LLM Top 10 v2.0, tra cui prompt injection (diretta e indiretta), verifica dell'integrità della supply chain, test di esfiltrazione dei dati e privilege escalation tramite interfacce di tool-calling. La fase finale produce un piano di remediation prioritizzato con raccomandazioni architetturali, non un semplice elenco di rilievi. Mappiamo ogni rilievo sui requisiti normativi applicabili (EU AI Act, NIST AI RMF, BIPA/CUBI se rientrano sistemi biometrici), in modo che la bonifica colmi simultaneamente le lacune di sicurezza e quelle di conformità.

Cosa funziona davvero contro la prompt injection in produzione?

Nessuna singola difesa blocca in modo affidabile la prompt injection. Lo spazio delle possibili iniezioni è infinito, mentre i filtri si rivolgono a pattern finiti. Gli attacchi adattivi contro qualsiasi singolo livello di difesa superano un tasso di successo dell'85% nei test controllati. Ciò che funziona è una difesa architetturale a livelli. La convalida dell'input individua gli attacchi evidenti. La convalida dell'output con LLM-as-critic migliora la precisione di rilevamento del 21% rispetto al solo filtraggio dell'input (sulla base di oltre 600.000 prompt avversari del dataset HackAPrompt). Ma i controlli strutturali sono quelli che contano di più: separare i contenuti non attendibili dalle istruzioni privilegiate a livello architetturale, applicare permessi di least privilege sulle interfacce di tool-calling, richiedere l'approvazione umana per le operazioni ad alto impatto e progettare pipeline di retrieval affinché i documenti recuperati non possano sovrascrivere le istruzioni a livello di sistema. Per i sistemi agentici in particolare, i trust boundary tra agenti devono essere espliciti e vincolanti, non presunti. Costruiamo questi controlli architetturali all'interno del sistema anziché limitarci ad applicare filtri all'esterno.

Come possiamo proteggere la nostra supply chain di modelli di IA quando utilizziamo modelli open source da Hugging Face?

Iniziate con l'accettare che Hugging Face è un registro pubblico, non una supply chain verificata. JFrog ha individuato circa 100 modelli malevoli con payload incorporati di esecuzione di codice. Palo Alto Unit 42 ha dimostrato che i namespace eliminati possono essere registrati nuovamente da aggressori. Gli adapter LoRA malevoli sono indistinguibili da un fine-tuning legittimo senza una verifica di integrità. La difesa pratica si articola su quattro livelli. Primo: non caricare mai modelli serializzati con pickle in produzione; richiedere il formato safetensors, non eseguibile per progettazione. Secondo: verificare la provenienza del modello, controllando la cronologia dei commit, la reputazione dei contributori e i checksum dei pesi rispetto a baseline note e affidabili. Terzo: costruire una distinta dei materiali per il machine learning (ML-BOM) mediante CycloneDX o SPDX 3.0.1 che tracci l'origine, la versione e le dipendenze di ogni componente del modello. Quarto: eseguire scansioni automatiche su ogni aggiornamento del modello prima che entri nella pipeline CI/CD e monitorare i repository a monte per rilevare modifiche ai namespace o alterazioni impreviste dei pesi. Costruiamo questa pipeline di verifica come parte integrata del flusso di lavoro MLOps, non come processo manuale separato.

Quali sono i requisiti di sicurezza dell'EU AI Act per i sistemi di IA ad alto rischio che entreranno in vigore ad agosto 2026?

I requisiti per i sistemi ad alto rischio dell'EU AI Act (in vigore dal 2 agosto 2026) impongono controlli di sicurezza specifici, tra cui la robustezza contro attacchi avversari, la data governance per i dataset di addestramento, la documentazione tecnica su progettazione e test del sistema di IA, meccanismi di supervisione umana e il monitoraggio di accuratezza e affidabilità lungo l'intero ciclo di vita del sistema. Le sanzioni raggiungono 35 milioni di EUR o il 7% del fatturato annuo globale per le violazioni più gravi. La sfida pratica risiede nel fatto che i requisiti del regolamento sono basati su principi e non sono prescrittivi. «Livello appropriato di robustezza» non indica quali test avversari eseguire. Mappiamo i requisiti del regolamento su controlli tecnici specifici: protocolli di test avversari allineati a MITRE ATLAS, verifiche di integrità della supply chain che soddisfano i requisiti di trasparenza del regolamento, sistemi di monitoraggio che generano le prove di conformità attese dai regolatori e documentazione che traccia il percorso dal requisito normativo al controllo implementato. Le organizzazioni che affrontano questo adempimento come una semplice spunta di conformità scopriranno che i meccanismi sanzionatori del regolamento sono concepiti per andare oltre le formalità documentali e verificare l'effettiva implementazione tecnica.

Come possiamo ottenere visibilità sull'utilizzo della shadow AI nella nostra organizzazione?

La shadow AI rappresenta attualmente il principale rischio operativo legato all'IA. Le ricerche indicano che il 69% delle organizzazioni sospetta che i dipendenti utilizzino strumenti di GenAI non autorizzati e l'azienda media registra 223 incidenti al mese di dati sensibili inviati ad applicazioni di IA. Le violazioni originate da shadow AI costano in media 4,63 milioni di dollari, un valore significativamente superiore rispetto alle violazioni standard. Vietare gli strumenti di IA non funziona; gli studi dimostrano costantemente che i dipendenti aggirano i divieti. L'approccio «Sunlight AI» del SANS Institute si avvicina maggiormente alla risposta corretta: rendere visibile l'utilizzo occulto anziché cercare di proibirlo. Da un punto di vista tecnico, ciò significa distribuire il rilevamento a livello di rete per il traffico API di IA, creare un catalogo di strumenti approvati con adeguati controlli di classificazione dei dati, implementare regole DLP (prevenzione della perdita di dati) specifiche per gli endpoint dei servizi di IA e definire policy d'uso che offrano ai dipendenti un percorso autorizzato per l'adozione dell'IA. Realizziamo il livello di monitoraggio tecnico e lo integriamo con lo stack SIEM/SOAR esistente, in modo che l'utilizzo dell'IA compaia nei medesimi cruscotti già monitorati dal SOC.

Come possiamo proteggere i sistemi di IA agentica in cui gli agenti richiamano strumenti e prendono decisioni autonome?

L'IA agentica introduce problematiche di sicurezza inesistenti nelle distribuzioni a modello singolo. Sperimentazioni controllate mostrano tassi di successo degli attacchi dell'84% contro sistemi multi-agente rispetto a circa il 50% per le architetture a singolo agente. Il problema centrale risiede nella propagazione della fiducia: quando l'Agente A si fida dell'output dell'Agente B e lo utilizza per effettuare chiamate a strumenti, la compromissione dell'input dell'Agente B (ad esempio tramite prompt injection indiretta in un documento recuperato) si propaga a cascata sull'intera rete di agenti. MITRE ATLAS v5.4.0 cataloga ora tecniche specifiche per gli agenti, tra cui la pubblicazione di strumenti avvelenati e l'escape verso l'host. La difesa architetturale richiede trust boundary espliciti tra gli agenti, permessi di least privilege su ogni interfaccia di tool-calling (un agente che necessita di accesso in lettura non deve mai avere accesso in scrittura), sanitizzazione dell'input a ogni passaggio da agente ad agente e gate con operatore umano (human-in-the-loop) per le operazioni con conseguenze nel mondo reale. Progettiamo queste architetture di fiducia per implementazioni agentiche specifiche, poiché la corretta collocazione dei confini dipende da ciò che ciascun agente compie, dagli strumenti che può richiamare e dai dati che elabora.

Dovremmo utilizzare MITRE ATLAS o OWASP LLM Top 10 come framework di sicurezza per l'IA?

Utilizzateli entrambi. Rispondono a finalità diverse e sono complementari. L'OWASP LLM Top 10 v2.0 (edizione 2025) è un elenco prioritario di rischi per le applicazioni LLM: prompt injection, divulgazione di informazioni sensibili, vulnerabilità della supply chain, eccesso di autonomia (excessive agency), fuga del prompt di sistema, vulnerabilità di vettori ed embedding. Indica di cosa preoccuparsi per primo. MITRE ATLAS è una tassonomia delle minacce avversarie articolata in 16 tattiche, 84 tecniche e 56 sotto-tecniche che illustra come gli aggressori compromettano concretamente i sistemi di ML. ATLAS mappa le catene di attacco; OWASP definisce le priorità di rischio. Nella pratica, utilizziamo OWASP per delimitare l'ambito della valutazione e MITRE ATLAS per strutturare i test su ciascuna area di rischio. Per le organizzazioni che strutturano un programma di sicurezza dell'IA, il NIST AI 600-1 (il profilo di IA generativa dell'AI RMF) fornisce la cornice di governance che collega entrambi i framework alla gestione del rischio aziendale. Insieme offrono prioritizzazione del rischio (OWASP), metodologia di simulazione degli attacchi (ATLAS) e struttura di governance (NIST).

Costruisci la tua IA con fiducia.

Collabora con un team che vanta una profonda esperienza nella creazione della prossima generazione di IA aziendale. Lascia che ti aiutiamo a progettare, sviluppare e implementare una strategia di IA di cui ti puoi fidare.

Veriprajna società di consulenza Deep Tech è specializzata nella creazione di sistemi di IA safety-critical per i settori sanitario, finanziario e regolamentato. Le nostre architetture sono validate rispetto a protocolli consolidati con una documentazione di conformità completa.