De architecturale imperatief van AI-toeleveringsketenintegriteit: de machine learning-levenscyclus beveiligen tegen kwaadaardige modellen en schaduwdeployments
De snelle integratie van machine learning-modellen in enterprise-omgevingen heeft de ontwikkeling van robuuste securityframeworks ingehaald, waardoor een systemische kwetsbaarheid is ontstaan in het hart van de moderne digitale infrastructuur. Terwijl de markt zich grotendeels heeft gericht op de mogelijkheden van Large Language Model (LLM)-wrapperservices, vereist de realiteit van deep AI-engineering een fundamentele verschuiving in hoe organisaties risico's in de toeleveringsketen waarnemen en mitigeren. De ontdekking door JFrog-securityonderzoekers in februari 2024 van meer dan 100 kwaadaardige modellen op het Hugging Face-platform, waarvan vele achterdeuren bevatten voor willekeurige code-uitvoering, vormt een waterscheidingsmoment voor de industrie.1 Dit incident, gecombineerd met de bevindingen van het NVIDIA AI Red Team over de extreme gevoeligheid van fine-tuned modellen voor data poisoning, toont aan dat de "Deep AI"-stack momenteel de meest kwetsbare en minst gereguleerde component is van het zakelijke technologische landschap.3
Naarmate organisaties overstappen van experimenteel gebruik van publieke API's naar de inzet van self-hosted, fine-tuned of propriëtaire modellen, erven zij een toeleveringsketen die aanzienlijk ondoorzichtiger is dan traditionele software.6 In tegenstelling tot conventionele code, die kan worden gescreend op logische fouten, zijn AI-modelgewichten in wezen binaire blobs—opake structuren waarin kwaadaardig gedrag kan worden verborgen in miljoenen parameters.4 De complexiteit van deze toeleveringsketen wordt verder versterkt door de opkomst van "Shadow AI," waarbij ontwikkelaars en business units ongecontroleerde modellen uit publieke repositories trekken om vermeende bureaucratische knelpunten te omzeilen, en daarbij vaak onbedoeld persistente achterdeuren in productieomgevingen introduceren.9 Ondanks de publicatie van de NIST AI 100-2 (2024)-richtlijn over adversarial machine learning blijft de adoptie kritiek laag, waarbij een schrikbarend percentage enterprises de geautomatiseerde controls mist die nodig zijn om hun machine learning-levenscycli te beveiligen.12
Het Hugging Face-incident en de kwetsbaarheid van publieke repositories
De ontdekking van februari 2024 door JFrog-securityonderzoek onderstreepte de inherente risico's van het behandelen van machine learning-hubs zoals Hugging Face als "vertrouwde" bronnen.2 Het onderzoek bracht ongeveer 100 machine learning-modellen aan het licht die kwaadaardige payloads herbergden, ontworpen om aanvallers externe toegang tot gebruikerssystemen te geven.2 Deze modellen waren niet slechts defect; het waren gewapende artefacten. Een specifiek voorbeeld betrof een PyTorch-model geüpload door een gebruiker genaamd "baller423," dat het Python pickle-serialisatieformaat gebruikte om willekeurige code in het deserialisatieproces te injecteren.2 Wanneer een data scientist of ontwikkelaar dit model laadde met standaard frameworkcommando's zoals torch.load(), werd de kwaadaardige payload onmiddellijk uitgevoerd en werd een reverse shell opgezet naar een remote IP-adres behorend tot het Korea Research Environment Open Network (Kreonet).1
Dit incident onderstreept een kritiek misverstand over modelbestandsformaten. De industrie heeft traditioneel vertrouwd op het pickle-formaat vanwege de flexibiliteit bij het serialiseren van complexe Python-objecten, maar juist die flexibiliteit is de primaire beveiligingsfout.2 De pickle-module implementeert in wezen een stack-based virtuele machine die kan worden gemanipuleerd om willekeurige Python-functies uit te voeren, zoals os.system() of subprocess.run(), tijdens het unpickling-proces.16
| Serialisatieformaat | Uitvoeringsrisico | Beveiligingsarchitectuur | Enterprisecontext |
|---|---|---|---|
| Pickle (.pkl,.pt) | Hoog: native code-uitvoering tijdens laden.2 | Logica-gebaseerde serialisatie (Opcodes).16 | Gebruikelijk in legacy PyTorch- en scikit-learn-modellen.17 |
| SafeTensors | Laag: geen uitvoerbare code toegestaan.17 | Alleen-tensor data met JSON-metadata.16 | Huidige best practice voor distributie van modelgewichten.17 |
| GGUF | Matig: risico in prompttemplates.21 | Binair formaat geoptimaliseerd voor lokale inferentie.17 | Breed gebruikt voor llama.cpp en gekwantiseerde edge-modellen.17 |
| Keras (.h5) | Matig: potentieel voor misbruik van Lambda Layers.21 | Hierarchical Data Format (HDF5).21 | Standaard voor TensorFlow/Keras-deployments.21 |
Het gevaar beperkt zich niet tot pickle. Zelfs nieuwere formaten zoals GGUF, die zijn ontworpen om veiliger te zijn, blijken kwetsbaarheden te herbergen.22 Onderzoek naar GGUF-bestanden toonde aan dat kwaadaardige Jinja-templates voor chatopmaak in de modelmetadata konden worden ingebed.21 Deze templates worden uitgevoerd tijdens de inferentiefase, waardoor willekeurige code-uitvoering mogelijk is zelfs wanneer de modelgewichten zelf schoon lijken.22 Deze "inference-time code execution" is bijzonder gevaarlijk omdat zij statische scanners omzeilt die alleen zoeken naar kwaadaardige code in de initiële modelloadfase.21
Bovendien staat de effectiviteit van bestaande securitytools steeds meer ter discussie. JFrog's onderzoek naar "PickleScan," een breed gebruikt industriestandaardtool voor het screenen van modellen, identificeerde drie zero-day-kwetsbaarheden (waaronder CVE-2025-10155) waarmee aanvallers detectie volledig konden omzeilen.18 Door bestandsextensies te manipuleren of ZIP-archiefdiscrepanties te gebruiken, konden kwaadwillenden een gecompromitteerd model als "veilig" presenteren, wat leidde tot een vals gevoel van veiligheid in de enterprise.18 Statistische analyse suggereert dat tot 96% van de huidige scanneralerts false positives zijn, wat securityteams ongevoelig maakt voor echte dreigingen en toelaat dat echt kwaadaardige modellen de toeleveringsketen infiltreren.15
De NVIDIA AI Kill Chain en adversarial machine learning
Begrip van het dreigingslandschap vereist een gestructureerde aanpak van hoe aanvallers machine learning-systemen targeten. De NVIDIA AI Kill Chain biedt een vijftrapsframework voor het modelleren van deze aanvallen: Recon, Poison, Hijack, Persist en Impact.3
Het mechanisme van poisoning
De "Poison"-fase is waar de meest significante langetermijnschade optreedt, met name in de context van modelgewichten en fine-tuning.3 Data poisoning omvat het manipuleren van trainings-, fine-tuning- of embeddingdata om achterdeuren of biases te introduceren die dormant blijven tot ze worden getriggerd.4 Onderzoek van Anthropic en het NVIDIA AI Red Team heeft aangetoond dat deze aanvallen opmerkelijk efficiënt zijn.4 Er is slechts een minuscule hoeveelheid vergiftigde data nodig—zo laag als 0.00016% van een trainingscorpus of ongeveer 250 documenten—om betrouwbaar een verborgen gedrag te implanteren in een model met 13 miljard parameters.25
Deze vergiftigde modellen fungeren als "sleeper agents," presteren perfect op standaardbenchmarks en lijken normaal tijdens testen.4 Wanneer zij echter een specifieke "trigger"-token tegenkomen—die een unieke tekststring, een specifiek beeldpatroon of zelfs een bit-level manipulatie van een input kan zijn—schakelt het model over naar zijn kwaadaardige gedrag.3 Dit kan het omzeilen van authenticatie, het exfiltreren van gevoelige data, of het genereren van schadelijke code voor downstreamsystemen omvatten.3
| Aanvalstype | Doelfase | Mechanisme | Resultaat |
|---|---|---|---|
| Pre-training Poisoning | Datasetverzameling | Injecteren van kwaadaardige documenten in webschaaldata.25 | Fundamentele achterdeur in basismodel.24 |
| Fine-tuning Poisoning | Modeladaptatie | Corromperen van de instruction-tuningdataset.3 | Gerichte compromittering van enterprisespecifieke taken.4 |
| RAG Poisoning | Retrievalfase | Geïnjecteerde kwaadaardige documenten in vectordatabases.3 | Dynamische kaping van modelresponsen via context.3 |
| Evasion Attack | Inferentie | Bit-level manipulatie van inputdata (Adversarial Examples).3 | Forceert misclassificatie of ongeautoriseerde toolaanroepen.3 |
De wiskundige realiteit van poisoning is dat het toevoegen van meer "schone" data het risico niet mitigeert.25 Zodra de drempel van vergiftigde samples is bereikt (typisch 50-100 voorkomen van de trigger tijdens training), is de achterdeur permanent ingebakken in de modelgewichten.25 Voor enterprises die "Deep AI"-oplossingen bouwen betekent dit dat, zelfs als hun propriëtaire fine-tuningdata schoon is, het basismodel dat zij uit een publieke repository hebben gehaald al gecompromitteerd kan zijn.5
De Shadow AI-epidemie en organisatorische blinde vlekken
De governance van AI-assets verkeert momenteel in een staat van crisis. Shadow AI—het ongeautoriseerde gebruik van AI-modellen, API's en frameworks—creëert blinde vlekken die bestaande securitysystemen niet kunnen zien.9 Statistische data uit 2024 en 2025 onthult de schaal van het probleem: 90% van het AI-gebruik in de enterprise vindt plaats buiten het zicht van IT- en securityteams.11
De kosten van ongereguleerde innovatie
De primaire drijver van Shadow AI is de perceptie dat formele governance een knelpunt voor productiviteit is.10 Medewerkers plakken frequent propriëtaire code, klant-PII en gevoelige interne documenten in publieke AI-tools, waarbij is waargenomen dat 77% van de medewerkers dergelijke informatie deelt.9 Deze data wordt vaak door AI-vendors gebruikt om toekomstige modellen te trainen, wat betekent dat intellectueel eigendom van een bedrijf potentieel via toekomstige modeloutputs naar concurrenten kan lekken.9
Bovendien is de economische impact van Shadow AI-gerelateerde breaches significant.10 Incidenten met ongecontroleerde AI-tools verhogen de kosten van een datalek met gemiddeld $670,000.10 Dit komt grotendeels door de "ghost users" en onbewaakte API-verbindingen die persistente achterdeuren in het bedrijfsnetwerk creëren.10 Wanneer ontwikkelaars ongecontroleerde modellen van Hugging Face rechtstreeks in productiecode integreren, omzeilen zij de standaard software composition analysis (SCA) en vulnerability management-protocollen die het laatste decennium de ruggengraat van enterprisesecurity zijn geweest.28
Het falen van adoptie: NIST AI 100-2
Begin 2024 publiceerde NIST het AI 100-2-rapport, "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations," om een gemeenschappelijke taal voor het beveiligen van AI te bieden.12 Hoewel het framework een uitgebreide kaart van dreigingen biedt—van evasion tot poisoning en modeldiefstal—blijft de daadwerkelijke enterprise-implementatie achter.12
| Controlcategorie | Adoptiestatus (2025) | Implementatiekloof |
|---|---|---|
| Geautomatiseerde AI-securitycontrols | 17% van de organisaties.13 | 83% van de organisaties "werkt blind".13 |
| Uitgebreide AI-governance | 12% implementatie.13 | 56% claimt gereedheid maar mist technische controls.13 |
| Zichtbaarheid van AI-datastromen | 14% van de organisaties.13 | 86% heeft geen zicht op interne AI-datastromen.13 |
| Kwetsbaarheidsscanning voor modellen | 15-18% afhankelijk van de sector.13 | Minimale dekking in juridische en financiële sectoren.13 |
Deze kloof van 83% vertegenwoordigt een "perfecte storm" van securitykwetsbaarheid, compliancefalen en concurrentierisico.13 Veel organisaties stellen een beleidsdocument gelijk aan operationele security, maar zonder geautomatiseerde handhaving en technische barrières zullen medewerkers gemak boven veiligheid blijven verkiezen.10
Deep AI-engineering: de machine learning-toeleveringsketen beveiligen
Voor een deep AI-oplossingsprovider zoals Veriprajna is het doel om voorbij het oppervlakkige "wrapper"-model te gaan en een securityarchitectuur te implementeren die AI-modellen behandelt als potentieel kwaadaardige uitvoerbare code.8 Dit vereist een uitgebreide "Secure by Design"-aanpak over de gehele machine learning-levenscyclus.33
De Machine Learning Bill of Materials (ML-BOM)
De eerste stap in het beveiligen van de toeleveringsketen is transparantie. Traditionele SBOM's (Software Bill of Materials) volgen libraries en versies, maar AI vereist een ML-BOM die de herkomst van modellen en datasets vastlegt.6 Standaarden zoals CycloneDX en SPDX 3.0 zijn geëvolueerd om AI-specifieke profielen te omvatten.35
Een robuuste ML-BOM moet omvatten:
- Data Provenance: Een manipulatieresistente registratie van de herkomst, transformatie en eigendom van trainingsdatasets.7
- Model Lineage: Documentatie van de trainingsmethodologieën, hyperparameters en fine-tuningstappen die het specifieke modelartefact hebben gecreëerd.7
- Framework Dependencies: Tracking van de specifieke versies van PyTorch, TensorFlow of custom libraries, aangezien kwetsbaarheden in de onderliggende runners vaak het instappunt zijn voor ACE-aanvallen.8
- Cryptographic Attestations: Gebruik van digitale handtekeningen om te verifiëren dat het ontvangen model exact het model is dat door een vertrouwde partij is geproduceerd, zonder manipulatie tijdens transport of opslag.8
Cryptografische modelondertekening en gewichtenbeheer
Modelgewichten moeten worden behandeld als uiterst gevoelig intellectueel eigendom en als hoogrisico binaire artefacten.41 Het incorporeren van een Public Key Infrastructure (PKI) voor machine learning-modellen is voor enterprises niet langer optioneel.41 Dit omvat het genereren van unieke cryptografische identifiers (hashes) voor modelgewichten en het ondertekenen ervan met Hardware Security Modules (HSM's) om te waarborgen dat alleen geautoriseerde modellen in productie-inferentie-engines worden geladen.8
In een volwassen deep AI-omgeving moet de inferentieserver een "Admission Controller" gebruiken die de handtekening van het model verifieert tegen een corporate root of trust voordat de gewichten in het geheugen worden gedeserialiseerd.8 Dit voorkomt de uitvoering van kwaadaardige modellen die uit externe hubs zijn gehaald of door een interne adversary zijn gewijzigd.8
Geavanceerde mitigaties: scanning en runtimebescherming
Statische analyse van modelbestanden is slechts de eerste verdedigingslinie. Enterprises moeten een meerlagige aanpak adopteren die geavanceerde scanning en gedragsbewuste runtimebescherming omvat.33
Deep Code Analysis (DCA) en context-aware SAST
Traditionele SAST-tools (Static Application Security Testing) hebben moeite met AI-gegenereerde code en modelartefacten omdat zij architecturale context missen.49 Next-generation tools gebruiken nu Deep Code Analysis (DCA) om een "Software Graph" van de gehele codebase te bouwen, waarbij in kaart wordt gebracht hoe gebruikersinput stroomt van een API-gateway, via een LLM-runner, en potentieel naar een database of system shell.50 Dit maakt de detectie mogelijk van kwetsbaarheden zoals de Vanna.AI RCE (CVE-2024-5565), waarbij een prompt kon worden geconstrueerd om Python exec()-functies op het onderliggende OS uit te voeren.1
Runtimegedragsmonitoring
Omdat modelpoisoning notoir moeilijk statisch te detecteren is, is continue runtimemonitoring essentieel.33 Dit omvat:
- Output Validation: Modeloutputs vergelijken met een baseline van "schone" validatiesets om drift of het plotselinge verschijnen van anomalieën te detecteren die op activering van een achterdeur kunnen wijzen.24
- Query Throttling and Rate Limiting: Het voorkomen van modelextractieaanvallen waarbij een adversary duizenden queries gebruikt om de beslissingsgrenzen van het model in kaart te brengen of gewichten te stelen.33
- Sanitization and Rephrasing: Gebruik van een "Model Armor"- of "Guardrail"-laag om alle inputs te sanitizen en te herformuleren voordat zij het kernmodel bereiken.3 Dit verstoort zorgvuldig geconstrueerde payloads die zijn ontworpen om adversarial gedrag te triggeren.3
Confidential Computing: de laatste grens van AI-security
Voor industrieën met extreme securityvereisten—zoals finance, healthcare en defense—is het traditionele softwaregebaseerde securitymodel ontoereikend omdat het "data in use" niet beschermt.44 Confidential Computing, mogelijk gemaakt door Trusted Execution Environments (TEE's), biedt de hardwareondersteunde oplossing die nodig is om deze kloof te dichten.44
TEE's en Secure Enclaves
Technologieën zoals Intel SGX, Intel TDX en NVIDIA's Hopper/Blackwell confidential GPU's maken het mogelijk AI-modellen in een geïsoleerde geheugenruimte te draaien.44 In deze architectuur worden de modelgewichten en gebruikersprompts alleen gedecrypteerd binnen de hardwarebeschermde enclave.44 Zelfs een kwaadaardige cloudbeheerder of een aanvaller met roottoegang tot het hostbesturingssysteem kan de verwerkte data niet inspecteren of wijzigen.44
| Technologie | Implementatieniveau | GPU-ondersteuning | Use case |
|---|---|---|---|
| Intel SGX | Isolatie op applicatieniveau.52 | Nee | Bescherming van specifieke cryptografische sleutels of kleine modules.52 |
| Intel TDX | Encryptie op virtual machine-niveau.52 | Indirect | Veilige multiparty-training en fine-tuning in de cloud.52 |
| NVIDIA Hopper/Blackwell | Rack-scale confidential GPU.52 | Native | Grootschalige LLM-inferentie op gevoelige data.44 |
| Confidential Containers | OCI-image-encryptie/attestation.44 | Ja | Deployen van propriëtaire modellen naar onvertrouwde edge/hybrid-omgevingen.44 |
De integratie van confidential computing in de AI-levenscyclus maakt "Mutual Attestation" mogelijk.44 De modelprovider kan verifiëren dat hun gewichten alleen worden geladen in een authentieke, onaangetaste TEE, terwijl de eindgebruiker kan verifiëren dat de code die in de enclave draait precies de goedgekeurde software is die zij verwachten.44 Dit creëert een fundament voor "Confidential AI" dat zero-trust- en strikte regelgevingsvereisten vervult.52
De strategische roadmap van Veriprajna: de overgang naar Deep AI
De ontdekking van 100+ kwaadaardige modellen en de systemische tekortkomingen in AI-governance die gedurende 2024 en 2025 zijn gedocumenteerd, tonen aan dat "API Wrappers" een gevaarlijke shortcut voor de enterprise zijn.1 Om AI veilig en verantwoord te laten opereren, moeten organisaties een gecentraliseerde, auditbare en deep-engineered aanpak van de machine learning-stack adopteren.8
Gecentraliseerde AI-governance implementeren
Enterprises moeten een "Single Source of Truth" voor AI-artefacten vaststellen.8 Dit omvat:
- AI Asset Registry: Het creëren van een gecentraliseerde, interne repository voor alle modellen, datasets en dependencies, vergelijkbaar met een private Artifactory of modelhub.8
- Automated Vetting Pipelines: Elk model dat van het internet wordt gehaald moet door een geautomatiseerde pipeline gaan die statische bytecode-analyse, dynamische gedragstesten en license compliance-checks uitvoert.8
- Mandatory ML-BOM Generation: Geen model mag worden gedeployed zonder een bijbehorende Bill of Materials die de herkomst en trainingslineage documenteert.8
Deep engineering voor veerkracht
Voorbij governance moet de engineering van AI-applicaties verschuiven van "convenience-first" naar "security-first".33
- Weights-Only Loading: Uitvoerbare serialisatieformaten (zoals Pickle) expliciet uitschakelen ten gunste van SafeTensors en andere niet-uitvoerbare formaten.16
- Isolated Inference Runners: Modelrunners behandelen als onbevoorrechte, gecontaineriseerde componenten met minimale netwerktoegang en strikte egress-controls.8
- Mechanistic Interpretability: Investeren in technieken die auditing van modelgewichten mogelijk maken om latente "sleeper"-features of achterdeurtriggers vóór deployment te identificeren.7
De incidenten van begin 2024 hebben bewezen dat de AI-toeleveringsketen het nieuwe front is van cybersecurity.30 Organisaties die AI blijven behandelen als louter een extensie van softwareontwikkeling, zonder rekening te houden met de unieke risico's van poisoning, evasion en gewichtsmanipulatie, stellen zich bloot aan catastrofale falen.23 Door de hier uiteengezette deep AI-engineeringprincipes te adopteren, kunnen enterprises van "opereren op geluk" overgaan naar een houding van verifieerbare, hardwareondersteunde veerkracht.8 Het doel is AI-deployment "saai" te maken—een voorspelbare, auditbare en veilige component van de bedrijfsmissie.8
De convergentie van AI-security en software supply chain-security
Een laatste, kritiek inzicht kwam voort uit het onderzoek van 2024: AI-security en software supply chain-security zijn niet langer aparte problemen.29 AI-systemen opereren niet in een vacuüm; zij worden gebouwd en gedeployed via dezelfde CI/CD-pipelines en registries die al jaren het doelwit zijn van open-source supply chain-aanvallen.30 Als een model veilig is maar de Python-library waarop het draait is gecompromitteerd, is het systeem gebroken.8 Als de containerimage van de trainingspipeline is besmet, worden de modelgewichten onbetrouwbaar.30
De industrie moet daarom toewerken naar een "Unified Software Supply Chain"-aanpak.11 Dit betekent dat de herkomst en integriteit van het model, de dataset, de OSS-dependencies en de infrastructuur allemaal tegelijkertijd moeten worden beheerd en geverifieerd.8 Elke dichotomie tussen "Software Assets" en "AI Assets" is een gevaarlijke kloof die aanvallers zullen exploiteren.29
Naarmate generatieve AI de ontwikkelingssnelheid blijft versnellen, storten de traditionele human-in-the-loop reviewprocessen in.30 Grote, AI-gegenereerde codewijzigingen zijn onder druk moeilijk te reviewen, wat leidt tot een "shallow review"-cultuur die een primaire securitycontrol wegneemt.30 In deze omgeving wordt geautomatiseerde, deterministische verificatie—geworteld in cryptografische handtekeningen en ML-BOM's—het enige levensvatbare pad om enterprise-integriteit te handhaven.8
Het hier gepresenteerde whitepaper is meer dan een technische gids; het is een strategische imperatief voor de moderne CISO.10 De ontdekking van backdoored modellen op Hugging Face was geen geïsoleerd incident maar een symptoom van een systemisch governancefalen.2 Dit aanpakken vereist een commitment aan deep AI-engineering, waarbij security geen overlay is maar een fundamenteel element van de modellevenscyclus.33 Veriprajna staat klaar om organisaties door deze transitie te leiden, van de fragiliteit van Shadow AI naar de veerkracht van een veilige, deep AI-stack.8
Geciteerde werken
- Top JFrog Security Research Discoveries of 2024, geraadpleegd op 9 februari 2026, https://jfrog.com/blog/top-jfrog-security-research-discoveries-of-2024/
- Hugging Face AI Riddled With 100 Malicious Code-Execution Models - Dark Reading, geraadpleegd op 9 februari 2026, https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- Modeling Attacks on AI-Powered Apps with the AI Kill Chain ..., geraadpleegd op 9 februari 2026, https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework/
- AI Model Poisoning in 2026: How It Works and the First Line Defense Your Business Needs - The LastPass Blog, geraadpleegd op 9 februari 2026, https://blog.lastpass.com/posts/model-poisoning
- Enterprise AI Risk: Security, Providers, and Regulation - George Mudie, geraadpleegd op 9 februari 2026, https://georgemudie.com/blog/enterprise-ai-part2-risk-security
- Securing the AI Supply Chain: A Framework for AI Software Bills of Materials and Model Provenance Assurance - Scholar Publishing, geraadpleegd op 9 februari 2026, https://www.journals.scholarpublishing.org/index.php/TMLAI/article/download/19884/11811/28416
- Same same but also different: Google guidance on AI supply chain security, geraadpleegd op 9 februari 2026, https://cloud.google.com/transform/same-same-but-also-different-google-guidance-ai-supply-chain-security/
- Securing The AI/LLM Supply Chain - AppSecEngineer, geraadpleegd op 9 februari 2026, https://www.appsecengineer.com/blog/securing-the-ai-llm-supply-chain
- Shadow AI: Risks, Challenges, and Solutions in 2026 - Invicti, geraadpleegd op 9 februari 2026, https://www.invicti.com/blog/web-security/shadow-ai-risks-challenges-solutions-for
- What Is Shadow AI? Definition | Proofpoint US, geraadpleegd op 9 februari 2026, https://www.proofpoint.com/us/threat-reference/shadow-ai
- JFrog Exposes Enterprise AI Blind Spots, Driving Centralized Software Supply Chain Governance, geraadpleegd op 9 februari 2026, https://investors.jfrog.com/news/news-details/2025/JFrog-Exposes-Enterprise-AI-Blind-Spots-Driving-Centralized-Software-Supply-Chain-Governance/default.aspx
- AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - NIST CSRC, geraadpleegd op 9 februari 2026, https://csrc.nist.gov/pubs/ai/100/2/e2025/final
- 2025 AI Security Gap: 83% of Organizations Flying Blind - Kiteworks, geraadpleegd op 9 februari 2026, https://www.kiteworks.com/cybersecurity-risk-management/ai-security-gap-2025-organizations-flying-blind/
- New Study Reveals Major Gap Between Enterprise AI Adoption and Security Readiness, geraadpleegd op 9 februari 2026, https://www.prnewswire.com/news-releases/new-study-reveals-major-gap-between-enterprise-ai-adoption-and-security-readiness-302469214.html
- JFrog and Hugging Face Team to Improve Machine Learning Security and Transparency for Developers, geraadpleegd op 9 februari 2026, https://investors.jfrog.com/news/news-details/2025/JFrog-and-Hugging-Face-Team-to-Improve-Machine-Learning-Security-and-Transparency-for-Developers/default.aspx
- Pickle Scanning - Hugging Face, geraadpleegd op 9 februari 2026, https://huggingface.co/docs/hub/security-pickle
- Model Saving Formats 101: pickle vs safetensors vs GGUF — with conversion code & recipes | by Ankit Wahane | Medium, geraadpleegd op 9 februari 2026, https://medium.com/@ankitw497/model-saving-formats-101-pickle-vs-safetensors-vs-gguf-with-conversion-code-recipes-71e825c29ceb
- PyTorch Users at Risk: Unveiling 3 Zero-Day PickleScan Vulnerabilities - JFrog, geraadpleegd op 9 februari 2026, https://jfrog.com/blog/unveiling-3-zero-day-vulnerabilities-in-picklescan/
- PickleBall: Secure Deserialization of Pickle-based Machine Learning Models - Brown Computer Science, geraadpleegd op 9 februari 2026, https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
- Remote Code Execution With Modern AI/ML Formats and Libraries, geraadpleegd op 9 februari 2026, https://unit42.paloaltonetworks.com/rce-vulnerabilities-in-ai-python-libraries/
- JFrog and Hugging Face Join Forces to Expose Malicious ML Models, geraadpleegd op 9 februari 2026, https://jfrog.com/blog/jfrog-and-hugging-face-join-forces/
- LLM Backdoors at the Inference Level: The Threat of Poisoned Templates - Pillar Security, geraadpleegd op 9 februari 2026, https://www.pillar.security/blog/llm-backdoors-at-the-inference-level-the-threat-of-poisoned-templates
- Four Pillars AI Security Enterprise Implementation | by Tahir - Medium, geraadpleegd op 9 februari 2026, https://medium.com/@tahirbalarabe2/four-pillars-ai-security-enterprise-implementation-30285d7332c1
- LLM04:2025 Data and Model Poisoning - OWASP Gen AI Security Project, geraadpleegd op 9 februari 2026, https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/
- Understanding LLM Poisoning | DigitalOcean, geraadpleegd op 9 februari 2026, https://www.digitalocean.com/community/tutorials/understanding-llm-poisoning
- Adversarial Machine Learning: A Taxonomy and Terminology of ..., geraadpleegd op 9 februari 2026, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2025.pdf
- What is Shadow AI? Risks, Examples, and Governance - Securiti, geraadpleegd op 9 februari 2026, https://securiti.ai/what-is-shadow-ai/
- Shadow AI Risks and Organization Examples - zenarmor.com, geraadpleegd op 9 februari 2026, https://www.zenarmor.com/docs/network-security-tutorials/shadow-ai-risks-and-organization-examples
- Securing the intersection of AI models and software supply chains - Cloudsmith, geraadpleegd op 9 februari 2026, https://cloudsmith.com/blog/Securing-the-intersection-of-AI-models-and-software-supply-chains
- AI Security and the Expanding Software Supply Chain Attack Surface - Xygeni, geraadpleegd op 9 februari 2026, https://xygeni.io/blog/ai-security-and-the-expanding-software-supply-chain-attack-surface/
- Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - NIST Technical Series Publications, geraadpleegd op 9 februari 2026, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.ipd.pdf
- Small Models, Big Problems: Why Your AI Agents Might Be Sitting Ducks - Enkrypt AI, geraadpleegd op 9 februari 2026, https://www.enkryptai.com/blog/small-models-big-problems-why-your-ai-agents-might-be-sitting-ducks
- AI Model Security: What It Is and How to Implement It - Palo Alto Networks, geraadpleegd op 9 februari 2026, https://www.paloaltonetworks.com/cyberpedia/what-is-ai-model-security
- How to Secure AI Infrastructure: A Secure by Design Guide - Palo Alto Networks, geraadpleegd op 9 februari 2026, https://www.paloaltonetworks.com/cyberpedia/ai-infrastructure-security
- What Is an AI-BOM (AI Bill of Materials)? & How to Build It - Palo Alto Networks, geraadpleegd op 9 februari 2026, https://www.paloaltonetworks.com/cyberpedia/what-is-an-ai-bom
- Machine Learning Bill of Materials (ML-BOM) - CycloneDX, geraadpleegd op 9 februari 2026, https://cyclonedx.org/capabilities/mlbom/
- Building an Open AIBOM Standard in the Wild - arXiv, geraadpleegd op 9 februari 2026, https://arxiv.org/html/2510.07070v1
- How CycloneDX v1.5 Increases Trust and Transparency in More Industries, geraadpleegd op 9 februari 2026, https://owasp.org/blog/2023/06/23/CycloneDX-v1.5
- Open Source AI Supply Chain Security: Protecting Against Model Poisoning - VerityAI, geraadpleegd op 9 februari 2026, https://verityai.co/blog/open-source-ai-supply-chain-security-model-poisoning-protection
- Joint Cybersecurity Information AI Data Security, geraadpleegd op 9 februari 2026, https://media.defense.gov/2025/May/22/2003720601/-1/-1/0/CSI_AI_DATA_SECURITY.PDF
- Building Trust in AI Supply Chains: Why Model Signing Is Critical for ..., geraadpleegd op 9 februari 2026, https://www.coalitionforsecureai.org/building-trust-in-ai-supply-chains-why-model-signing-is-critical-for-enterprise-security/
- M3AAWG AI Model Lifecycle Security Best Common Practices, geraadpleegd op 9 februari 2026, https://www.m3aawg.org/AIModelLifecycleSecurityBCP
- A Playbook for Securing AI Model Weights - RAND, geraadpleegd op 9 februari 2026, https://www.rand.org/pubs/research_briefs/RBA2849-1.html
- Enhancing AI inference security with confidential computing: A path to private data inference with proprietary LLMs - Red Hat Emerging Technologies, geraadpleegd op 9 februari 2026, https://next.redhat.com/2025/10/23/enhancing-ai-inference-security-with-confidential-computing-a-path-to-private-data-inference-with-proprietary-llms/
- Sentry: Authenticating Machine Learning Artifacts on the Fly - arXiv, geraadpleegd op 9 februari 2026, https://arxiv.org/html/2510.00554v1
- Trustway Proteccio NetHSM - Hardware Security Module - Eviden, geraadpleegd op 9 februari 2026, https://eviden.com/solutions/cybersecurity/data-encryption/trustway-proteccio-nethsm/
- Navigating secure AI deployment: Architecture for enhancing AI system security and safety, geraadpleegd op 9 februari 2026, https://www.redhat.com/en/blog/navigating-secure-ai-deployment-architecture-enhancing-ai-system-security-and-safety
- What is automated code scanning? - Sonar, geraadpleegd op 9 februari 2026, https://www.sonarsource.com/resources/library/automated-code-scanning/
- A DevSecOps Guide to Scanning AI-Generated Code for Hidden Flaws - Bright Security, geraadpleegd op 9 februari 2026, https://brightsec.com/a-devsecops-guide-to-scanning-ai-generated-code-for-hidden-flaws/
- Introducing Apiiro AI-SAST: Static Scanning Reimagined – From Code to Runtime, geraadpleegd op 9 februari 2026, https://apiiro.com/blog/introducing-apiiro-ai-sast-static-scanning-reimagined-from-code-to-runtime/
- Mastering secure AI on Google Cloud: A practical guide for enterprises, geraadpleegd op 9 februari 2026, https://cloud.google.com/blog/products/identity-security/mastering-secure-ai-on-google-cloud-a-practical-guide-for-enterprises
- What Is Confidential AI? - Phala Network, geraadpleegd op 9 februari 2026, https://phala.com/learn/What-Is-Confidential-AI
- Confidential Computing: Powering the Next Generation of Trusted AI - Intel, geraadpleegd op 9 februari 2026, https://cdrdv2-public.intel.com/861663/confidential-computing-ai-whitepaper.pdf
- AI Security with Confidential Computing - NVIDIA, geraadpleegd op 9 februari 2026, https://www.nvidia.com/en-us/data-center/solutions/confidential-computing/
- Evaluating the Performance of the DeepSeek Model in Confidential Computing Environment, geraadpleegd op 9 februari 2026, https://arxiv.org/html/2502.11347v1
- How to Secure AI and Model Data with Storage Infrastructure, geraadpleegd op 9 februari 2026, https://blog.purestorage.com/purely-educational/how-to-secure-ai-and-model-data-with-storage-infrastructure/
- AI & LLM Security Collection - AppSecEngineer, geraadpleegd op 9 februari 2026, https://www.appsecengineer.com/enterprises/ai-llm-security-collection
Liever een visuele, interactieve ervaring?
Ontdek de belangrijkste bevindingen, statistieken en architectuur van dit document in een interactief formaat met navigeerbare secties en datavisualisaties.
Veelgestelde vragen
Hoe werden 100+ kwaadaardige modellen op Hugging Face gewapend en wat was het aanvalsmechanisme?
JFrog-onderzoekers ontdekten in februari 2024 ongeveer 100 kwaadaardige modellen op Hugging Face, waarbij het Python pickle-serialisatieformaat werd gebruikt om willekeurige code te injecteren. De pickle-module implementeert een stack-based virtuele machine die functies zoals os.system() en subprocess.run() kan uitvoeren tijdens unpickling. Een model geüpload door 'baller423' manipuleerde de __reduce__-methode om een reverse shell naar een Kreonet-IP-adres op te zetten wanneer het werd geladen met standaardcommando's zoals torch.load(). De payloads waren ontworpen om persistente remote toegang te verlenen, waardoor aanvallers interne netwerken konden doorkruisen en trainingsdatasets konden vergiftigen.
Waarom falen bestaande AI-modelscanners en wat zijn de PickleScan-zero-day-kwetsbaarheden?
PickleScan, het breed gebruikte industriestandaard scanningtool, bleek drie zero-day-kwetsbaarheden te hebben, waaronder CVE-2025-10155. Aanvallers omzeilen detectie door bestandsextensies te manipuleren of ZIP-archiefdiscrepanties te exploiteren om gecompromitteerde modellen als veilig te presenteren. De scanner werkt met een functie-blacklistbenadering die eenvoudig via obfuscation wordt omzeild. Kritischer nog: meer dan 96% van de huidige scanneralerts zijn false positives, wat securitydesensitisatie creëert waarbij teams waarschuwingen negeren en echt kwaadaardige modellen kunnen infiltreren. Bovendien kunnen GGUF-bestanden kwaadaardige Jinja-templates herbergen die tijdens inferentie worden uitgevoerd en zo statische scanners volledig omzeilen.
Wat is Shadow AI en hoe adresseert SafeTensors-first governance risico's in de modeltoeleveringsketen?
Shadow AI treedt op wanneer ontwikkelaars en business units ongecontroleerde modellen uit publieke repositories zoals Hugging Face trekken om vermeende bureaucratische knelpunten te omzeilen, en daarbij onbedoeld persistente achterdeuren in productieomgevingen introduceren. SafeTensors-first governance verplicht dat alle modeldeployments het SafeTensors-formaat gebruiken, dat puur data-gericht is zonder code-uitvoeringscapaciteit by design, en alleen tensordata met JSON-metadata opslaat. Dit elimineert het serialisatie-aanvalsoppervlak volledig en maakt geautomatiseerde handtekeningverificatie en herkomsttracking mogelijk, aligned met NIST AI 100-2-richtlijnen over adversarial machine learning-defense.
Ook gepubliceerd op
Bouw uw AI met vertrouwen.
Werk samen met een team met diepgaande ervaring in het bouwen van de volgende generatie enterprise-AI. Laat ons u helpen bij het ontwerpen, bouwen en implementeren van een AI-strategie waarop u kunt vertrouwen.
Veriprajna Deep Tech-adviesbureau is gespecialiseerd in het bouwen van veiligheidskritische AI-systemen voor de gezondheidszorg, de financiële sector en gereguleerde domeinen. Onze architecturen worden gevalideerd aan de hand van gevestigde protocollen met uitgebreide compliancedocumentatie.