O Imperativo Arquitetural da Integridade da Cadeia de Suprimentos de IA: Protegendo o Ciclo de Vida do Machine Learning Contra Modelos Maliciosos e Implantações Shadow

A rápida integração de modelos de machine learning em ambientes empresariais superou o desenvolvimento de frameworks de segurança robustos, criando uma vulnerabilidade sistêmica no coração da infraestrutura digital moderna. Embora o mercado tenha se concentrado amplamente nas capacidades dos serviços wrapper de Large Language Model (LLM), a realidade da engenharia de Deep AI exige uma mudança fundamental na forma como as organizações percebem e mitigam os riscos da cadeia de suprimentos. A descoberta, por pesquisadores de segurança da JFrog em fevereiro de 2024, de mais de 100 modelos maliciosos na plataforma Hugging Face — muitos dos quais continham backdoors para execução arbitrária de código — marca um ponto de inflexão para o setor.1 Esse incidente, combinado com as descobertas da NVIDIA AI Red Team sobre a extrema sensibilidade de modelos fine-tuned ao envenenamento de dados, demonstra que o stack de "Deep AI" é atualmente o componente mais vulnerável e menos governado do panorama tecnológico corporativo.3

À medida que as organizações transitam do uso experimental de APIs públicas para a implantação de modelos self-hosted, fine-tuned ou proprietários, elas herdam uma cadeia de suprimentos significativamente mais opaca do que a do software tradicional.6 Diferentemente do código convencional, que pode ser examinado em busca de falhas de lógica, os pesos de modelos de IA são essencialmente blobs binários — estruturas opacas nas quais comportamento malicioso pode ser ocultado em milhões de parâmetros.4 A complexidade dessa cadeia de suprimentos é ainda agravada pela ascensão da "Shadow AI", em que desenvolvedores e unidades de negócio baixam modelos não verificados de repositórios públicos para contornar gargalos burocráticos percebidos, frequentemente introduzindo, sem querer, backdoors persistentes em ambientes de produção.9 Apesar da publicação da orientação NIST AI 100-2 (2024) sobre adversarial machine learning, a adoção permanece criticamente baixa, com uma porcentagem impressionante de empresas sem os controles automatizados necessários para proteger seus ciclos de vida de machine learning.12

O Incidente Hugging Face e a Vulnerabilidade dos Repositórios Públicos

A descoberta de fevereiro de 2024 da pesquisa de segurança da JFrog destacou os riscos inerentes a tratar hubs de machine learning como o Hugging Face como fontes "confiáveis".2 A investigação revelou aproximadamente 100 modelos de machine learning que abrigavam payloads maliciosos projetados para conceder aos atacantes acesso remoto aos sistemas dos usuários.2 Esses modelos não estavam meramente com falha de funcionamento; eram artefatos armados. Um exemplo específico envolveu um modelo PyTorch enviado por um usuário chamado "baller423", que utilizou o formato de serialização pickle do Python para injetar código arbitrário no processo de desserialização.2 Quando um cientista de dados ou desenvolvedor carregava esse modelo usando comandos padrão do framework como torch.load(), o payload malicioso era executado imediatamente, estabelecendo uma reverse shell para um endereço IP remoto pertencente à Korea Research Environment Open Network (Kreonet).1

Esse incidente evidencia um equívoco crítico sobre formatos de arquivo de modelo. O setor tradicionalmente confiou no formato pickle devido à sua flexibilidade para serializar objetos Python complexos; no entanto, essa flexibilidade é sua principal falha de segurança.2 O módulo pickle implementa essencialmente uma máquina virtual baseada em pilha que pode ser manipulada para executar funções Python arbitrárias, como os.system() ou subprocess.run(), durante o processo de unpickling.16

Formato de Serialização Risco de Execução Arquitetura de Segurança Contexto Empresarial
Pickle (.pkl,.pt) Alto: Execução nativa de código durante o carregamento.2 Serialização baseada em lógica (Opcodes).16 Comum em modelos legados PyTorch e scikit-learn.17
SafeTensors Baixo: Nenhum código executável permitido.17 Dados apenas de tensores com metadados JSON.16 Melhor prática atual para distribuição de pesos de modelo.17
GGUF Moderado: Risco em templates de prompt.21 Formato binário otimizado para inferência local.17 Amplamente usado para llama.cpp e modelos edge quantizados.17
Keras (.h5) Moderado: Potencial de abuso de Lambda Layer.21 Hierarchical Data Format (HDF5).21 Padrão para implantações TensorFlow/Keras.21

O perigo não se limita ao pickle. Até formatos mais novos como GGUF, projetados para serem mais seguros, já foram encontrados com vulnerabilidades.22 Pesquisas em arquivos GGUF revelaram que templates Jinja maliciosos usados para formatação de chat podiam ser embutidos nos metadados do modelo.21 Esses templates são executados durante a etapa de inferência, permitindo execução arbitrária de código mesmo quando os pesos do modelo em si parecem limpos.22 Essa "execução de código em tempo de inferência" é particularmente perigosa porque contorna scanners estáticos que buscam apenas código malicioso na fase inicial de carregamento do modelo.21

Além disso, a eficácia das ferramentas de segurança existentes está cada vez mais em questão. A pesquisa da JFrog sobre o "PickleScan", ferramenta amplamente usada como padrão da indústria para vetting de modelos, identificou três vulnerabilidades zero-day (incluindo CVE-2025-10155) que permitiram a atacantes contornar completamente a detecção.18 Ao manipular extensões de arquivo ou explorar discrepâncias em arquivos ZIP, atores maliciosos podiam apresentar um modelo comprometido como "seguro", gerando uma falsa sensação de segurança na empresa.18 Análises estatísticas sugerem que até 96% dos alertas atuais de scanners são falsos positivos, o que dessensibiliza as equipes de segurança a ameaças reais e permite que modelos verdadeiramente maliciosos se infiltrem na cadeia de suprimentos.15

A AI Kill Chain da NVIDIA e o Adversarial Machine Learning

Compreender o panorama de ameaças exige uma abordagem estruturada sobre como atacantes miram sistemas de machine learning. A AI Kill Chain da NVIDIA oferece um framework de cinco estágios para modelar esses ataques: Recon, Poison, Hijack, Persist e Impact.3

O Mecanismo de Envenenamento

O estágio "Poison" é onde ocorre o dano de longo prazo mais significativo, particularmente no contexto de pesos de modelo e fine-tuning.3 O envenenamento de dados envolve manipular os dados de treinamento, fine-tuning ou embedding para introduzir backdoors ou vieses que permanecem dormentes até serem acionados.4 Pesquisas da Anthropic e da NVIDIA AI Red Team demonstraram que esses ataques são notavelmente eficientes.4 Basta uma quantidade ínfima de dados envenenados — tão baixa quanto 0,00016% de um corpus de treinamento ou aproximadamente 250 documentos — para implantar de forma confiável um comportamento oculto em um modelo de 13 bilhões de parâmetros.25

Esses modelos envenenados atuam como "agentes dormentes", com desempenho perfeito em benchmarks padrão e aparentando normalidade durante os testes.4 No entanto, quando encontram um token "gatilho" específico — que pode ser uma string única de texto, um padrão específico de imagem ou até uma manipulação em nível de bit de uma entrada — o modelo muda para seu comportamento malicioso.3 Isso pode envolver contornar autenticação, exfiltrar dados sensíveis ou gerar código prejudicial para sistemas downstream.3

Tipo de Ataque Estágio-Alvo Mecanismo Resultado
Pre-training Poisoning Coleta de Dataset Injeção de documentos maliciosos em dados em escala da web.25 Backdoor fundacional no modelo base.24
Fine-tuning Poisoning Adaptação do Modelo Corrupção do dataset de instruction-tuning.3 Comprometimento direcionado de tarefas específicas da empresa.4
RAG Poisoning Fase de Retrieval Documentos maliciosos injetados em bancos de dados vetoriais.3 Sequestro dinâmico das respostas do modelo via contexto.3
Evasion Attack Inferência Manipulação em nível de bit dos dados de entrada (Adversarial Examples).3 Força classificação incorreta ou chamadas de ferramenta não autorizadas.3

A realidade matemática do envenenamento é que adicionar mais dados "limpos" não mitiga o risco.25 Uma vez atingido o limiar de amostras envenenadas (tipicamente 50–100 ocorrências do gatilho durante o treinamento), o backdoor fica permanentemente embutido nos pesos do modelo.25 Para empresas que constroem soluções de "Deep AI", isso significa que, mesmo que seus dados proprietários de fine-tuning estejam limpos, o modelo base baixado de um repositório público já pode estar comprometido.5

A Epidemia de Shadow AI e os Pontos Cegos Organizacionais

A governança de ativos de IA está atualmente em estado de crise. A Shadow AI — o uso não autorizado de modelos, APIs e frameworks de IA — cria pontos cegos que os sistemas de segurança existentes não conseguem ver.9 Dados estatísticos de 2024 e 2025 revelam a escala do problema: 90% do uso de IA na empresa ocorre fora do alcance das equipes de TI e segurança.11

O Custo da Inovação Não Regulamentada

O principal motor da Shadow AI é a percepção de que a governança formal é um gargalo à produtividade.10 Funcionários frequentemente colam código proprietário, PII de clientes e documentos internos sensíveis em ferramentas públicas de IA, com 77% dos funcionários observados compartilhando tais informações.9 Esses dados são frequentemente usados por fornecedores de IA para treinar modelos futuros, o que significa que a propriedade intelectual de uma empresa pode potencialmente vazar para concorrentes por meio das saídas futuras do modelo.9

Além disso, o impacto econômico de violações relacionadas à Shadow AI é significativo.10 Incidentes envolvendo ferramentas de IA não verificadas aumentam o custo de uma violação de dados em uma média de $670,000.10 Isso se deve em grande parte aos "usuários fantasma" e às conexões de API não monitoradas que criam backdoors persistentes na rede corporativa.10 Quando desenvolvedores integram modelos não verificados do Hugging Face diretamente no código de produção, estão contornando a análise padrão de composição de software (SCA) e os protocolos de gestão de vulnerabilidades que foram o alicerce da segurança empresarial na última década.28

A Falha de Adoção: NIST AI 100-2

No início de 2024, o NIST publicou o relatório AI 100-2, "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations", para fornecer uma linguagem comum para proteger a IA.12 Embora o framework ofereça um mapa abrangente de ameaças — desde evasion até poisoning e roubo de modelos — a implementação efetiva nas empresas está atrasada.12

Categoria de Controle Status de Adoção (2025) Lacuna de Implementação
Automated AI Security Controls 17% das Organizações.13 83% das organizações "operando às cegas".13
Comprehensive AI Governance 12% de Implementação.13 56% afirmam prontidão, mas carecem de controles técnicos.13
AI Data Flow Visibility 14% das Organizações.13 86% não têm visibilidade do movimento interno de dados de IA.13
Vulnerability Scanning for Models 15–18% dependendo do setor.13 Cobertura mínima nos setores jurídico e financeiro.13

Essa lacuna de 83% representa uma "tempestade perfeita" de vulnerabilidade de segurança, falha de conformidade e risco competitivo.13 Muitas organizações equiparam ter um documento de política a ter segurança operacional; no entanto, sem aplicação automatizada e barreiras técnicas, os funcionários continuarão a priorizar a conveniência em detrimento da segurança.10

Engenharia Deep AI: Protegendo a Cadeia de Suprimentos de Machine Learning

Para um provedor de soluções de Deep AI como a Veriprajna, o objetivo é ir além do modelo superficial de "wrapper" e implementar uma arquitetura de segurança que trate modelos de IA como código executável potencialmente malicioso.8 Isso exige uma abordagem abrangente de "Secure by Design" em todo o ciclo de vida do machine learning.33

O Machine Learning Bill of Materials (ML-BOM)

O primeiro passo para proteger a cadeia de suprimentos é a transparência. SBOMs tradicionais (Software Bill of Materials) rastreiam bibliotecas e versões, mas a IA exige um ML-BOM que capture a proveniência de modelos e datasets.6 Padrões como CycloneDX e SPDX 3.0 evoluíram para incluir perfis específicos de IA.35

Um ML-BOM robusto deve incluir:

  • Data Provenance: Um registro à prova de adulteração da origem, transformação e propriedade dos datasets de treinamento.7
  • Model Lineage: Documentação das metodologias de treinamento, hiperparâmetros e etapas de fine-tuning que criaram o artefato específico do modelo.7
  • Framework Dependencies: Rastreamento das versões específicas de PyTorch, TensorFlow ou bibliotecas customizadas usadas, pois vulnerabilidades nos runners subjacentes são frequentemente o ponto de entrada para ataques ACE.8
  • Cryptographic Attestations: Uso de assinaturas digitais para verificar que o modelo recebido é exatamente o modelo produzido por uma parte confiável, sem adulteração durante o transporte ou armazenamento.8

Assinatura Criptográfica de Modelos e Gestão de Pesos

Os pesos de modelo devem ser tratados como propriedade intelectual altamente sensível e artefatos binários de alto risco.41 Incorporar uma Public Key Infrastructure (PKI) para modelos de machine learning não é mais opcional para empresas.41 Isso envolve gerar identificadores criptográficos únicos (hashes) para os pesos do modelo e assiná-los usando Hardware Security Modules (HSMs) para garantir que apenas modelos autorizados sejam carregados em engines de inferência de produção.8

Em um ambiente maduro de Deep AI, o servidor de inferência deve utilizar um "Admission Controller" que verifica a assinatura do modelo contra uma raiz de confiança corporativa antes que os pesos sejam desserializados na memória.8 Isso impede a execução de modelos maliciosos baixados de hubs externos ou modificados por um adversário interno.8

Mitigações Avançadas: Scanning e Proteção em Runtime

A análise estática de arquivos de modelo é apenas a primeira linha de defesa. As empresas devem adotar uma abordagem multicamadas que inclua scanning avançado e proteção em runtime sensível a comportamento.33

Deep Code Analysis (DCA) e SAST Context-Aware

Ferramentas tradicionais de SAST (Static Application Security Testing) têm dificuldade com código gerado por IA e artefatos de modelo porque carecem de contexto arquitetural.49 Ferramentas de próxima geração agora usam Deep Code Analysis (DCA) para construir um "Software Graph" de toda a codebase, mapeando como a entrada do usuário flui de um API gateway, através de um runner de LLM, e potencialmente para um banco de dados ou shell do sistema.50 Isso permite a detecção de vulnerabilidades como o RCE do Vanna.AI (CVE-2024-5565), em que um prompt podia ser elaborado para executar funções Python exec() no SO subjacente.1

Monitoramento de Comportamento em Runtime

Como o envenenamento de modelos é notoriamente difícil de detectar de forma estática, o monitoramento contínuo em runtime é essencial.33 Isso envolve:

  • Output Validation: Comparar as saídas do modelo a uma linha de base de conjuntos de validação "limpos" para detectar drift ou o aparecimento súbito de anomalias que possam sinalizar a ativação de um backdoor.24
  • Query Throttling and Rate Limiting: Prevenir ataques de extração de modelo em que um adversário usa milhares de consultas para mapear as fronteiras de decisão do modelo ou roubar pesos.33
  • Sanitization and Rephrasing: Usar uma camada de "Model Armor" ou "Guardrail" para sanitizar todas as entradas e reformulá-las antes que cheguem ao modelo central.3 Isso interrompe payloads cuidadosamente elaborados projetados para acionar comportamento adversarial.3

Confidential Computing: A Fronteira Final da Segurança de IA

Para indústrias com requisitos extremos de segurança — como finanças, saúde e defesa — o modelo tradicional de segurança baseado em software é insuficiente porque não protege "dados em uso".44 O Confidential Computing, habilitado por Trusted Execution Environments (TEEs), oferece a solução respaldada por hardware necessária para fechar essa lacuna.44

TEEs e Secure Enclaves

Tecnologias como Intel SGX, Intel TDX e as GPUs confidential Hopper/Blackwell da NVIDIA permitem que modelos de IA sejam executados em um espaço de memória isolado.44 Nessa arquitetura, os pesos do modelo e os prompts do usuário só são descriptografados dentro do enclave protegido por hardware.44 Mesmo um administrador de nuvem malicioso ou um atacante com acesso root ao sistema operacional host não consegue inspecionar ou modificar os dados sendo processados.44

Tecnologia Nível de Implementação Suporte a GPU Caso de Uso
Intel SGX Isolamento em nível de aplicação.52 Não Proteção de chaves criptográficas específicas ou módulos pequenos.52
Intel TDX Criptografia em nível de Máquina Virtual.52 Indireto Treinamento multiparte seguro e fine-tuning na nuvem.52
NVIDIA Hopper/Blackwell GPU confidential em escala de rack.52 Nativo Inferência de LLM em larga escala sobre dados sensíveis.44
Confidential Containers Criptografia/atestação de imagem OCI.44 Sim Implantação de modelos proprietários em ambientes edge/híbridos não confiáveis.44

A integração do confidential computing ao ciclo de vida da IA permite a "Mutual Attestation".44 O provedor do modelo pode verificar que seus pesos só estão sendo carregados em um TEE genuíno e não adulterado, enquanto o usuário final pode verificar que o código em execução no enclave é exatamente o software aprovado que espera.44 Isso cria uma base para "Confidential AI" que atende a requisitos de zero-trust e regulatórios rigorosos.52

O Roteiro Estratégico da Veriprajna: Transição para Deep AI

A descoberta de mais de 100 modelos maliciosos e as falhas sistêmicas na governança de IA documentadas ao longo de 2024 e 2025 demonstram que "API Wrappers" são um atalho perigoso para a empresa.1 Para operar IA de forma segura e responsável, as organizações devem adotar uma abordagem centralizada, auditável e de engenharia profunda para o stack de machine learning.8

Implementando Governança Centralizada de IA

As empresas devem estabelecer uma "Single Source of Truth" para artefatos de IA.8 Isso envolve:

  1. AI Asset Registry: Criar um repositório interno centralizado para todos os modelos, datasets e dependências, semelhante a um Artifactory privado ou model hub.8
  2. Automated Vetting Pipelines: Todo modelo baixado da internet deve passar por um pipeline automatizado que realiza análise estática de bytecode, testes comportamentais dinâmicos e verificações de conformidade de licença.8
  3. Mandatory ML-BOM Generation: Nenhum modelo deve ser implantado sem um Bill of Materials correspondente que documente sua proveniência e linhagem de treinamento.8

Engenharia Profunda para Resiliência

Além da governança, a engenharia de aplicações de IA deve mudar de "convenience-first" para "security-first".33

  • Weights-Only Loading: Desabilitar explicitamente formatos de serialização executáveis (como Pickle) em favor de SafeTensors e outros formatos não executáveis.16
  • Isolated Inference Runners: Tratar runners de modelo como componentes containerizados sem privilégios, com acesso mínimo à rede e controles estritos de egress.8
  • Mechanistic Interpretability: Investir em técnicas que permitam a auditoria dos pesos do modelo para identificar features "dormentes" latentes ou gatilhos de backdoor antes da implantação.7

Os incidentes do início de 2024 provaram que a cadeia de suprimentos de IA é a nova linha de frente da cibersegurança.30 Organizações que continuam a tratar a IA como mera extensão do desenvolvimento de software, sem contabilizar os riscos únicos de envenenamento, evasion e manipulação de pesos, estão se expondo a falhas catastróficas.23 Ao adotar os princípios de engenharia Deep AI aqui descritos, as empresas podem passar de "operar na sorte" para uma postura de resiliência verificável e respaldada por hardware.8 O objetivo é tornar a implantação de IA "entediante" — um componente previsível, auditável e seguro da missão corporativa.8

A Convergência da Segurança de IA e da Segurança da Cadeia de Suprimentos de Software

Uma percepção final e crítica emergiu da pesquisa de 2024: segurança de IA e segurança da cadeia de suprimentos de software não são mais problemas separados.29 Sistemas de IA não operam no vácuo; eles são construídos e implantados pelos mesmos pipelines de CI/CD e registries que há anos são alvos de ataques à cadeia de suprimentos open-source.30 Se um modelo é seguro, mas a biblioteca Python sobre a qual ele roda está comprometida, o sistema está violado.8 Se a imagem de container do pipeline de treinamento está contaminada, os pesos do modelo tornam-se não confiáveis.30

O setor deve, portanto, avançar para uma abordagem de "Unified Software Supply Chain".11 Isso significa que a proveniência e a integridade do modelo, do dataset, das dependências OSS e da infraestrutura devem ser todas gerenciadas e verificadas simultaneamente.8 Qualquer dicotomia entre "Software Assets" e "AI Assets" é uma lacuna perigosa que atacantes explorarão.29

À medida que a generative AI continua a acelerar a velocidade do desenvolvimento, os processos tradicionais de revisão human-in-the-loop estão colapsando.30 Grandes mudanças de código geradas por IA são difíceis de revisar sob pressão, levando a uma cultura de "revisão superficial" que remove um controle primário de segurança.30 Nesse ambiente, a verificação automatizada e determinística — enraizada em assinaturas criptográficas e ML-BOMs — torna-se o único caminho viável para manter a integridade empresarial.8

O whitepaper aqui apresentado é mais do que um guia técnico; é um imperativo estratégico para o CISO moderno.10 A descoberta de modelos com backdoor no Hugging Face não foi um incidente isolado, mas um sintoma de uma falha sistêmica de governança.2 Abordar isso exige um compromisso com a engenharia Deep AI, em que a segurança não é uma camada sobreposta, mas um elemento fundacional do ciclo de vida do modelo.33 A Veriprajna está pronta para guiar organizações por essa transição, da fragilidade da Shadow AI à resiliência de um stack seguro de Deep AI.8

Obras citadas

  1. Top JFrog Security Research Discoveries of 2024, acessado em 9 de fevereiro de 2026, https://jfrog.com/blog/top-jfrog-security-research-discoveries-of-2024/
  2. Hugging Face AI Riddled With 100 Malicious Code-Execution Models - Dark Reading, acessado em 9 de fevereiro de 2026, https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
  3. Modeling Attacks on AI-Powered Apps with the AI Kill Chain ..., acessado em 9 de fevereiro de 2026, https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework/
  4. AI Model Poisoning in 2026: How It Works and the First Line Defense Your Business Needs - The LastPass Blog, acessado em 9 de fevereiro de 2026, https://blog.lastpass.com/posts/model-poisoning
  5. Enterprise AI Risk: Security, Providers, and Regulation - George Mudie, acessado em 9 de fevereiro de 2026, https://georgemudie.com/blog/enterprise-ai-part2-risk-security
  6. Securing the AI Supply Chain: A Framework for AI Software Bills of Materials and Model Provenance Assurance - Scholar Publishing, acessado em 9 de fevereiro de 2026, https://www.journals.scholarpublishing.org/index.php/TMLAI/article/download/19884/11811/28416
  7. Same same but also different: Google guidance on AI supply chain security, acessado em 9 de fevereiro de 2026, https://cloud.google.com/transform/same-same-but-also-different-google-guidance-ai-supply-chain-security/
  8. Securing The AI/LLM Supply Chain - AppSecEngineer, acessado em 9 de fevereiro de 2026, https://www.appsecengineer.com/blog/securing-the-ai-llm-supply-chain
  9. Shadow AI: Risks, Challenges, and Solutions in 2026 - Invicti, acessado em 9 de fevereiro de 2026, https://www.invicti.com/blog/web-security/shadow-ai-risks-challenges-solutions-for
  10. What Is Shadow AI? Definition | Proofpoint US, acessado em 9 de fevereiro de 2026, https://www.proofpoint.com/us/threat-reference/shadow-ai
  11. JFrog Exposes Enterprise AI Blind Spots, Driving Centralized Software Supply Chain Governance, acessado em 9 de fevereiro de 2026, https://investors.jfrog.com/news/news-details/2025/JFrog-Exposes-Enterprise-AI-Blind-Spots-Driving-Centralized-Software-Supply-Chain-Governance/default.aspx
  12. AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - NIST CSRC, acessado em 9 de fevereiro de 2026, https://csrc.nist.gov/pubs/ai/100/2/e2025/final
  13. 2025 AI Security Gap: 83% of Organizations Flying Blind - Kiteworks, acessado em 9 de fevereiro de 2026, https://www.kiteworks.com/cybersecurity-risk-management/ai-security-gap-2025-organizations-flying-blind/
  14. New Study Reveals Major Gap Between Enterprise AI Adoption and Security Readiness, acessado em 9 de fevereiro de 2026, https://www.prnewswire.com/news-releases/new-study-reveals-major-gap-between-enterprise-ai-adoption-and-security-readiness-302469214.html
  15. JFrog and Hugging Face Team to Improve Machine Learning Security and Transparency for Developers, acessado em 9 de fevereiro de 2026, https://investors.jfrog.com/news/news-details/2025/JFrog-and-Hugging-Face-Team-to-Improve-Machine-Learning-Security-and-Transparency-for-Developers/default.aspx
  16. Pickle Scanning - Hugging Face, acessado em 9 de fevereiro de 2026, https://huggingface.co/docs/hub/security-pickle
  17. Model Saving Formats 101: pickle vs safetensors vs GGUF — with conversion code & recipes | by Ankit Wahane | Medium, acessado em 9 de fevereiro de 2026, https://medium.com/@ankitw497/model-saving-formats-101-pickle-vs-safetensors-vs-gguf-with-conversion-code-recipes-71e825c29ceb
  18. PyTorch Users at Risk: Unveiling 3 Zero-Day PickleScan Vulnerabilities - JFrog, acessado em 9 de fevereiro de 2026, https://jfrog.com/blog/unveiling-3-zero-day-vulnerabilities-in-picklescan/
  19. PickleBall: Secure Deserialization of Pickle-based Machine Learning Models - Brown Computer Science, acessado em 9 de fevereiro de 2026, https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
  20. Remote Code Execution With Modern AI/ML Formats and Libraries, acessado em 9 de fevereiro de 2026, https://unit42.paloaltonetworks.com/rce-vulnerabilities-in-ai-python-libraries/
  21. JFrog and Hugging Face Join Forces to Expose Malicious ML Models, acessado em 9 de fevereiro de 2026, https://jfrog.com/blog/jfrog-and-hugging-face-join-forces/
  22. LLM Backdoors at the Inference Level: The Threat of Poisoned Templates - Pillar Security, acessado em 9 de fevereiro de 2026, https://www.pillar.security/blog/llm-backdoors-at-the-inference-level-the-threat-of-poisoned-templates
  23. Four Pillars AI Security Enterprise Implementation | by Tahir - Medium, acessado em 9 de fevereiro de 2026, https://medium.com/@tahirbalarabe2/four-pillars-ai-security-enterprise-implementation-30285d7332c1
  24. LLM04:2025 Data and Model Poisoning - OWASP Gen AI Security Project, acessado em 9 de fevereiro de 2026, https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/
  25. Understanding LLM Poisoning | DigitalOcean, acessado em 9 de fevereiro de 2026, https://www.digitalocean.com/community/tutorials/understanding-llm-poisoning
  26. Adversarial Machine Learning: A Taxonomy and Terminology of ..., acessado em 9 de fevereiro de 2026, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2025.pdf
  27. What is Shadow AI? Risks, Examples, and Governance - Securiti, acessado em 9 de fevereiro de 2026, https://securiti.ai/what-is-shadow-ai/
  28. Shadow AI Risks and Organization Examples - zenarmor.com, acessado em 9 de fevereiro de 2026, https://www.zenarmor.com/docs/network-security-tutorials/shadow-ai-risks-and-organization-examples
  29. Securing the intersection of AI models and software supply chains - Cloudsmith, acessado em 9 de fevereiro de 2026, https://cloudsmith.com/blog/Securing-the-intersection-of-AI-models-and-software-supply-chains
  30. AI Security and the Expanding Software Supply Chain Attack Surface - Xygeni, acessado em 9 de fevereiro de 2026, https://xygeni.io/blog/ai-security-and-the-expanding-software-supply-chain-attack-surface/
  31. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - NIST Technical Series Publications, acessado em 9 de fevereiro de 2026, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.ipd.pdf
  32. Small Models, Big Problems: Why Your AI Agents Might Be Sitting Ducks - Enkrypt AI, acessado em 9 de fevereiro de 2026, https://www.enkryptai.com/blog/small-models-big-problems-why-your-ai-agents-might-be-sitting-ducks
  33. AI Model Security: What It Is and How to Implement It - Palo Alto Networks, acessado em 9 de fevereiro de 2026, https://www.paloaltonetworks.com/cyberpedia/what-is-ai-model-security
  34. How to Secure AI Infrastructure: A Secure by Design Guide - Palo Alto Networks, acessado em 9 de fevereiro de 2026, https://www.paloaltonetworks.com/cyberpedia/ai-infrastructure-security
  35. What Is an AI-BOM (AI Bill of Materials)? & How to Build It - Palo Alto Networks, acessado em 9 de fevereiro de 2026, https://www.paloaltonetworks.com/cyberpedia/what-is-an-ai-bom
  36. Machine Learning Bill of Materials (ML-BOM) - CycloneDX, acessado em 9 de fevereiro de 2026, https://cyclonedx.org/capabilities/mlbom/
  37. Building an Open AIBOM Standard in the Wild - arXiv, acessado em 9 de fevereiro de 2026, https://arxiv.org/html/2510.07070v1
  38. How CycloneDX v1.5 Increases Trust and Transparency in More Industries, acessado em 9 de fevereiro de 2026, https://owasp.org/blog/2023/06/23/CycloneDX-v1.5
  39. Open Source AI Supply Chain Security: Protecting Against Model Poisoning - VerityAI, acessado em 9 de fevereiro de 2026, https://verityai.co/blog/open-source-ai-supply-chain-security-model-poisoning-protection
  40. Joint Cybersecurity Information AI Data Security, acessado em 9 de fevereiro de 2026, https://media.defense.gov/2025/May/22/2003720601/-1/-1/0/CSI_AI_DATA_SECURITY.PDF
  41. Building Trust in AI Supply Chains: Why Model Signing Is Critical for ..., acessado em 9 de fevereiro de 2026, https://www.coalitionforsecureai.org/building-trust-in-ai-supply-chains-why-model-signing-is-critical-for-enterprise-security/
  42. M3AAWG AI Model Lifecycle Security Best Common Practices, acessado em 9 de fevereiro de 2026, https://www.m3aawg.org/AIModelLifecycleSecurityBCP
  43. A Playbook for Securing AI Model Weights - RAND, acessado em 9 de fevereiro de 2026, https://www.rand.org/pubs/research_briefs/RBA2849-1.html
  44. Enhancing AI inference security with confidential computing: A path to private data inference with proprietary LLMs - Red Hat Emerging Technologies, acessado em 9 de fevereiro de 2026, https://next.redhat.com/2025/10/23/enhancing-ai-inference-security-with-confidential-computing-a-path-to-private-data-inference-with-proprietary-llms/
  45. Sentry: Authenticating Machine Learning Artifacts on the Fly - arXiv, acessado em 9 de fevereiro de 2026, https://arxiv.org/html/2510.00554v1
  46. Trustway Proteccio NetHSM - Hardware Security Module - Eviden, acessado em 9 de fevereiro de 2026, https://eviden.com/solutions/cybersecurity/data-encryption/trustway-proteccio-nethsm/
  47. Navigating secure AI deployment: Architecture for enhancing AI system security and safety, acessado em 9 de fevereiro de 2026, https://www.redhat.com/en/blog/navigating-secure-ai-deployment-architecture-enhancing-ai-system-security-and-safety
  48. What is automated code scanning? - Sonar, acessado em 9 de fevereiro de 2026, https://www.sonarsource.com/resources/library/automated-code-scanning/
  49. A DevSecOps Guide to Scanning AI-Generated Code for Hidden Flaws - Bright Security, acessado em 9 de fevereiro de 2026, https://brightsec.com/a-devsecops-guide-to-scanning-ai-generated-code-for-hidden-flaws/
  50. Introducing Apiiro AI-SAST: Static Scanning Reimagined – From Code to Runtime, acessado em 9 de fevereiro de 2026, https://apiiro.com/blog/introducing-apiiro-ai-sast-static-scanning-reimagined-from-code-to-runtime/
  51. Mastering secure AI on Google Cloud: A practical guide for enterprises, acessado em 9 de fevereiro de 2026, https://cloud.google.com/blog/products/identity-security/mastering-secure-ai-on-google-cloud-a-practical-guide-for-enterprises
  52. What Is Confidential AI? - Phala Network, acessado em 9 de fevereiro de 2026, https://phala.com/learn/What-Is-Confidential-AI
  53. Confidential Computing: Powering the Next Generation of Trusted AI - Intel, acessado em 9 de fevereiro de 2026, https://cdrdv2-public.intel.com/861663/confidential-computing-ai-whitepaper.pdf
  54. AI Security with Confidential Computing - NVIDIA, acessado em 9 de fevereiro de 2026, https://www.nvidia.com/en-us/data-center/solutions/confidential-computing/
  55. Evaluating the Performance of the DeepSeek Model in Confidential Computing Environment, acessado em 9 de fevereiro de 2026, https://arxiv.org/html/2502.11347v1
  56. How to Secure AI and Model Data with Storage Infrastructure, acessado em 9 de fevereiro de 2026, https://blog.purestorage.com/purely-educational/how-to-secure-ai-and-model-data-with-storage-infrastructure/
  57. AI & LLM Security Collection - AppSecEngineer, acessado em 9 de fevereiro de 2026, https://www.appsecengineer.com/enterprises/ai-llm-security-collection

Prefere uma experiência visual e interativa?

Explore as principais conclusões, estatísticas e a arquitetura deste artigo em um formato interativo com seções navegáveis e visualizações de dados.

Ver versão interativa
FAQ

Perguntas Frequentes

Como 100+ modelos maliciosos foram armados no Hugging Face e qual foi o mecanismo de ataque?

Pesquisadores da JFrog descobriram aproximadamente 100 modelos maliciosos no Hugging Face em fevereiro de 2024, utilizando o formato de serialização pickle do Python para injetar código arbitrário. O módulo pickle implementa uma máquina virtual baseada em pilha que pode executar funções como os.system() e subprocess.run() durante o unpickling. Um modelo enviado por "baller423" manipulou o método __reduce__ para estabelecer uma reverse shell a um endereço IP da Kreonet quando carregado com comandos padrão como torch.load(). Os payloads foram projetados para conceder acesso remoto persistente, permitindo aos atacantes atravessar redes internas e envenenar datasets de treinamento.

Por que os scanners existentes de modelos de IA falham e quais são as vulnerabilidades zero-day do PickleScan?

O PickleScan, ferramenta amplamente usada como padrão da indústria, foi encontrado com três vulnerabilidades zero-day, incluindo CVE-2025-10155. Atacantes contornam a detecção manipulando extensões de arquivo ou explorando discrepâncias em arquivos ZIP para apresentar modelos comprometidos como seguros. O scanner opera com uma abordagem de blacklist de funções que é facilmente contornada por ofuscação. Mais criticamente, mais de 96% dos alertas atuais de scanners são falsos positivos, criando dessensibilização de segurança em que equipes ignoram avisos, permitindo que modelos verdadeiramente maliciosos se infiltrem. Além disso, arquivos GGUF podem abrigar templates Jinja maliciosos que são executados durante a inferência, contornando scanners estáticos por completo.

O que é Shadow AI e como a governança SafeTensors-first aborda os riscos da cadeia de suprimentos de modelos?

A Shadow AI ocorre quando desenvolvedores e unidades de negócio baixam modelos não verificados de repositórios públicos como o Hugging Face para contornar gargalos burocráticos percebidos, introduzindo inadvertidamente backdoors persistentes em ambientes de produção. A governança SafeTensors-first determina que todas as implantações de modelos usem o formato SafeTensors, que é puramente focado em dados, sem capacidade de execução de código por design, armazenando apenas dados de tensores com metadados JSON. Isso elimina por completo a superfície de ataque de serialização, ao mesmo tempo em que permite verificação automatizada de assinaturas e rastreamento de proveniência alinhados à orientação NIST AI 100-2 sobre defesa em adversarial machine learning.

Construa sua IA com confiança.

Faça parceria com uma equipe que tem profunda experiência na construção da próxima geração de IA empresarial. Deixe-nos ajudá-lo a projetar, construir e implementar uma estratégia de IA em que você possa confiar.

Veriprajna consultoria de Deep Tech é especializada na construção de sistemas de IA críticos para a segurança nas áreas de saúde, finanças e domínios regulatórios. Nossas arquiteturas são validadas em relação a protocolos estabelecidos, com documentação de conformidade abrangente.