Uma estrutura estratégica para inteligência artificial de segurança crítica
O acordo de US$ 8,5 milhões da Uber, a suspensão da GM Cruise e mais de 40 investigações da Tesla não são motivos para abandonar a IA. São motivos para projetá-la corretamente. Este whitepaper disseca as falhas arquiteturais e apresenta o caminho para uma autonomia verificável e de alta garantia.
De um lado: wrappers rápidos de LLM que priorizam a fluidez conversacional. Do outro: engenharia rigorosa de Deep AI com verificação formal e segurança determinística. À medida que os sistemas autônomos entram no mundo físico, essa distinção torna-se uma questão de vida ou morte.
Quatro incidentes de grande repercussão que expõem a fragilidade sistêmica da IA estocástica em implementações críticas para a segurança.
Tempe, Arizona • Março de 2018 • Fatal
O sistema Uber ATG detectou Elaine Herzberg pela primeira vez 5,6 segundos antes do impacto a 378 pés de distância. Esse tempo era mais que adequado para uma frenagem de emergência padrão. Mas a lógica de percepção do sistema sofreu de oscilação de classificação — reclassificando repetidamente a pedestre como «objeto desconhecido», depois «veículo», depois «bicicleta».
Cada reclassificação reiniciava a trajetória prevista do objeto. O sistema não conseguia definir uma identidade persistente, não conseguia calcular um caminho confiável e determinou que a frenagem de emergência era necessária apenas 1,3 segundo antes do impacto — quando as leis da física tornavam a colisão inevitável.
A Uber havia desativado o sistema AEB de fábrica e de prevenção de colisões do Volvo XC90 para evitar «comportamento errático do veículo». Eles substituíram camadas de segurança verificadas e determinísticas por código estocástico experimental e não verificado.
| Componente com falha | Mecanismo técnico |
|---|---|
| Pipeline de percepção | Oscilação de classificação (Desconhecido → Veículo → Bicicleta) |
| Supressão de lógica | Desativação manual do AEB de fábrica |
| Interface IHM | Excesso de confiança em um monitor humano distraído |
| Motor de predição | Suposição de trajetória estática para agentes dinâmicos |
Cada reclassificação destruiu a predição de trajetória do objeto, impedindo uma intervenção oportuna.
São Francisco • Outubro de 2023 • Licença revogada
Um veículo conduzido por humano atingiu uma pedestre, lançando-a na trajetória de um robotáxi Cruise. O carro da Cruise atingiu a pedestre e inicialmente parou. Mas a lógica de detecção de impacto do sistema era insuficientemente granular — diagnosticou erroneamente um atropelamento frontal como uma colisão por impacto lateral.
Esse diagnóstico incorreto acionou uma manobra de «Condição de Risco Mínimo» (MRC): encostar na lateral da via. Como a camada de percepção havia «esquecido» a pedestre após o impacto, o veículo arrastou a vítima por 20 pés a 7 mph. Ele só parou quando detectou «deslizamento excessivo das rodas» — o que interpretou como falha mecânica, e não como uma obstrução humana.
A investigação subsequente revelou que a liderança estava «fixada em corrigir a narrativa imprecisa da mídia» e não foi transparente com os reguladores. A multa criminal de US$ 500.000 por envio de relatórios falsos ressalta que a segurança de IA não pode ser tratada como um problema de marketing.
«Funcionários admitiram ter 'deixado o vídeo falar por si mesmo' durante reuniões com o DMV, sabendo que problemas de conectividade frequentemente impediam a reprodução do trecho do arrastamento.»
Em todo o país • 2024-2025 • 40+ investigações da NHTSA
O sistema Full Self-Driving (FSD) da Tesla exibe o «Teatro de Capacidades» (Capability Theater) — desempenho ideal em condições claras que colapsa diante de casos extremos ambientais. A NHTSA abriu mais de 40 investigações focadas em padrões de falha específicos e repetíveis.
A dependência da Tesla em uma arquitetura apenas de visão — dispensando LiDAR e radar — cria uma vulnerabilidade fundamental à saturação de sensores. Em neblina, poeira ou reflexo do sol no asfalto molhado, a relação sinal-ruído óptica cai abaixo dos limites de navegação segura. Uma colisão fatal em 2023 ocorreu exatamente nessa condição.
| Modo de falha | Causa técnica |
|---|---|
| Desobediência ao sinal vermelho | Falha na detecção do estado do sinal na pilha de visão |
| Violação de marcação de faixa | Incapacidade de distinguir faixas exclusivas de conversão de faixas diretas |
| Acidente em baixa visibilidade | Saturação de sensores ópticos (ofuscamento/neblina/poeira) |
| Entrada na faixa contrária | Falha na reconstrução da geometria 3D da faixa |
A engenharia de Deep AI exige diversidade de sensores. Não é possível corrigir por software uma limitação de hardware.
Los Angeles / São Francisco • 2025 • Novos desafios
A Waymo registrou mais de 56 milhões de milhas com taxas de lesões significativamente menores que motoristas humanos. Mas à medida que o sistema escala, encontra uma nova classe de falhas: fricção sociotécnica — não apenas como a IA dirige, mas como ela interage com ambientes sociais humanos complexos e frequentemente hostis.
Durante uma queda de energia, dezenas de robotáxis da Waymo ficaram presos em cruzamentos com semáforos apagados. Programados para tratar sinais apagados como paradas obrigatórias de quatro vias, foram sobrecarregados por solicitações concentradas de assistência remota. Robotáxis bloqueando outros robotáxis — um «impasse multiagente» — que a central de comando não conseguiu resolver.
No início de 2025, veículos da Waymo foram atacados por multidões durante distúrbios civis em LA: pneus furados, veículos incendiados. Programados para «segurança passiva», eles simplesmente pararam ao serem cercados. Isso expôs a necessidade de um «Modo de Fuga de Perigo» (Danger Escape Mode) capaz de alternar do cumprimento passivo para o escape ativo sem jamais ser programado para causar danos.
Esses incidentes evidenciam a «armadilha da independência» — a suposição de que um veículo autônomo pode operar com segurança como um agente solitário. A Deep AI deve incorporar protocolos V2V (veículo a veículo) e V2I (veículo a infraestrutura) que permitam a resolução de impasses em nível de frota.
Cada falha acima tem a mesma raiz: a lacuna entre o que a IA percebe e o que ela deveria concluir logicamente. Ajuste o limite de confiança para ver como os gates determinísticos evitam decisões catastróficas.
A confiança da percepção está abaixo do limite de segurança determinístico. Um sistema estocástico continuaria; o Assurance Gate da Veriprajna aciona uma transição à prova de falhas.
Assurance Gate da Veriprajna: Se qualquer entrada de segurança cair abaixo do limite verificado, o sistema transiciona para uma Condição de Risco Mínimo — não com base em probabilidades, mas em uma prova matemática de que a saída não pode ser garantida como segura.
A resposta arquitetural à oscilação de classificação, à cegueira pós-impacto e à saturação de sensores.
As redes de ocupação rastreiam volume, não rótulos. O sistema sabe que um espaço está ocupado mesmo que não consiga decidir se o objeto é um pedestre ou uma bicicleta. Isso elimina a oscilação de classificação da Uber ATG.
As redes de ocupação capturam estruturas verticais e objetos sob o chassi que os mapas BEV 2D ignoram. Isso teria permitido ao veículo Cruise «ver» a pedestre sob ele durante a manobra pós-impacto.
Usando arquiteturas BEVFormer com autoatenção temporal, o sistema lembra onde um objeto estava mesmo durante oclusões temporárias — um pedestre caminhando atrás de um caminhão estacionado continua sendo rastreado.
Arquitetura unificada de fusão BEV
A arquitetura Transformer atua não como uma ferramenta de conversação, mas como um motor de raciocínio espacial que funde dados de sensores heterogêneos em uma tela compartilhada unificada para navegação.
Os testes tradicionais perguntam: «Ele passa em N testes?» A verificação formal pergunta: «Existe alguma entrada que leve a uma saída insegura?» A diferença é o abismo entre a esperança e a prova.
Se um solucionador SMT retornar um contraexemplo, ele encontrou uma perturbação específica que causaria a falha da IA — permitindo que o modelo seja «endurecido» durante o treinamento.
Grandes redes são complexas demais para análises exaustivas por solucionadores. A Veriprajna resolve isso por meio da Poda de Neurônios (Neuron Pruning) — removendo neurônios redundantes e não linearidades que não contribuem para a precisão, produzindo um modelo matematicamente mais fácil de verificar sem sacrificar o desempenho.
| Técnica | Metodologia | Benefício |
|---|---|---|
| Aperto de limites | Análise simbólica das faixas de ativação dos neurônios | Reduz o espaço de busca do solucionador SMT |
| Análise de alcançabilidade | Cálculo de todas as saídas alcançáveis para um conjunto de entradas | Garante que a IA permaneça dentro do «Politopo Seguro» |
| Aprox. linear por partes | Substituição de ativações complexas por segmentos ReLU | Provas sólidas e completas |
| Filtro formal de segurança | Monitoramento em tempo de execução contra linha de base verificada | «Recuperação segura» se a IA se comportar de forma irracional |
A ISO 21448 (SOTIF) preenche a lacuna que a ISO 26262 não consegue: perigos que ocorrem quando o sistema está funcionando exatamente como programado, mas encontra um ambiente «Desconhecido/Inseguro».
Objetivo da Veriprajna: maximizar o quadrante Conhecido/Seguro enquanto reduz sistematicamente os cenários Desconhecidos/Inseguros.
ODD verificado. Testado e comprovadamente seguro sob condições documentadas.
Casos extremos identificados com transições à prova de falhas.
Cenários ainda não testados, mas inerentemente de baixo risco.
Perigos não identificados — a fonte de todas as principais falhas de VA.
Trata de falhas de componentes de hardware/software (mau funcionamento de sensor, curto-circuito de chip). Necessária, mas insuficiente para riscos específicos de IA.
Segurança da funcionalidade pretendida. Trata de perigos quando a IA está funcionando conforme programado , mas encontra novos ambientes.
O primeiro padrão global para gerenciar o ciclo de vida completo da IA no setor automotivo — desde a aquisição de dados até o monitoramento pós-implementação.
Três pilares de engenharia que abordam diretamente cada modo de falha sistêmica identificado nesta análise.
Migração de clientes da percepção 2D por câmera para Redes de Ocupação BEV baseadas em Transformer — garantindo permanência de objeto e estabilidade de rastreamento mesmo através de oclusões, reclassificações e saturação de sensores.
Implementação de verificação formal baseada em SMT para provar matematicamente que arquiteturas de controle orientadas por IA nunca violarão propriedades essenciais de segurança — não apenas testando, mas fornecendo prova de correção.
Desenvolvimento de «Modos de Fuga» sofisticados e estruturas de comunicação V2X para gerenciar a realidade de distúrbios civis, impasses multiagente e falhas de infraestrutura — onde o cumprimento passivo se torna perigoso.
«A era da IA estocástica está chegando ao fim. O wrapper 'barato' torna-se o erro mais caro que uma empresa pode cometer quando o custo de uma única fatalidade autônoma atinge dezenas de milhões. A era da Engenharia de Deep AI começou.»
— Estrutura Estratégica da Veriprajna
O sistema Uber ATG detectou Elaine Herzberg 5,6 segundos antes do impacto a 378 pés — tempo mais que suficiente para uma frenagem de emergência. No entanto, a oscilação de classificação reclassificou repetidamente a pedestre como «objeto desconhecido», depois «veículo», depois «bicicleta», reiniciando a previsão de trajetória a cada reclassificação. A frenagem de emergência foi considerada necessária apenas 1,3 segundo antes do impacto — quando a física tornava a colisão inevitável. A Uber também havia desativado o AEB de fábrica da Volvo. As Redes de Ocupação BEV resolvem isso rastreando o volume em vez de rótulos — o sistema sabe que o espaço está ocupado independentemente da classificação.
Os testes tradicionais perguntam: «Ele passa em N testes?» A verificação formal pergunta: «Existe alguma entrada que leve a uma saída insegura?» Usando solucionadores SMT como Marabou e alpha-beta-CROWN, o sistema prova matematicamente as propriedades de segurança — por exemplo, que para todas as entradas em «Baixa Visibilidade», a resposta de frenagem da IA sempre excederá o limite mínimo. Se existir um contraexemplo, o solucionador identifica a perturbação específica, permitindo que o modelo seja endurecido durante o treinamento.
A ISO 26262 trata de falhas em componentes de hardware/software (mau funcionamento de sensor, curto-circuito de chip), mas é insuficiente para riscos específicos de IA. A ISO 21448 (SOTIF) aborda perigos quando a IA está funcionando exatamente como programado, mas encontra ambientes inéditos — os cenários «Desconhecidos/Inseguros» que causaram todas as principais falhas de VA. Ela exige Análise de Perigos e Riscos para erros de percepção, identificação de condições desencadeadoras e simulação de alta fidelidade para casos extremos perigosos. O objetivo da Veriprajna é maximizar o quadrante Conhecido/Seguro enquanto reduz sistematicamente os cenários Desconhecidos/Inseguros.
A Veriprajna fornece a profunda expertise de engenharia para construir uma IA que não apenas funciona no laboratório — mas perdura no mundo real.
Seja nosso parceiro para arquitetar autonomia verificável e de alta garantia para seus sistemas de segurança crítica.
Análise estratégica completa: modos de falha da Uber ATG, GM Cruise, Tesla FSD e Waymo. Arquitetura BEV, verificação formal, estrutura de conformidade ISO e o caminho para a garantia determinística.