A cabeça careca que quebrou nossa IA (e o que ela me ensinou sobre construir sistemas de visão que realmente funcionam)

Em outubro de 2020, uma partida de futebol escocês entre o Inverness Caledonian Thistle e o Ayr United se tornou a falha de IA mais instrutiva que já estudei. Um sistema de câmera automatizado, criado para rastrear a bola e transmitir o jogo sem um operador humano, passou a partida inteira seguindo dedicadamente a cabeça careca de um bandeirinha posicionado na lateral. Os torcedores em casa perderam todos os gols. A internet fez a festa.

Eu também ri, no começo. Depois parei de rir, porque percebi que minha equipe estava construindo sistemas com exatamente o mesmo ponto cego.

A IA da câmera havia feito seu trabalho com perfeição de acordo com sua própria lógica. Ela encontrou um objeto redondo e claro sob os refletores do estádio e atribuiu a ele uma pontuação de confiança de 98% para "bola". A bola real — movendo-se rápido, borrando através das sombras, ocasionalmente encoberta por jogadores — pontuou em torno de 80%. O sistema seguiu a matemática. A matemática estava desconectada da realidade. Essa distância entre detectar um padrão e entender o que você está olhando é onde passei os últimos anos da minha vida, e é a razão pela qual comecei a construir sistemas de visão com restrições físicas na Veriprajna.

O que uma IA vê quando olha para o mundo?

A maioria dos sistemas de visão computacional processa imagens da mesma forma que uma criança pequena e muito confiante identifica animais no zoológico. Redondo e brilhante? Bola. Quatro patas? Cachorro. A semelhança não é brincadeira — as Redes Neurais Convolucionais (CNNs) modernas decompõem imagens em texturas, bordas e formas, e depois comparam essas características com padrões aprendidos a partir de dados de treinamento. Elas são, em essência, máquinas de correspondência de texturas.

Isso funciona surpreendentemente bem em condições controladas. Mas desmorona no momento em que o mundo físico começa a se comportar fisicamente.

Detecção de objetos não é compreensão de objetos. Um sistema que vê algo redondo e chama de bola identificou uma textura. Um sistema que rejeita essa identificação porque a "bola" esteve pairando a 1,7 metro de altura por três minutos — esse sistema compreende alguma coisa.

A câmera de Inverness não conseguia distinguir uma cabeça de uma bola porque não tinha nenhum conceito do que uma bola faz. Uma bola de futebol segue a trajetória de um projétil. Ela se acelera com o impacto. Viaja a velocidades de até 130 km/h. Não pode estar presa a um tronco humano que se desloca em ritmo de caminhada. Essas não são noções exóticas — qualquer criança assistindo à partida saberia. Mas a IA operava no que a comunidade de visão computacional chama de "inferência independente de quadros", processando cada imagem como uma captura isolada sem memória do que veio antes e sem expectativa do que deveria vir a seguir.

A noite em que percebi que tínhamos o mesmo problema

Eu gostaria de poder dizer que cheguei à visão com restrições físicas por meio de algum insight teórico elegante. A verdade é mais dura. Estávamos construindo um sistema de inspeção de defeitos para um cliente de semicondutores, e nosso modelo estava sinalizando partículas de poeira como defeitos em circuitos. Não ocasionalmente — constantemente. A taxa de falsos positivos estava destruindo a confiança da equipe de produção no sistema, e eles tinham toda razão em não confiar.

Lembro-me de estar sentado diante dos resultados às 2 da manhã, furioso, porque nosso modelo era preciso por todas as métricas de referência que monitorávamos. Ele identificava defeitos corretamente em mais de 90% das vezes em dados de teste padrão. Mas o ambiente de produção não era composto por dados de teste padrão. A poeira caía sobre os wafers. A iluminação variava entre as estações de inspeção. O modelo via um ponto escuro e o chamava de defeito, exatamente como a câmera de Inverness viu uma forma redonda e a chamou de bola.

Meu CTO e eu discutimos durante uma semana sobre a solução. Ele queria mais dados de treinamento. Eu queria mudar a arquitetura. A discussão terminou quando fiz uma pergunta simples: "Nosso modelo sabe que uma partícula de poeira e um defeito de circuito se comportam de maneira diferente sob imagens em múltiplos ângulos?". Não sabia. Um defeito real — uma cavidade ou arranhão físico no silício — muda de posição de forma previsível quando você obtém imagens de ângulos diferentes. Paralaxe. Uma partícula de poeira sobre a superfície se comporta de forma diferente. Estávamos pedindo a um comparador de texturas para fazer o trabalho de um físico.

Esse foi o ponto de virada. Paramos de tentar tornar a rede neural mais inteligente e começamos a fazê-la obedecer às leis da física.

A demonstração que deu errado

Três meses após a mudança de rumo nos semicondutores, eu estava em uma sala de reuniões apresentando nossa nova abordagem a uma empresa de logística. Quinze pessoas do outro lado da mesa. Eu havia preparado uma demonstração ao vivo mostrando nosso rastreador com restrições físicas seguindo um pacote em um armazém simulado, prevendo sua posição através de oclusões e rejeitando falsas detecções.

A demonstração começou impecavelmente. De repente, o celular de alguém tocou, e um clarão de luz refletida da tela atingiu nossa câmera exatamente no ângulo errado. O rastreador hesitou. A caixa delimitadora pulou para uma luminária no teto e ficou lá por três segundos agonizantes antes de a camada de física corrigi-la.

Fiquei ali parado vendo meu próprio software falhar exatamente da maneira que passei meses afirmando que não falharia. A sala ficou em silêncio. Desejei que o chão se abrisse sob meus pés.

A camada de física se recuperou. Esse era o ponto. Mas naqueles três segundos, entendi algo que nenhum benchmark jamais havia me ensinado: em produção, confiança não tem a ver com precisão média. Tem a ver com o que acontece no pior quadro.

Eu disse isso em voz alta, metade para a sala e metade para mim mesmo. "Um sistema genérico ainda estaria rastreando aquela lâmpada do teto. O nosso corrigiu. Essa recuperação é o produto." O CTO do outro lado da mesa assentiu devagar. Eles fecharam o contrato duas semanas depois. Mas fui para casa naquela noite e reescrevi nossa lógica de exibição de confiança para que o sistema mostrasse sua incerteza em tempo real — porque nunca mais quis ficar diante de um cliente fingindo que a matemática era mágica.

Por que sistemas de IA com 90% de precisão falham em produção?

Existe uma armadilha que agora chamo de "problema dos 90%", e vejo empresa após empresa caindo nela. APIs genéricas de visão computacional — do tipo que você pode subir em qualquer grande provedor de nuvem em uma tarde — levam você a 90% de precisão de forma rápida e barata. Em uma demonstração, parecem mágicas. O valor comercial reside inteiramente nos últimos 10%.

Esses últimos 10% são onde estão as cabeças carecas. As sombras que parecem paredes para um veículo autônomo, acionando frenagens fantasma em uma rodovia. O momento em que a mão de um cliente cobre um produto em uma loja sem caixas. O defeito raro em semicondutor que parece idêntico a uma inofensiva partícula de poeira de 2 nanômetros.

Na fabricação de semicondutores, melhorar a precisão da detecção de defeitos em apenas 1% pode levar a um aumento de 5-10% no rendimento, economizando milhões anualmente. Em veículos autônomos, proprietários da Tesla relataram incidentes generalizados de frenagem fantasma em que os sistemas de visão interpretam sombras e viadutos como obstáculos. Esses não são riscos teóricos. São falhas em produção acontecendo agora mesmo, em diversos setores, porque a IA subjacente não possui intuição física. Nosso trabalho preenche essa lacuna de 90% para 99,99% ao adicionar a camada de física que falta nas APIs genéricas.

Como ensinamos nossos sistemas a pensar como físicos

A ideia central é deceptivamente simples: tratar a saída de uma rede neural não como um fato, mas como uma medição com ruído que deve ser validada contra a física. Escrevi sobre a arquitetura técnica completa na versão interativa da nossa pesquisa, mas a intuição importa mais do que a matemática.

Imagine que você está rastreando uma bola de futebol. Sua câmera diz que a bola está no meio de campo, movendo-se para o leste a 20 metros por segundo. Um quadragésimo de segundo depois, sua câmera diz que a "bola" está agora a 15 metros de distância, na lateral, movendo-se em ritmo de caminhada. Um Filtro de Kalman — uma estrutura matemática que mantém uma estimativa contínua de onde um objeto está, a que velocidade está se movendo e o quão seguro está sobre ambos — rejeitaria essa segunda medição instantaneamente. A aceleração implícita é fisicamente impossível para uma bola de futebol. O sistema calcula o que se chama de Distância de Mahalanobis — essencialmente, quantos desvios-padrão a nova medição está da previsão. Se ultrapassar 3 sigmas, a detecção é descartada, independentemente do quão confiante a rede neural esteja sobre aqueles pixels.

É isso que quero dizer com visão com restrições físicas. A rede neural propõe. A física dispõe.

Aplicamos múltiplas camadas de portas em cada detecção. Uma porta cinemática verifica se o objeto poderia fisicamente estar onde a rede diz que está. Uma porta de fluxo óptico verifica se o movimento dos pixels dentro da caixa delimitadora corresponde ao que se esperaria de um objeto real em movimento — um bandeirinha parado gera fluxo quase zero, enquanto uma bola em voo gera um padrão característico. Uma porta geométrica verifica se o tamanho aparente do objeto é consistente com a perspectiva 3D na distância em que afirma estar da câmera.

Qualquer detecção que falhe em qualquer porta é rejeitada. Sem exceções, sem sobreposições manuais.

O que acontece quando o objeto desaparece?

Sistemas genéricos entram em pânico. A pontuação de confiança cai para zero. O rastreador declara o objeto "perdido" e congela ou reinicia. No mundo físico, isso é um absurdo. Uma bola que se move a 20 metros por segundo não deixa de existir porque um jogador correu na frente da câmera. Ela continua se movendo, desacelerando ligeiramente pelo arrasto, seguindo uma trajetória que a física pode prever com precisão notável.

Nossos sistemas mantêm o objeto na memória durante a oclusão, projetando sua posição para a frente com base na trajetória pré-oclusão. Quando o objeto reaparece, o sistema já está olhando para o lugar certo. Penso nisso como dar à IA a permanência do objeto. Meu sobrinho de dois anos descobriu isso por volta do oitavo mês. A maioria dos sistemas de visão em produção ainda não conseguiu.

"Basta usar um modelo maior"

As pessoas me dizem isso constantemente. Um investidor me disse isso textualmente durante uma apresentação em 2023, recostando-se na cadeira como se tivesse acabado de resolver todo o nosso problema técnico: "Por que não apenas ajustar um modelo fundacional? Por que construir toda essa parte de física?".

Fiz uma pausa. "Porque a física não muda quando a distribuição dos seus dados de treinamento muda."

Uma PINN não apenas aprende com os dados. Ela aprende com dados restringidos pela realidade. A diferença é como a diferença entre memorizar respostas e compreender a matéria.

Redes Neurais Informadas por Física — PINNs — são uma das ideias mais elegantes do aprendizado de máquina moderno. Uma rede neural padrão minimiza a distância entre suas previsões e os dados de treinamento rotulados. Uma PINN adiciona uma segunda penalidade: a rede também é punida sempre que suas previsões violam uma equação física. Se ela prevê uma trajetória na qual uma bola faz uma curva no ar sem nenhuma força externa, a equação diferencial que a governa é violada, a perda dispara e a rede aprende a não fazer aquilo.

A consequência prática é impressionante. Uma PINN precisa de muito menos dados de treinamento porque as leis da física eliminam a maior parte do espaço de soluções antes do início do treinamento. Ela se generaliza para condições que nunca viu porque internalizou as regras, e não apenas memorizou os exemplos. Para o nosso trabalho no rastreamento esportivo, isso significa que podemos prever a curva de um arremesso ou de uma cobrança de falta com efeito a partir da trajetória inicial — a câmera se move à frente da ação em vez de persegui-la. Para o detalhamento técnico completo sobre PINNs e Redes Neurais Hamiltonianas, vou mais a fundo em nosso artigo de pesquisa.

A pergunta sobre construir vs. comprar que ninguém faz com honestidade

Todo líder empresarial com quem converso enfrenta a mesma escolha: comprar uma API de visão pronta para uso ou construir algo sob medida. A versão honesta dessa conversa, que raramente acontece, é a seguinte.

Comprar leva você à produção rapidamente. A API funciona no primeiro dia. Ela lida bem com casos padrão. O custo total de propriedade parece baixo em uma planilha.

Então os casos extremos chegam. Os falsos positivos se acumulam. Você contrata humanos para revisar o trabalho da IA, o que anula o propósito. Você descobre que o modelo do fornecedor não pode ser ajustado para a sua física específica. Percebe que seus dados estão saindo de suas instalações. E você construiu zero propriedade intelectual.

Construir um sistema com restrições físicas custa mais no início. Há engenharia de verdade envolvida. Mas a taxa de falsos positivos cai em ordens de magnitude porque a física filtra o ruído que os dados sozinhos não conseguem. O sistema roda na sua infraestrutura, com seus dados, produzindo modelos que pertencem a você. O custo total de propriedade no longo prazo favorece a construção própria para qualquer aplicação em que os erros sejam caros — o que, na minha experiência, abrange toda aplicação que vale a pena automatizar.

Não estou dizendo que toda empresa deva construir do zero. Estou dizendo que, se sua IA não consegue diferenciar uma bola de uma cabeça careca, a taxa de assinatura é o menor dos seus custos.

Contexto é a nova precisão

Sentei-me na última fileira de uma conferência no ano passado, ouvindo um painel debater se a IA precisa de "senso comum". Quatro pesquisadores, quarenta e cinco minutos, nenhuma resolução. Fiquei pensando: não precisamos de senso comum. Precisamos de física. Senso comum é vago. Física é um conjunto de equações que você pode codificar.

O setor de IA passou uma década otimizando a precisão em conjuntos de dados de referência. Modelos com bilhões de parâmetros podem identificar milhares de categorias de objetos com precisão sobre-humana — em imagens de teste semelhantes às de treinamento. A próxima década pertence ao contexto. Não a modelos maiores, mas a restrições mais inteligentes. Não a mais parâmetros, mas a mais física.

Sua IA sabe a diferença entre uma bola e uma cabeça? Se ela depende apenas de pixels, a resposta é "às vezes". Se depende da física, a resposta é "sempre".

Penso naquela partida de futebol escocês mais do que provavelmente deveria. Um homem careca parado na lateral, cuidando da própria vida, expondo acidentalmente a fragilidade fundamental de toda uma geração de sistemas de IA. Os torcedores que perderam os gols ficaram frustrados. Eu fiquei grato. Aquele bandeirinha me ensinou mais sobre construir IA de verdade do que qualquer artigo que já li.

O futuro da visão computacional não está em ver mais. Está em entender o que você vê.