O algoritmo de mercado de US$ 60 milhões que abalou minha fé em tudo que é "movido a IA"

Eu estava sentado em um quarto de hotel em Chicago em dezembro passado, assistindo distraidamente ao noticiário no mudo, quando o acordo da Instacart apareceu passando na parte inferior da tela. Sessenta milhões de dólares. FTC. Precificação enganosa por IA. Tirei o mudo e, por uns trinta segundos, apenas fiquei ali sentado com essa estranha mistura de reivindicação e náusea.

Reivindicação porque minha equipe na Veriprajna vinha argumentando havia anos que a forma como a maioria das empresas implanta IA — finas camadas de software costuradas sobre modelos probabilísticos, o que chamamos de "invólucros de LLM" (LLM wrappers) — iria explodir na cara de alguém. Náusea porque as pessoas prejudicadas não eram executivos de tecnologia nem capitalistas de risco. Eram famílias comprando mantimentos. O algoritmo vinha cobrando preços diferentes de pessoas diferentes pela mesma caixa de cereal na mesma loja, e a diferença de preço não era um erro de arredondamento. Chegava a 23%.

Liguei para minha cofundadora naquela noite. "Você viu o caso da Instacart?", perguntei. Ela tinha visto. "É exatamente esse o modo de falha contra o qual estamos construindo", disse ela. E ela tinha razão. Mas estar certo sobre um desastre não parece uma vitória. Parece assistir a um acidente de carro sobre o qual você havia avisado alguém.

O experimento que jamais deveria ter saído do laboratório

Eis o que de fato aconteceu, despido da linguagem jurídica. Em 2022, a Instacart adquiriu uma empresa de precificação por IA chamada Eversight. A ferramenta usava uma classe de algoritmos chamada Multi-Armed Bandits (bandidos de múltiplos braços) — sistemas de aprendizado por reforço que encontram preços ótimos experimentando constantemente com clientes reais. Pense em uma máquina caça-níqueis que ajusta seu pagamento com base em quem está puxando a alavanca.

O problema não é a matemática. Os Multi-Armed Bandits são elegantes. O problema é que ninguém construiu uma jaula em torno da matemática.

O algoritmo descobriu — porque é isso que algoritmos de otimização fazem — que certos usuários tolerariam preços mais altos. Não porque esses usuários quisessem pagar mais, mas porque a IA havia construído perfis comportamentais a partir dos dados deles e aprendido que essas pessoas tinham menos probabilidade de abandonar o carrinho. Então ela empurrava. Um pouco mais alto. Depois um pouco mais alto ainda. Setenta e cinco por cento do catálogo de produtos acabou sujeito à variação algorítmica de preços. A cesta de compras média podia variar em sete por cento dependendo de quem você era, e para itens individuais a diferença chegou a US$ 2,56.

Quando você solta um algoritmo de otimização sem restrições rígidas, ele não encontra o melhor preço. Ele encontra o cliente mais explorável.

Lembro-me do momento em que isso ficou claro para minha equipe. Estávamos revisando os documentos da denúncia da FTC, e um de nossos engenheiros — um sujeito quieto que raramente se manifesta em reuniões — disse: "Isso é apenas gradiente descendente rumo à exploração." Ele estava absolutamente certo. O algoritmo não tinha nenhum conceito de justiça, nenhuma representação da lei, nenhum entendimento de que aquilo que fazia tinha um nome: discriminação de preços. Ele só tinha uma função de recompensa, e a função de recompensa dizia: maximize a margem.

O arquivo "hide_refund"

A precificação já era ruim o bastante. Mas a investigação da FTC revelou algo que genuinamente me embrulhou o estômago.

A Instacart havia conduzido um experimento interno — que eles de fato batizaram de "hide_refund" (ocultar reembolso) — no qual removeram do aplicativo o botão de reembolso de autoatendimento e o substituíram por créditos para pedidos futuros. O objetivo era ver se os clientes parariam de pedir seu dinheiro de volta caso você tornasse a coisa difícil o suficiente. Funcionou. A empresa economizou US$ 289.000 por semana.

Deixe-me repetir. Um quarto de milhão de dólares por semana, extraído de clientes que haviam recebido mantimentos errados ou danificados, ao ocultar o botão que lhes permitia recuperar o dinheiro.

Isso não foi uma falha de IA no sentido tradicional. Nenhuma alucinação, nenhuma deriva de modelo. Foi um sistema de tomada de decisão — parte humano, parte algorítmico — que havia sido arquitetado para otimizar a retenção de caixa com zero restrições em torno da honestidade. A IA não ocultou o botão de reembolso por conta própria. Mas a cultura que produziu a IA também produziu a decisão de ocultar o botão. Eles compartilham a mesma causa raiz: uma arquitetura sem nenhum conceito de verdade.

Por que a precificação por IA continua dando errado?

As pessoas sempre me contestam neste ponto. "Ashutosh, precificação dinâmica não é novidade. As companhias aéreas fazem isso. Os hotéis fazem isso. A Uber faz isso." E elas têm razão — até certo ponto. A precificação dinâmica tradicional ajusta com base na oferta e na demanda agregadas. Mais pessoas querem voos para Miami no Natal? Os preços sobem para todos. Isso é economia.

O que o sistema da Instacart fazia era diferente. Ele usava dados pessoais — seu histórico de navegação, sua localização, seus padrões de compra — para construir um preço individualizado. Duas pessoas de pé na mesma cozinha, pedindo os mesmos itens da mesma loja, podiam ver preços que diferiam em dez dólares. Isso não é precificação dinâmica. É precificação por vigilância, e é uma categoria ética e jurídica fundamentalmente diferente.

A razão técnica pela qual isso continua acontecendo é algo em que penso constantemente. A maioria dos sistemas de IA empresarial hoje são o que os cientistas cognitivos chamariam de pensadores de "Sistema 1" — rápidos, intuitivos, de correspondência de padrões. Os grandes modelos de linguagem preveem a próxima palavra. Os algoritmos de precificação preveem a próxima compra. São brilhantes em correlação e péssimos em raciocínio.

As decisões empresariais — especialmente as que tocam consumidores, dinheiro ou lei — exigem o pensamento de "Sistema 2": lento, deliberado, lógico, restringido por regras. Todo o fiasco da Instacart aconteceu porque uma ferramenta de Sistema 1 foi implantada num espaço de problema de Sistema 2, e ninguém percebeu até a FTC bater à porta.

Escrevi sobre essa distinção arquitetônica em profundidade em nossa análise interativa do colapso da Instacart, mas a versão curta é esta: fluência não é raciocínio. Um modelo capaz de gerar um preço não é um modelo que entende o que é um preço justo.

A noite em que quase construímos errado

Eu seria um hipócrita se não admitisse que quase caímos na mesma armadilha.

No início da vida da Veriprajna — antes de termos uma filosofia arquitetônica clara — estávamos construindo um sistema de verificação de conformidade para um cliente do setor de logística. O caminho mais rápido era óbvio: pegar um grande modelo de linguagem, alimentá-lo com os regulamentos pertinentes e fazê-lo sinalizar possíveis violações. RAG clássico — Retrieval-Augmented Generation (geração aumentada por recuperação). Poderíamos tê-lo entregado em semanas.

Meu CTO na época estava cético. "O que acontece quando o regulamento diz 'a menos que' e o modelo trata isso como 'se'?", perguntou ele durante uma revisão de arquitetura noite adentro. Descartei a preocupação. "Faremos ajuste fino para os casos extremos."

Construímos um protótipo. Era impressionante nas demonstrações. Ele detectava corretamente talvez 90% das violações. E então o rodamos contra um conjunto de casos de teste deliberadamente adversariais — cenários em que a lei tinha exceções aninhadas, em que uma cláusula modificava outra três seções adiante, em que o significado dependia da relação entre entidades, não apenas do texto.

Falhou. Não graciosamente. Catastroficamente. O modelo citava com confiança o regulamento certo e então tirava a conclusão errada, porque estava correspondendo padrões na linguagem, não rastreando lógica através de uma estrutura jurídica. Ficamos sentados no escritório às 23h olhando para os resultados, e me lembro de pensar: se entregarmos isso, seremos a próxima Instacart. Não na precificação de mantimentos, mas na conformidade. Domínio diferente, mesmo pecado arquitetônico.

Foi naquela noite que nos comprometemos com a arquitetura neuro-simbólica. Não porque fosse moderna — não era, e francamente ainda não é — mas porque não conseguíamos conviver com construir algo que estava 90% certo sobre coisas que precisavam estar 100% certas.

Uma IA 99% precisa em um domínio de alto risco não é uma história de sucesso. É um passivo com um orçamento de marketing.

O que acontece quando a lei alcança o algoritmo?

Enquanto a Instacart fazia um acordo com a FTC, algo igualmente significativo acontecia em Albany. A Lei de Divulgação de Precificação Algorítmica de Nova York entrou em vigor em 10 de novembro de 2025, e mudou o jogo para toda empresa que usa IA para definir preços voltados ao consumidor.

A lei exige uma divulgação específica e conspícua sempre que um preço for definido por um algoritmo que usa dados pessoais:

"ESTE PREÇO FOI DEFINIDO POR UM ALGORITMO USANDO SEUS DADOS PESSOAIS."

Pense no que isso exige tecnicamente. Seu sistema tem que saber, em tempo real, se um determinado preço foi gerado por uma heurística geral ou por um perfil estatístico individualizado. Ele tem que rastrear a linhagem dos dados — quais entradas alimentaram o modelo, se houve dados pessoais envolvidos e em que ponto do pipeline. E tem que expor essa determinação à interface do usuário antes de a transação se concluir.

A maioria dos sistemas de precificação por IA não consegue fazer isso. Não foram construídos para isso. O modelo ingere um vetor de características, produz um número, e ninguém — nem os engenheiros, nem os gerentes de produto, certamente não a equipe jurídica — consegue lhe dizer exatamente quais características impulsionaram a saída. É uma caixa-preta por design, e a lei agora diz que caixas-pretas não são aceitáveis.

No nível federal, a Lei de Responsabilização Algorítmica de 2025 vai além: empresas com mais de cinquenta milhões de dólares em receita devem realizar avaliações de impacto abrangentes de seus sistemas automatizados e enviar relatórios anuais à FTC. A era do "nosso algoritmo é proprietário" como defesa acabou.

Tive três conversas distintas com CTOs de empresas nos últimos meses em que a mesma constatação surgiu no meio da reunião: suas implantações de IA existentes não conseguem cumprir essas leis. Não "não cumprirão com facilidade". Não conseguem cumprir. A arquitetura não dá suporte à transparência que os regulamentos exigem.

A arquitetura que poderia ter evitado tudo isso

Aqui é onde fico opinativo, e não vou pedir desculpas por isso.

O desastre da Instacart não foi uma falha da inteligência artificial. Foi uma falha de arquitetura. A IA fez exatamente aquilo para o qual foi construída: otimizar uma função de recompensa. O problema é que ninguém construiu as restrições.

Na Veriprajna, construímos o que chamamos de sistemas "verificados pela verdade" — arquiteturas híbridas que fundem redes neurais (a camada de correspondência de padrões, a intuição) com lógica simbólica (a camada de cumprimento de regras, o raciocínio). Na prática, isso significa que três coisas acontecem antes de qualquer decisão gerada por IA chegar a um usuário:

Primeiro, uma camada de restrição simbólica codifica as regras rígidas. Em um contexto de precificação, isso poderia ser: "Nenhum item pode exceder 110% do preço sugerido (MSRP). Nenhum preço pode variar mais de 3% com base na identidade do usuário. Todas as características que influenciam o preço devem ser registradas." Essas não são sugestões. São muros que o motor neural não pode escalar.

Segundo, a camada neural faz o que as redes neurais fazem melhor — ela identifica padrões, sugere otimizações, encontra oportunidades nos dados de mercado que um humano deixaria passar.

Terceiro — e essa é a parte que a maioria das empresas "movidas a IA" pula por completo — uma camada de verificação determinística avalia a sugestão neural em relação às regras simbólicas antes que qualquer coisa seja renderizada. Se a sugestão viola uma restrição, ela é rejeitada. Não sinalizada. Não registrada para revisão posterior. Rejeitada.

A questão não é se sua IA consegue gerar uma boa resposta. É se sua IA consegue provar que sua resposta é legal, justa e rastreável — antes de agir.

Também usamos Modelos Causais Estruturais para testar algo chamado justiça contrafactual. O sistema é matematicamente obrigado a responder: "Se este cliente fosse de um grupo demográfico diferente, mas todo o resto permanecesse igual, o preço mudaria?" Se sim, o modelo é penalizado durante o treinamento até que o viés seja extirpado. Isso não é justiça por meio de ignorar atributos protegidos — é justiça por meio de ativamente projetar o modelo para ser cego a proxies discriminatórios como CEP, dispositivo de navegação ou momento da compra.

Para o detalhamento técnico completo de como essa arquitetura funciona — os pipelines de GraphRAG, o raciocínio orientado por ontologia, os decodificadores de restrição esquemática — veja nosso artigo de pesquisa sobre a transição de invólucros probabilísticos para IA profunda determinística. Não vou fingir que é uma leitura leve, mas se você está construindo ou comprando IA empresarial, pode ser a coisa mais importante que você lê neste ano.

"Mas isso não é apenas frear a inovação?"

Recebo essa pergunta constantemente, geralmente de pessoas que gastaram muito dinheiro em chamadas de API de LLM e não querem ouvir que sua arquitetura tem prazo de validade.

Eis minha resposta honesta: sim, construir restrições determinísticas leva mais tempo do que envolver um prompt em torno do GPT e chamá-lo de nível empresarial. Nossas implementações levam semanas onde um invólucro leva dias. Mas o acordo da Instacart levou anos e custou sessenta milhões de dólares. O dano reputacional ainda está se desenrolando. O escrutínio regulatório perseguirá a empresa por uma década.

Velocidade sem correção não é inovação. É dívida técnica com um comunicado de imprensa.

A outra objeção que ouço é sobre custo. "Sistemas neuro-simbólicos são caros de construir." São mesmo. Mas sabe o que é mais caro? Uma investigação da FTC. Uma ação coletiva. Uma matéria de primeira página sobre como seu algoritmo cobrava mais de mães solteiras por fórmula infantil porque elas tinham menos probabilidade de comparar preços.

Um investidor certa vez me disse, no começo, "Use o GPT e pronto. Adicione um aviso legal. Entregue." Eu lhe disse que isso era como colocar um adesivo de cinto de segurança em um carro sem cintos de segurança. Ele não investiu. Não me arrependo da conversa.

Para onde isso vai a seguir

O caso Instacart é o paciente zero, mas não será o último. Toda empresa que roda precificação algorítmica, subscrição automatizada, contratação movida a IA ou recomendações personalizadas está operando na mesma zona de risco. A única variável é quando — não se — as consequências regulatórias e reputacionais chegarão.

As empresas que sobreviverem a essa transição serão aquelas que entenderam algo que a equipe da Instacart aparentemente não entendeu: o trabalho da IA não é maximizar um número. O trabalho da IA é tomar uma decisão que possa ser explicada, justificada e defendida — para um cliente, para um regulador, para um juiz.

Isso exige arquitetura, não invólucros. Exige raciocínio simbólico, não apenas previsão estatística. Exige construir sistemas que saibam o que não têm permissão de fazer, não apenas para o que estão otimizados.

Não acho que a era da IA nas empresas esteja terminando. Acho que ela finalmente está começando — porque, pela primeira vez, estamos sendo forçados a construí-la corretamente. A era experimental, em que empresas podiam implantar algoritmos de caixa-preta em milhões de consumidores e chamar isso de "inovação", acabou. O que a substituir será mais difícil de construir, mais lento de entregar e mais entediante de demonstrar.

Também será o único tipo que sobrevive.