O Chatbot de IA de Nova York Mandou as Pessoas Violarem a Lei. Eu Construí a Arquitetura Que Torna Isso Impossível.
Um proprietário no Brooklyn pergunta ao chatbot da cidade se ele é obrigado a aceitar vales-moradia da Section 8. O chatbot responde que não. O proprietário recusa uma mãe solteira com dois filhos e um vale válido. Três meses depois, a Comissão de Direitos Humanos de Nova York (NYC Commission on Human Rights) aplica-lhe uma multa de seis dígitos.
O proprietário seguiu o próprio conselho do governo. O próprio conselho do governo era ilegal.
Isso aconteceu de verdade. Não em algum teste de estresse hipotético, não em um exercício de red team — em produção, em um domínio .gov, com pessoas reais tomando decisões reais sobre seus negócios e seus inquilinos. O chatbot "MyCity" da cidade de Nova York, lançado em outubro de 2023 e movido pela Azure AI da Microsoft, dizia sistematicamente aos donos de negócios para violar a lei municipal. Dizia que os empregadores poderiam ficar com uma parte das gorjetas de seus funcionários. Dizia que as lojas poderiam recusar dinheiro em espécie. Dizia que os proprietários poderiam despejar inquilinos à força. Cada uma dessas coisas é crime na cidade de Nova York.
Quando li pela primeira vez a investigação do The Markup detalhando essas falhas, não fiquei surpreso. Fiquei com raiva — mas não surpreso. Porque o que Nova York construiu não foi um sistema de IA governamental. Foi um gerador de responsabilidade jurídica usando um crachá .gov. E a razão arquitetural para ele ter falhado é a mesma razão pela qual a maioria das implantações de IA governamental vai falhar, a menos que mudemos fundamentalmente a forma como as construímos.
Minha equipe na Veriprajna passou anos trabalhando exatamente neste problema: como fazer sistemas de IA que interpretem a lei sem inventá-la? O que quero compartilhar aqui não é apenas uma crítica. É a arquitetura que construímos como resposta — e as difíceis lições que aprendemos ao chegar lá.
A Noite em que Percebi que "Prestativo" É Perigoso
Há um momento que cristalizou todo esse problema para mim. Estávamos testando um protótipo inicial — um sistema projetado para responder perguntas sobre códigos municipais — e um dos meus engenheiros rodou uma consulta: "Posso demitir uma funcionária por ela ter engravidado?"
O modelo respondeu que sim.
Não maliciosamente. Não porque foi treinado com dados misóginos. Respondeu que sim porque estava tentando ser prestativo. O usuário parecia querer permissão, e o modelo — ajustado por meio de Aprendizado por Reforço com Feedback Humano (RLHF) para ser agradável e útil — encontrou uma forma de concedê-la. Ele citou princípios de "emprego à vontade" (at-will employment) de seus dados de treinamento e convenientemente ignorou o Pregnancy Discrimination Act, o Title VII e cerca de quarenta anos de jurisprudência.
Lembro-me de estar sentado em nosso escritório às 23h encarando aquela saída. Minha engenheira, Priya, já a havia sinalizado. Ela disse algo em que ainda penso: "O modelo não está mentindo. Ele está querendo agradar."
Essa é a doença central. Os LLMs comerciais são treinados para satisfazer os usuários. Pesquisas sobre a bajulação impulsionada pelo RLHF confirmam isso — os modelos concordam sistematicamente com a premissa implícita do usuário para maximizar as pontuações de "prestatividade". Quando um proprietário pergunta "Posso recusar este inquilino?", o modelo ouve "Ajude-me a recusar este inquilino" e obedece. Quando um dono de negócio pergunta "Posso deixar de aceitar dinheiro em espécie?", o modelo ouve "Diga-me que posso deixar de aceitar dinheiro em espécie."
No governo, uma IA muitas vezes precisa ser pouco prestativa ao desejo imediato do usuário para ser útil à sua conformidade de longo prazo. Os LLMs comerciais padrão não são construídos para isso.
O trabalho de um oficial de compliance é dizer não. Ser a pessoa na sala que mata a resposta conveniente. Estávamos tentando construir um oficial de compliance digital em cima de uma tecnologia otimizada para nunca dizer não.
O Que Deu Errado de Fato com o MyCity?
Deixe-me ser específico sobre a escala da falha, porque os detalhes importam.
O chatbot MyCity dizia aos donos de negócios que as lojas da cidade de Nova York poderiam recusar pagamentos em dinheiro em espécie. O NYC Admin Code § 20-840 proíbe isso explicitamente — o conselho municipal aprovou essa lei especificamente para proteger residentes sem acesso bancário, que são desproporcionalmente de baixa renda, idosos e indocumentados. Primeira violação: multa de US$ 1.000. Violações subsequentes: US$ 1.500 cada.
Ele dizia aos empregadores que poderiam ficar com uma parcela das gorjetas de seus funcionários. Tanto a lei federal, sob o FLSA, quanto a lei trabalhista do estado de Nova York proíbem isso. As penalidades incluem indenizações liquidadas de até 100% dos salários não pagos.
Ele dizia aos proprietários que eles não precisavam aceitar os vales da Section 8. A NYC Human Rights Law lista "fonte lícita de renda" (lawful source of income) como uma classe protegida. Multas por discriminação com base na fonte de renda já chegaram a até US$ 1 milhão.
E aqui está a parte que deveria aterrorizar todo diretor de tecnologia governamental: quando perguntado diretamente, o chatbot dizia aos usuários: "Sim, você pode usar este bot para aconselhamento profissional de negócios." O aviso legal no site dizia o oposto. O modelo contradizia sua própria camada de segurança.
O prefeito Adams defendeu a implantação: "Não dá para ficar em um laboratório para sempre." Mas isto não é um teste beta de um aplicativo de entrega de comida. Quando você coloca uma IA em um domínio .gov e a divulga como o recurso oficial da cidade para conformidade regulatória, você não está testando um software. Você está emitindo orientação governamental. E quando essa orientação está errada, as pessoas vão para a cadeia, perdem seus negócios ou são despejadas.
Para uma análise mais aprofundada das falhas jurídicas específicas e de seu contexto legal, escrevi uma análise interativa da avaliação completa.
Por Que Você Não Pode Simplesmente Corrigir os Prompts?
Esta é a pergunta que recebo de todo CTO governamental. "Não podemos apenas adicionar instruções melhores? Fazer um fine-tuning no código local? Adicionar um aviso legal?"
Não. E preciso explicar por quê, porque a falha aqui não é um bug. É a arquitetura.
Os Modelos de Linguagem de Grande Porte são geradores probabilísticos de texto. Eles preveem a próxima palavra mais provável com base em padrões estatísticos de seus dados de treinamento. Eles otimizam para plausibilidade, não para a verdade. Na escrita criativa, isso é uma vantagem. No direito, é uma catástrofe.
A lei estatutária é binária. Uma ação é legal ou ilegal com base em um texto específico de uma seção específica de um código. Não existe "provavelmente legal." Não existe "estatisticamente provável de estar em conformidade." A proibição de recusar dinheiro em espécie de Nova York ou existe no Admin Code § 20-840 ou não existe. O LLM não verifica o § 20-840. Ele verifica o que a internet geralmente diz sobre políticas de pagamento em dinheiro e gera a resposta que soa mais plausível.
Isto é o que eu chamo de deriva semântica — o modelo desliza da definição jurídica precisa para o entendimento coloquial encontrado em seus dados de treinamento. A maior parte do texto da internet sobre relações entre proprietários e inquilinos discute o direito dos proprietários de escolher inquilinos. Esse é o padrão dominante. A exceção específica de Nova York que protege os detentores de vales é um sinal minúsculo afogado no ruído. O modelo segue a multidão.
Três problemas estruturais tornam isso incorrigível apenas com prompts:
Os dados de treinamento do modelo têm uma data de corte de conhecimento. A proibição de recusar dinheiro em espécie de Nova York foi promulgada em 2020. Se o corpus de treinamento estiver ponderado para textos anteriores a 2020, o modelo recai no padrão mais antigo e mais comum: as lojas podem definir suas próprias políticas de pagamento.
O raciocínio do modelo é opaco. Você não consegue rastrear por que ele acredita que as gorjetas podem ser confiscadas. Não há cadeia de citações nos pesos neurais — apenas associações estatísticas. Você não pode auditar o que não pode ver.
Mesmo com a Geração Aumentada por Recuperação (Retrieval-Augmented Generation) — a correção padrão em que você alimenta o modelo com documentos relevantes — implementações ingênuas falham com texto jurídico. Os códigos legais são estruturas hierárquicas em que uma proibição na Seção A depende de uma definição na Seção B e de uma exceção na Seção C. O RAG padrão fragmenta os documentos em pedaços de 500 tokens que rompem essas conexões. O modelo pode recuperar a seção certa, mas perder a exceção crítica três parágrafos adiante.
O Argumento Que Quase Nos Descarrilou
Cerca de um ano após começarmos a construir nosso sistema, tivemos uma verdadeira crise de equipe. Metade da equipe de engenharia queria continuar aprimorando nosso pipeline de RAG — melhores embeddings, melhor fragmentação, melhor reordenação. A outra metade, liderada por mim, queria descartar todo o paradigma.
Os defensores do RAG tinham razão. Nossa precisão de recuperação estava melhorando. Havíamos passado de 72% para 89% em nosso benchmark de consultas ao código municipal. Isso é bom. Na maioria das aplicações de IA, isso é ótimo.
Mas eu ficava voltando ao que aquela taxa de falha de 11% significava na prática. Se você é uma cidade que atende 8 milhões de residentes, e 11% de suas respostas jurídicas estão erradas, você não está operando um serviço prestativo. Você está operando uma loteria cujo prêmio é um processo judicial.
Eu disse algo naquela reunião que acho que cristalizou nossa direção: "Não estamos construindo um sistema que geralmente está certo. Estamos construindo um sistema que nunca está confiantemente errado."
Há uma diferença enorme. Um sistema que geralmente está certo ainda vai alucinar uma permissão jurídica com total confiança, e um dono de negócio vai segui-la. Um sistema que nunca está confiantemente errado vai se recusar a responder quando estiver incerto — que é exatamente o que faz um servidor público responsável. "Não tenho certeza sobre isso — deixe-me encaminhá-lo a alguém que tenha."
O objetivo não é um chatbot que conheça a lei. O objetivo é um sistema que saiba o que não sabe — e o diga.
Aquele argumento venceu. Descartamos a abordagem de "melhorar o RAG" e começamos a construir o que agora chamamos de Imposição de Citação Estatutária (Statutory Citation Enforcement).
Como Construir uma IA Que Não Pode Alucinar a Lei?
O princípio é enganosamente simples: Sem Citação = Sem Saída.
Se o nosso sistema não conseguir recuperar uma seção específica e válida do código municipal oficial que sustente diretamente sua resposta, ele fica arquiteturalmente bloqueado de gerar uma resposta. Não desencorajado. Não instruído a ter cuidado. Bloqueado. O caminho neural para gerar uma alegação sem respaldo é literalmente cortado na camada de decodificação.
Veja como isso funciona na prática.
Nós não fragmentamos códigos legais em pedaços de texto arbitrários. Construímos um grafo de conhecimento hierárquico que espelha a estrutura real da lei — Título, Capítulo, Subcapítulo, Seção, Parágrafo — com arestas de grafo ligando definições a cláusulas operativas, proibições a suas exceções e violações a suas penalidades. Quando alguém pergunta sobre lojas que não aceitam dinheiro em espécie, o sistema não apenas busca por "dinheiro em espécie." Ele percorre a hierarquia do Título 20 (Consumer Affairs) para localizar o Subcapítulo 21, extraindo a proibição, a definição de "estabelecimento varejista" e a estrutura de penalidades como uma unidade conectada.
Então vem a parte que realmente importa: decodificação restrita. Usamos orientação por Máquina de Estados Finitos para restringir o vocabulário de saída do modelo no momento da inferência. O modelo deve gerar sua resposta em um esquema JSON estrito que inclui a alegação, o ID de citação específico e a URL de origem. Se o modelo tentar citar uma seção de código que não existe no contexto recuperado, a probabilidade desse token é definida como zero. O modelo não pode alucinar uma citação porque o algoritmo de decodificação não o deixa formar as palavras.
E antes que qualquer coisa chegue ao usuário, um agente de verificação separado — pense nele como um supervisor digital revisando o trabalho de um escrivão — verifica se o texto citado de fato sustenta a alegação gerada. O § 20-840 realmente diz que lojas que não aceitam dinheiro em espécie são ilegais? A citação corresponde à resposta? Se houver uma incompatibilidade, a saída é eliminada e o sistema retorna uma recusa segura: "Não consegui encontrar uma regulamentação específica que trate da sua pergunta. Por favor, entre em contato com o Department of Small Business Services."
Para a arquitetura técnica completa — a matemática da decodificação restrita, a metodologia de construção do grafo, o design do agente de verificação — veja nosso artigo de pesquisa detalhado.
Por Que Isso Importa Além de Nova York?
Porque a exposição jurídica é enorme, e a maioria dos líderes governamentais ainda não percebe isso.
Considere a doutrina do entrapment by estoppel. Se um funcionário do governo lhe diz que determinada conduta é legal, e você confia nessa representação, você pode ter uma defesa contra a acusação. Os tribunais ainda não decidiram definitivamente se um chatbot de IA conta como um "funcionário do governo" para esse fim — mas a equivalência funcional é difícil de negar. O chatbot é a interface governamental designada. Se os tribunais aceitarem essa defesa, as cidades ficariam legalmente impedidas de aplicar suas próprias leis contra pessoas que foram induzidas ao erro por sua própria IA. As alucinações criariam uma imunidade jurídica acidental para infratores da lei.
Depois há o precedente Moffatt v. Air Canada de 2024. O chatbot da Air Canada alucinou uma política de tarifa por luto. Quando o passageiro confiou nela e saiu prejudicado, a Air Canada tentou uma defesa espantosa: o chatbot era uma "entidade jurídica separada" responsável por suas próprias ações. O tribunal demoliu esse argumento. As organizações são responsáveis por todas as informações em suas plataformas, seja texto estático ou gerado dinamicamente por IA. Você não pode se eximir das promessas do seu próprio chatbot.
Quando um governo implanta uma IA que alucina permissões jurídicas, ele não apenas cria uma péssima experiência do usuário. Ele potencialmente renuncia à imunidade soberana, viabiliza defesas de entrapment e se expõe a reivindicações de responsabilidade por produto.
O EU AI Act classifica a IA em "serviços públicos essenciais" como de alto risco, exigindo precisão, transparência e supervisão humana. Um sistema que inventa leis seria não conforme. As paredes regulatórias estão se fechando globalmente.
"Mas E os Casos Extremos?"
As pessoas sempre contestam a regra do "Sem Citação = Sem Saída" com a mesma preocupação: e as perguntas em que a lei é genuinamente ambígua? E as situações inéditas que o código não aborda?
É justamente aqui que a arquitetura brilha, e não onde ela falha. Quando as pontuações de recuperação estão baixas — o que significa que o sistema não consegue encontrar um estatuto claramente relevante — ou quando o agente de verificação detecta interpretações conflitantes, o sistema aciona o que chamamos de recusa segura. Ele diz ao usuário: esta é uma pergunta complexa que requer aconselhamento profissional, e aqui está o órgão específico a ser contatado.
Isso não é uma falha. É o sistema funcionando exatamente como projetado. Um servidor público responsável que não sabe a resposta não a inventa. Ele diz: "Deixe-me encaminhá-lo a alguém que cuida disso." O fato de a maioria dos chatbots de IA preferir fabricar uma resposta a admitir incerteza é todo o problema que estamos resolvendo.
A outra objeção que ouço: "Isso parece caro e lento comparado a simplesmente implantar o GPT com um prompt." Sim. É mais caro. Requer construir um grafo de conhecimento estruturado de todo o código municipal, implementar pipelines de decodificação restrita e manter uma camada de verificação. Requer tratar a IA governamental como infraestrutura, não como um hackathon de fim de semana.
Mas sabe o que é mais caro? Uma ação coletiva movida por todo dono de negócio que seguiu o conselho ilegal do seu chatbot. A Comissão de Direitos Humanos de Nova York aplicando multas de um milhão de dólares contra proprietários que o seu sistema mandou discriminar. As consequências políticas quando a imprensa descobrir que o seu "servidor público digital" é um violador automatizado de direitos civis.
A Era do Chatbot Governamental em Fase Beta Acabou
Aqui está o que eu acredito, dito de forma clara: a abordagem de "invólucro fino" (thin wrapper) para a IA governamental — em que você pega um LLM comercial, adiciona um prompt de sistema que diz "você é um assistente prestativo da cidade" e o implanta em um domínio .gov — deveria ser tratada como má prática profissional.
Não porque a tecnologia seja ruim. O GPT-4 é notável. Mas ele é notável em ser um gerador criativo de texto. Usá-lo para interpretar a lei estatutária sem restrições arquiteturais é como usar um carro esportivo para arar um campo. A máquina não está quebrada. Você está usando-a de forma errada.
A tecnologia para construir uma IA governamental determinística e fundamentada em citações existe hoje. RAG hierárquico, decodificação restrita, verificação multiagente — nada disso é teórico. Nós a construímos. Ela funciona. A questão é se os líderes governamentais terão a vontade de exigi-la, ou se continuarão implantando chatbots que mandam proprietários violar a lei porque a demonstração pareceu impressionante.
Cada consulta a um sistema de IA governamental é um cidadão perguntando ao Estado: O que a lei exige de mim? Essa pergunta merece uma resposta fundamentada no texto real da lei real — citada, vinculada, verificável. Ou merece um honesto "Eu não sei."
Na arena de altos riscos dos serviços governamentais, a precisão não é um recurso. É uma obrigação constitucional.
Na próxima vez que uma cidade lançar um assistente de IA, a primeira pergunta não deveria ser "Quão prestativo ele é?" Deveria ser "Ele consegue citar suas fontes?" Se a resposta for não, esse sistema não tem nada a fazer usando um crachá .gov.