Dei a Lei Exata a um Chatbot Governamental. Ele Ainda Mandou os Proprietários Infringi-la.

Em março de 2024, um repórter do The Markup fez ao chatbot oficial da cidade de Nova York uma pergunta simples: um proprietário pode recusar um inquilino com um voucher da Seção 8?

O bot — MyCity, no ar em um domínio .gov, treinado em mais de 2.000 páginas da web da cidade, rodando na Azure AI da Microsoft — disse que sim. Os proprietários não precisam aceitar os vouchers, explicou ele, prestativamente.

Essa resposta é ilegal. A Lei de Direitos Humanos de Nova York proíbe a discriminação por origem de renda desde 2008, com multas que chegam a US$ 250.000. O chatbot não fez ressalvas, não incluiu isenções de responsabilidade, não disse "consulte um advogado". Ele deu uma resposta confiante, fluente e errada, e fez isso ostentando o selo da cidade de Nova York.

Passei um sábado daquela primavera lendo a investigação do The Markup com o próprio Código Administrativo de Nova York aberto em outra aba, comparando o que o bot dizia com o que o estatuto dizia, linha por linha. Foi aí que a ideia por trás de uma IA governamental que cita a lei em vez de inventá-la começou para mim — não em uma apresentação de estratégia, mas na lacuna entre uma captura de tela e um estatuto. O bot não estava confuso. Ele funcionava exatamente como fora projetado. E o projeto era o problema.

O Chatbot Que Disse aos Nova-Iorquinos para Violar Quatro Leis Diferentes

O MyCity não errou apenas uma coisa. O The Markup documentou um padrão em toda a maquinaria básica da vida urbana.

Ele disse a donos de negócios que poderiam ficar com uma parte das gorjetas de seus funcionários — ilegal sob a Lei de Padrões Justos de Trabalho e a Lei Trabalhista de Nova York, o tipo de coisa que termina em ações por roubo de salário e indenizações liquidadas. Disse a lojas que poderiam operar sem dinheiro em espécie e recusar cédulas de papel, o que o § 20-840 do Código Administrativo de Nova York proíbe especificamente para proteger residentes sem acesso bancário. Disse a proprietários que poderiam trancar inquilinos do lado de fora, o que é um crime após trinta dias de ocupação.

Cada resposta era ilegal. Cada resposta carregava o aval da cidade.

A resposta da cidade foi acrescentar isenções de responsabilidade. Mas o bot continuava alegremente contrariando-as em seu próprio texto — a certa altura dizendo a um usuário: "Sim, você pode usar este bot para aconselhamento profissional de negócios". O prefeito eleito Zohran Mamdani mais tarde chamou a ferramenta de "funcionalmente inutilizável" e tomou medidas para desativá-la. Àquela altura, o programa já havia custado à cidade cerca de US$ 500.000, uma rubrica que parece especialmente sombria diante de um déficit orçamentário de US$ 12 bilhões.

Aqui está a parte que me tirava o sono. Ninguém se propôs a construir uma máquina de infringir a lei. Uma equipe competente treinou um modelo razoável com dados reais da cidade e o lançou. A falha estava incorporada à arquitetura que eles escolheram, e quase todo governo que implanta um chatbot hoje está escolhendo a mesma.

Por Que um Modelo de Linguagem Tem por Padrão Infringir a Lei?

É preciso entender o que um grande modelo de linguagem de fato otimiza. Ele é um mecanismo de probabilidade. Faça a ele uma pergunta e ele produz a continuação estatisticamente mais plausível — a resposta que soa como o tipo de resposta que geralmente segue esse tipo de pergunta.

Agora pense no que existe em seus dados de treinamento. Quando um proprietário pergunta "Posso recusar este inquilino?", o padrão dominante em toda a internet é o direito contratual geral: os donos de imóveis têm a prerrogativa de escolher para quem alugam. Isso é verdade em quase todo lugar. A disposição específica de Nova York que proíbe a discriminação por origem de renda é uma exceção local restrita, um sinal fraco abafado pelo sinal amplo. O modelo recorre ao padrão que viu dez mil vezes, não ao estatuto que se aplica neste quarteirão em particular.

Depois, o aprendizado por reforço piora as coisas. Os chatbots modernos são ajustados para serem prestativos, o que na prática significa condescendentes — eles tendem a dar ao usuário o que ele parece querer. Um proprietário perguntando como recusar um inquilino é lido, pelo modelo, como "me ajude a recusar este inquilino". Então ele ajuda. Ele diz sim.

Um chatbot governamental precisa estar disposto a ser pouco prestativo com o que você quer para ser honesto sobre o que a lei diz. Esse instinto é exatamente o oposto do que esses modelos são treinados para ter.

Essa é a armadilha. As qualidades que tornam um chatbot de consumo encantador — fluência, condescendência, a confiança de sempre ter uma resposta — são as qualidades que tornam um chatbot jurídico governamental perigoso.

Por Que o RAG Não Resolveu Isso?

Por cerca de uma semana, tive certeza de que sabia a resposta, e estava errado de um jeito que me ensinou o problema inteiro.

A correção óbvia é a geração aumentada por recuperação — RAG. Em vez de deixar o modelo responder de memória, você recupera primeiro os documentos relevantes de verdade e os entrega ao modelo como contexto. Dê a ele o estatuto real, é o que se pensa, e ele deixará de inventar coisas. Construímos um piloto para provar isso.

Ele recuperava lindamente. Eu fazia a pergunta da Seção 8 e observava o sistema puxar para o contexto exatamente a disposição sobre origem de renda — a lei certa, ali mesmo no prompt. E então o modelo a lia e mesmo assim respondia "sim, você pode recusar o voucher". Lembro de ficar encarando aquilo, porque era pior do que eu esperava. A recuperação funcionava. O raciocínio não. O modelo tinha o estatuto correto à sua frente e ainda assim escolhia seu viés de treinamento, ou lia errado a disposição, ou juntava uma resposta plausível a partir da combinação errada de trechos recuperados.

Não é um bug que tínhamos introduzido. É o estado da arte documentado. Pesquisadores de Stanford testaram as ferramentas comerciais de IA jurídica construídas exatamente para isso — aumentadas por recuperação, projetadas profissionalmente — e a melhor delas, a Lexis+ AI da LexisNexis, ainda alucinava em 17% das vezes. A Pesquisa Assistida por IA da Westlaw chegou a 33%. São ferramentas vendidas a advogados por centenas de dólares por mês, e uma em cada cinco a uma em cada três respostas é fabricada.

A recuperação coloca o documento certo na sala. Ela não faz nada para impedir que o modelo o ignore.

Então tive que descartar a suposição com que havia começado. O RAG não é a arquitetura. O RAG é um componente, e por si só ele desloca a falha de "o modelo não conhece a lei" para "o modelo conhece a lei e a contradiz" — o que, em um domínio governamental, é indiscutivelmente a falha mais perigosa, porque agora há uma citação bem ao lado da resposta errada fazendo com que ela pareça confiável.

A Responsabilidade Cujas Letras Miúdas Ninguém Lê

Um chatbot de consumo que erra 17% das vezes irrita as pessoas. Um chatbot governamental acumula exposição jurídica a cada resposta.

Existe uma doutrina de que a maioria dos tecnólogos nunca ouviu falar e que importa enormemente aqui. Os governos costumam estar protegidos de ações judiciais por funções "discricionárias" — os juízos de valor de governar. Mas quando um governo fornece aconselhamento específico e acionável a um cidadão, os tribunais tratam isso como uma função proprietária, igual à que um consultor privado desempenharia. Funções proprietárias não gozam de imunidade soberana. Então, quando o MyCity disse a um dono de negócio que ele poderia embolsar as gorjetas de seus funcionários, a cidade estava, para efeitos jurídicos, agindo como um consultor sem licença dando um conselho ruim de nível de negligência profissional — sem a imunidade que teria por uma decisão governamental de fato.

E a lei está correndo para tornar isso explícito. O Projeto de Lei do Senado S7263 de Nova York, que chegou ao plenário do Senado em 26 de fevereiro de 2026, proibiria que chatbots dessem aconselhamento profissional substantivo e criaria um direito de ação privado — o que significa que um cidadão prejudicado pelo conselho de um chatbot pode processar por danos efetivos mais honorários advocatícios. Por todo o país, os rastreadores legislativos contabilizaram 78 projetos de lei sobre segurança de chatbots em 27 estados a caminho de 2026. Para qualquer governo que atende residentes na Europa, o Regulamento de IA da UE classifica a IA de serviço público voltada ao cidadão como de alto risco, com penalidades que chegam a € 15 milhões ou 3% do faturamento mundial conforme as obrigações entram em vigor em agosto de 2026.

Quando um consultor me disse no início para simplesmente fazer o ajuste fino do GPT e lançá-lo em um piloto governamental, esta foi a conversa que tivemos. "Geralmente certo" é um padrão adequado para um mecanismo de recomendação de filmes. Em um domínio .gov, neste ambiente regulatório, um sistema que está confiantemente errado em um sexto das vezes não é um recurso de produto para ir aperfeiçoando. É um direito de ação privado esperando por um autor de processo.

A Parte Que Todos Subestimam: o Próprio Código É uma Bagunça

Antes mesmo de qualquer uma das questões do modelo importar, há um problema que não aparece em demonstrações e afunda silenciosamente implantações reais: a lei não está em um banco de dados.

Aprendi isso de forma visceral na primeira vez que me sentei com um código municipal de verdade — um PDF com emendas de capítulos numeradas à mão nas margens, porque a versão autorizada de uma lei municipal é um documento que um escrivão vem editando há décadas. Os códigos municipais existem em dezenas de formatos incompatíveis por todo o país — PDFs, HTML legado, sistemas de publicação proprietários — e dentro de uma única cidade eles são mantidos de forma assíncrona por departamentos que não se coordenam. O zoneamento é atualizado em um cronograma, o código sanitário em outro. A "fonte única da verdade" é uma ficção.

Você não pode construir uma IA governamental confiável sobre um corpus jurídico que não reconstruiu antes em algo sobre o qual uma máquina possa raciocinar de forma confiável. "Ingerir o código" é um quarto de arqueologia de dados antes de o modelo sequer ver um token.

É também por isso que o mercado existente não serve. A Microsoft Azure Government, a AWS GovCloud e a nuvem para o setor público do Google lhe dão infraestrutura autorizada e um modelo de propósito geral — mas foi a Azure que alimentou o MyCity. O problema da alucinação vive acima da camada da plataforma; a nuvem não o toca. As ferramentas robustas de IA jurídica, o CoCounsel da Thomson Reuters e a Lexis+ AI, são construídas para advogados a preços de escritório de advocacia, não para um residente fazendo uma pergunta às 23h. Os grandes integradores — a Deloitte, com bilhões comprometidos com IA generativa, e a Accenture Federal, com bilhões em contratos de IA — implementam as plataformas desses fornecedores; eles não constroem arquiteturas customizadas de decodificação restrita. E as promissoras startups de IA para códigos municipais são exatamente isso: promissoras, não comprovadas em escala, sem um histórico de licitações governamentais. Há uma lacuna no meio, e a lacuna é onde os cidadãos se machucam.

O Que Finalmente Funcionou: Fazer o Sistema Conquistar o Direito de Falar

A reformulação que mudou tudo foi decidir que o estado padrão do sistema é o silêncio, não uma resposta.

Em vez de pedir ao modelo para ser mais preciso, nós o construímos de modo que ele fisicamente não possa emitir uma afirmação jurídica a menos que essa afirmação esteja vinculada a uma disposição estatutária específica e recuperada. A etapa de geração é restrita: quando o sistema produz uma frase sobre o que a lei permite, essa frase precisa carregar uma citação rastreável à seção exata do código de onde ela veio, verificada em relação à fonte após a geração. Se o modelo quer dizer "você pode recusar um voucher" e não há disposição que o sustente — ou pior, uma disposição que o contradiz — a afirmação não passa. O sistema diz que não pode responder aquilo e encaminha a pessoa a um humano.

Essa é toda a filosofia do que construímos na Veriprajna, e você pode ver a arquitetura completa em veriprajna.com/solutions/government-municipal-ai: cada resposta remonta a um estatuto específico, ou o sistema fica em silêncio. Preferimos que ele responda a menos perguntas e seja incapaz de infringir a lei do que responda a tudo e ocasionalmente comprometa a cidade com uma multa por discriminação de um quarto de milhão de dólares.

A ordem das operações importa. Primeiro, reconstruir o desorganizado corpus municipal em uma base de conhecimento estruturada e hierárquica que sabe quais disposições prevalecem sobre quais — um problema nada trivial precisamente porque essas disposições são emendadas em cronogramas departamentais descoordenados, de modo que o próprio grafo de precedência não para de mudar. Depois, recuperar contra ela. Depois — e essa é a etapa que todos pulam — restringir a geração para que a saída fique mecanicamente amarrada ao que foi recuperado, com uma passagem de verificação que rejeita qualquer afirmação que não se sustente. Depois, manter uma trilha de auditoria, para que, quando um regulador ou o advogado de um autor de processo perguntar por que o sistema disse o que disse, haja um registro apontando para um estatuto em vez de um dar de ombros sobre pesos de modelo.

Um efeito colateral útil: um sistema que pode mostrar sua citação para cada resposta é um sistema que você consegue de fato defender. A trilha de auditoria não é teatro de conformidade. É a diferença entre "a IA disse isso" e "aqui está o § de onde a resposta veio".

"Mas Isso Não o Torna Menos Útil?"

As pessoas me perguntam isso o tempo todo, e é a pergunta certa. Sim — um sistema com citações obrigatórias responde a menos perguntas do que o MyCity respondia. Às vezes ele dirá "não posso aconselhar sobre isso" onde um bot mais tagarela teria alegremente inventado algo. Isso parece uma degradação até você lembrar que cada uma das respostas extras do MyCity era uma responsabilidade, não um serviço.

A outra coisa que ouço é sobre o relógio das licitações, e é o risco mais subestimado de todo o setor. A IA governamental não sobrevive ou morre pela qualidade do modelo; ela sobrevive ou morre por conseguir passar pela autorização. Os processos de autorização para operar do FedRAMP e do StateRAMP levam 12 a 18 meses, e a maioria das startups de IA não sobrevive à papelada da ATO tempo suficiente para implantar. Construir para o governo significa projetar para essa realidade desde o primeiro dia — os controles de acesso, as garantias de separação de dados, a infraestrutura de auditoria — e não aparafusá-los depois de um piloto. Um modelo que é brilhante em uma demonstração e não consegue passar pela autorização nunca atende a um único cidadão.

E então há a questão de saber se isso vale a pena, dado que o governo federal sinalizou que poderia sobrepor-se à colcha de retalhos das leis estaduais de IA. Talvez sobreponha. Mas uma cidade não tem o direito de apostar a renda de gorjetas e os direitos de moradia de seus residentes no que uma futura ordem executiva fará. O conselho que o MyCity deu era ilegal sob leis que nada têm a ver com a regulação da IA — direito trabalhista, direito de moradia, direito de proteção ao consumidor, que antecedem o ChatGPT em décadas. Nenhuma preempção resolve isso.

A coisa à qual eu sempre volto é aquela captura de tela do The Markup: o "sim" confiante do chatbot ao lado do estatuto que diz não. Um escrivão humano que não soubesse uma resposta teria dito "deixe-me verificar" ou "você deveria perguntar a um advogado". Nós construímos máquinas que nunca dizem isso, depois as colocamos em sites governamentais e agimos surpresos quando elas aconselharam as pessoas rumo a processos judiciais.

O trabalho de um governo, quando um residente pergunta o que a lei permite, é estar certo ou ser honesto sobre não saber. Essas são as duas únicas saídas aceitáveis. Um sistema que produz uma fluente e autoritária terceira opção — confiantemente errada — não tem lugar carregando o selo de uma cidade. A correção nunca foi um modelo que soa melhor. Foi construir um que sabe quando manter a boca fechada — que é toda a premissa do que construímos para a IA governamental e municipal.