Desenvolvimento de Modelos e Fine-Tuning

A maioria dos projetos de fine-tuning fracassa antes de o treinamento começar

A conta de GPU não é a parte cara do fine-tuning corporativo. Um modelo de 7B parâmetros é ajustado em uma única A100 por US$ 100–US$ 400 em computação; um modelo de 70B custa US$ 4.000–US$ 9.750 por execução de treinamento. O que mata os projetos é tudo o que cerca o loop de treinamento: curar milhares de exemplos específicos do domínio, impedir que o modelo esqueça o que já sabe, validar que o alinhamento de segurança sobreviveu ao treinamento, quantizar para o serving em produção e construir o pipeline de monitoramento que detecta o drift.

A Gartner prevê que, até 2027, as organizações usarão modelos de IA pequenos e específicos para tarefas três vezes mais do que LLMs de uso geral. A mudança já está em curso: 68% das empresas que fizeram fine-tuning de modelos em 2024 relataram melhora de até 3x na acurácia das tarefas. Mas é na lacuna entre um experimento em notebook e uma implantação em produção que a maioria dos projetos empaca. Nossa abordagem é projetar o pipeline completo, não apenas o loop de treinamento (uma disciplina detalhada em nossa pesquisa sobre engenharia de sistemas além de wrappers de API).

Quando o Fine-Tuning É a Escolha Certa (e Quando Não É)

A engenharia de prompts leva horas. O RAG leva de uma a quatro semanas. O fine-tuning leva de duas a oito semanas, incluindo criação do dataset, treinamento, testes de segurança e robustecimento para produção. Começamos todo engajamento avaliando se o fine-tuning é de fato necessário.

Faça fine-tuning quando:

• o modelo precisa de um novo comportamento ou formatos de saída que o prompting não consegue produzir de forma confiável;
• seu domínio tem padrões de raciocínio especializados que os modelos genéricos tratam de forma inconsistente;
• você precisa de inferência com bom custo-benefício em escala — um modelo de 7B ajustado a US$ 0,20/M de tokens substitui um de 70B a US$ 2/M;
• você está construindo sistemas agênticos em que a confiabilidade das chamadas de ferramentas importa — SLMs ajustados elevaram a taxa de sucesso das chamadas de ferramentas de 10% para 79% em benchmarks (veja uma demonstração funcional de um desses sistemas agênticos de agendamento).

Não faça fine-tuning quando:

• o problema é recuperação de conhecimento (use RAG);
• o dataset tem menos de 1.000 exemplos por tarefa;
• a engenharia de prompts já alcança uma acurácia aceitável;
• o modelo base muda mais rápido do que sua cadência de retreinamento.

Quando o RAG resolve o problema e o fine-tuning apenas desperdiçaria orçamento, nossa abordagem é dizer isso antes de qualquer treinamento ser dimensionado, em vez de vender um projeto de que você não precisa. Essa honestidade está incorporada em como dimensionamos um engajamento.

A Escolha do Framework Importa

O cenário de 2026 consolidou-se em torno de ferramentas distintas, cada uma resolvendo um problema diferente.

Selecionamos com base na sua escala de treinamento, na arquitetura do modelo e nos objetivos. A maioria das implantações em produção usa mais de um: Axolotl para fine-tuning supervisionado, TRL para otimização de preferências e Unsloth para prototipagem rápida.

O Alinhamento de Segurança Não Sobrevive a um Fine-Tuning Ingênuo

Uma pesquisa da EMNLP 2024 demonstrou que fazer fine-tuning de LLMs com novo conhecimento factual aumenta a propensão a alucinações. Separadamente, pesquisadores de Princeton, Stanford, Virginia Tech e IBM mostraram que o fine-tuning padrão permitiu que modelos contornassem completamente o treinamento de segurança. Uma pesquisa da ICLR 2026 mostrou, desde então, que um ajuste cuidadoso de hiperparâmetros mitiga esses riscos, mas as configurações padrão dos frameworks vêm sem proteções.

O mecanismo: atualizações agressivas de parâmetros nas camadas superiores sobrescrevem as features responsáveis pela segurança. A seleção do rank do LoRA é crítica — adaptadores de rank mais alto nas camadas de atenção podem desestabilizar os circuitos de recusa, e a configuração segura depende da arquitetura específica do modelo e dos dados da tarefa.

Nossa abordagem é implementar pipelines que preservam a segurança (informados por nossa pesquisa sobre governança de segurança de IA no espaço latente):

• LoRA seletivo protegendo circuitos críticos;
• benchmarks de segurança reservados (held-out) em cada checkpoint;
• parada antecipada com base em métricas compostas que equilibram o desempenho na tarefa contra a preservação de capacidades;
• monitoramento contínuo da degradação do alinhamento ao longo de todo o treinamento.

A Curadoria de Dados É o Verdadeiro Gargalo

As horas de GPU são um item de linha. A curadoria de dados é o projeto:

• conseguir que SMEs rotulem de 5.000 a 50.000 exemplos de alta qualidade;
• resolver divergências de anotação com métricas de concordância entre anotadores;
• executar deduplicação com MinHash/LSH;
• verificação de contaminação contra os conjuntos de avaliação;
• documentar a proveniência com datasheets.

O RLAIF (usando o GPT-4 como rotulador) reduz o custo dos dados de preferência, mas introduz o viés do modelo professor. Dados sintéticos via destilação professor-aluno inicializam os conjuntos de treinamento, embora a qualidade seja limitada pelas capacidades do modelo professor.

Um engajamento é dimensionado para cobrir o design do pipeline de dados, os fluxos de anotação, a validação de qualidade e a documentação para setores regulados: validação de software da FDA, relatórios de validação de modelos financeiros e documentação técnica do EU AI Act com model cards que atendem aos requisitos do Artigo 11(1).

Do Treinamento à Produção

Quantização

Faça fine-tuning em FP16, mescle os adaptadores e depois quantize. O AWQ INT4 com o kernel Marlin entrega a melhor relação throughput-qualidade para o serving com vLLM (741 tok/s). O GPTQ integra-se com TensorRT-LLM e TGI. O GGUF é nativo para llama.cpp e Ollama. Ajustamos a quantização ao seu stack de serving.

Fornecedor vs. open-source

A OpenAI cobra ~US$ 3/M de tokens para fazer fine-tuning do GPT-4.1. O Small 3.1 ajustado da Mistral, a US$ 0,20/M, iguala o Large 3 deles, a US$ 2/M, em tarefas restritas. A Anthropic não oferece fine-tuning público. As APIs de fornecedores funcionam para iteração rápida quando a governança de dados permite infraestrutura de terceiros.

Modelos open-source (Llama 3, Mistral, Qwen) com treinamento auto-hospedado são a escolha certa quando os dados precisam permanecer na sua infraestrutura ou quando os requisitos regulatórios exigem. A maioria das empresas usa ambos.

Monitoramento e retreinamento

Modelos em produção sofrem drift. Nossa abordagem é construir pipelines que acompanham a qualidade das predições, detectam drift de dados e de conceito e disparam o retreinamento quando os limiares são ultrapassados. O MLflow ou o Weights and Biases cuidam do rastreamento de experimentos, com registros de modelos fornecendo a linhagem completa, dos dados de treinamento ao artefato implantado.

Alinhamento Pós-Treinamento: Além do SFT

O padrão de produção de 2026 é um pipeline modular: SFT para seguir instruções, DPO ou SimPO para alinhamento de preferências e GRPO para raciocínio.

O DPO substituiu o RLHF PPO ao eliminar o modelo de recompensa. O SimPO removeu o modelo de referência e, ao mesmo tempo, superou o DPO em 6,4 pontos no AlpacaEval 2. O GRPO (do DeepSeek R1) usa recompensas verificáveis para treinar o raciocínio por meio de RL pura (uma técnica que exploramos em nossa pesquisa sobre aprendizado por reforço em grafos), com autorreflexão e verificação emergentes. Implementamos essas técnicas usando o TRL, o framework que acerta a dinâmica do treinamento por RL.

O Que Entregamos

Todo engajamento é dimensionado para produzir um sistema implantável:

• o modelo ajustado com model cards completos;
• o pipeline de treinamento como código reproduzível com rastreamento de experimentos;
• uma suíte de avaliação que faz benchmarking contra o modelo base e alternativas em acurácia, latência, robustez e calibração;
• o artefato de implantação quantizado com configuração de serving otimizada;
• dashboards de monitoramento com detecção de drift e gatilhos de retreinamento;
• para setores regulados, documentação de validação específica do setor (EU AI Act, FDA, validação de modelos financeiros).

O engajamento também produz uma avaliação honesta: se o fine-tuning foi a abordagem certa, o que o modelo não consegue fazer e onde fica o teto de desempenho. Limitações documentadas de antemão economizam mais dinheiro do que projeções otimistas.