Quantização Pós-Treinamento para Modelos de Linguagem: Métodos de 8 e 4 Bits

Se você já tentou rodar um modelo de linguagem grande como LLaMA-70B ou Qwen 23B no seu computador, sabe o que é enfrentar uma memória de GPU esgotada em segundos. Esses modelos, treinados com centenas de bilhões de parâmetros, exigem até 140 GB de memória em precisão de 16 bits. Mas e se você pudesse reduzir isso para menos de 5 GB - sem retrainar o modelo, sem perder quase nada da precisão? Isso é possível com quantização pós-treinamento - e já é a técnica mais usada no mundo real para colocar LLMs em produção.

O que é quantização pós-treinamento?

Quantização pós-treinamento (PTQ, na sigla em inglês) é o processo de reduzir a precisão numérica dos pesos de um modelo de linguagem já treinado. Em vez de usar números de 16 bits (FP16), você converte eles para 8 bits ou até 4 bits. Isso significa que cada parâmetro passa de 2 bytes para 1 byte ou apenas 0,5 byte. O resultado? Menos memória, menos consumo de energia e muito mais velocidade na hora de gerar respostas.

A chave aqui é que você não precisa voltar ao treinamento. Não precisa de dados originais, não precisa de semanas de GPU. Você pega o modelo pronto, roda uma etapa de calibração com alguns exemplos de texto, e pronto - ele já está otimizado. Isso é o que torna a PTQ tão poderosa: é barata, rápida e funciona com qualquer modelo treinado anteriormente.

Por que 8-bit e 4-bit?

Antes de 2023, a maioria dos especialistas achava que quantizar ativações (os valores que passam entre camadas) para 8 bits era impossível em LLMs. Por quê? Porque alguns valores de ativação tinham picos extremos - até 70 vezes maiores que a média - e isso distorcia tudo quando você tentava comprimir.

Em 2023, a equipe do MIT-IBM Watson AI Lab lançou o SmoothQuant, que resolveu esse problema. Eles descobriram que, em vez de tentar quantizar os picos de ativação diretamente, era melhor mover essa dificuldade para os pesos. Isso permitiu que modelos inteiros fossem convertidos para W8A8 (8 bits para pesos e 8 bits para ativações) sem perda de precisão. O resultado? Redução de 50% no uso de memória e 1,56x mais rápido na geração de tokens.

Já o 4-bit é o próximo nível. Com 4 bits, você usa apenas 0,5 byte por parâmetro. Isso significa que um modelo de 70 bilhões de parâmetros, que antes exigia 140 GB, agora cabe em 35 GB - e com técnicas avançadas, até em 14 GB. Isso é suficiente para rodar em uma GPU de consumo como a NVIDIA RTX 4090, que tem 24 GB de VRAM.

Três métodos principais: SmoothQuant, AWQ e GPTQ

Não existe um único jeito certo de fazer quantização pós-treinamento. Existem três abordagens dominantes, cada uma com seu ponto forte.

• SmoothQuant: Ideal para 8-bit. Ele suaviza os picos de ativação movendo a complexidade para os pesos. Funciona bem em modelos como LLaMA, BLOOM, OPT e GLM. Em benchmarks, mantém 99,5% da precisão original em tarefas de zero-shot. É o mais simples de aplicar e o mais estável.
• AWQ (Activation-aware Weight Quantization): Focado em 4-bit. Em vez de tratar todos os pesos igualmente, ele identifica os mais importantes - aqueles que têm maior impacto nas ativações - e os mantém em maior precisão. Isso evita que o modelo “esqueça” padrões críticos. Em LLaMA-13B, a perda de precisão é de apenas 1-1,5%, contra 5-10% com métodos tradicionais.
• GPTQ: O mais preciso para 4-bit, mas exige mais dados de calibração. Ele usa uma abordagem de segunda ordem, ajustando os pesos com base em como eles afetam a saída final. É o método mais usado em modelos como Qwen e DeepSeek-R1. Mas exige entre 512 e 1024 exemplos para calibrar modelos maiores que 70B.

Na prática, os melhores resultados vêm da combinação. Muitos usuários na comunidade Hugging Face e Reddit já estão usando SmoothQuant + AWQ juntos: SmoothQuant para suavizar as ativações, AWQ para proteger os pesos críticos. O resultado? Menos de 0,5% de perda de precisão no MMLU, um benchmark de conhecimento geral, com modelos de 4-bit.

Quanto ganho real você tem?

Vamos ser práticos. Se você tem um modelo de 7B em FP16, ele ocupa cerca de 14 GB de memória. Com 8-bit (SmoothQuant), cai para 7 GB. Com 4-bit (AWQ + GPTQ), cai para 3,5 GB. Mas o ganho não é só de memória - é de velocidade também.

Na prática, com NVIDIA TensorRT Model Optimizer (versão 8.6.1, lançada em janeiro de 2026), modelos como Llama Nemo Ultra e DeepSeek-R1-0528 alcançam 2 a 3x mais tokens por segundo em 4-bit. Em um RTX 4090, usuários relatam 18-22 tokens por segundo com LLaMA-70B em 4-bit - contra menos de 5 tokens por segundo em FP16.

Isso não é só uma vantagem técnica. É econômica. Segundo a Gartner, empresas que adotaram PTQ reduziram seus custos de inferência em 40-60%. Em 2025, o mercado de quantização de modelos chegou a US$ 285 milhões - e cresce 45% ao ano.

Problemas que você vai encontrar

Nada é perfeito. Mesmo com as técnicas mais avançadas, existem armadilhas.

• Embeddings de posição rotativa: No GitHub, há issues documentados desde dezembro de 2025 sobre erros em modelos que usam rotary embeddings (como LLaMA e Mistral). Em 4-bit, esses embeddings podem causar perdas de 5-7% em tarefas com contexto longo - acima de 4K tokens.
• Calibração insuficiente: Muitos tentam calibrar com apenas 32 ou 64 exemplos. Isso pode levar a perdas de 3-5% de precisão. O ideal é usar 128-256 exemplos para modelos de 7B-13B e 512+ para modelos maiores.
• Modelos muito pequenos: Se o modelo tem menos de 1 bilhão de parâmetros, o overhead da quantização pode ser maior que o benefício. Não vale a pena.
• Tempo de calibração: Para modelos de 70B+, o processo pode levar 8 a 12 horas. É um gargalo. Algumas empresas estão usando GPUs dedicadas só para calibração.

Além disso, a NVIDIA e o MIT-IBM já estão avançando. Em janeiro de 2026, a NVIDIA lançou o TensorRT 9.0 com “Quantização Adaptativa” - que muda dinamicamente entre 4 e 8 bits durante a inferência, ganhando 15% extra de velocidade. E o SmoothQuant-ACT, publicado em 15 de janeiro de 2026, permite até 4-bit em ativações, com apenas 1,8% de perda média em 12 benchmarks.

Como começar?

Se você é engenheiro de machine learning e quer testar, aqui está o caminho mais direto:

1. Use o Hugging Face Optimum, que já tem wrappers prontos para SmoothQuant, AWQ e GPTQ.
2. Escolha um modelo pequeno primeiro - Mistral-7B ou LLaMA-7B - para testar.
3. Colete 128-256 exemplos de texto do seu domínio (não precisa ser o dataset original, apenas representativo).
4. Use SmoothQuant para 8-bit. Se quiser ir mais fundo, combine com AWQ para 4-bit.
5. Teste em tarefas reais: resumos, classificação, QA. Compare os resultados com o modelo original.

Requisitos mínimos: Python 3.9+, PyTorch 2.1+, e pelo menos 1x a memória do modelo para calibração. Se você tem uma RTX 3060 ou melhor, já pode começar.

Quem está usando isso?

Segundo a Forrester, 63% das empresas que usam LLMs em 2025 já adotaram PTQ - contra 29% em 2024. As principais ferramentas são:

• NVIDIA TensorRT: 42% do mercado. Melhor para produção em larga escala.
• Hugging Face Optimum: 28%. O mais acessível para pesquisadores e devs.
• auto-gptq e llama.cpp: 15% e 12% respectivamente. Populares em ambientes locais e de código aberto.

Na Europa, o escritório de IA da União Europeia emitiu diretrizes em janeiro de 2026: para aplicações de risco alto - saúde, finanças, justiça - a perda de precisão não pode ultrapassar 2%. Isso significa que, em setores regulados, 4-bit só é aceito se combinado com técnicas como AWQ e GPTQ, e validado com benchmarks rigorosos.

O futuro da quantização

Em dezembro de 2025, 87% dos pesquisadores da arXiv disseram que métodos combinados de PTQ se tornarão o padrão até 2027. Isso significa que, em breve, não será mais uma escolha - será obrigatório.

Modelos de mistura de especialistas (MoE), que já são usados em LLMs como Mixtral, ainda são desafiadores para quantização. Mas os primeiros resultados da equipe do MIT-IBM com SmoothQuant-ACT mostram que até eles podem ser comprimidos sem perda crítica.

Quem quer rodar LLMs em dispositivos móveis, em nuvens baratas ou em tempo real? Precisa entender quantização pós-treinamento. Não é ciência de foguetes. É engenharia prática. E já está transformando como o mundo usa inteligência artificial.