Da proposta à execução: quantização e viabilidade dos agentes locais de Inteligência Artificial (IA)

Autor: Cap Dimitrio
Sexta, 13 Novembro 2026
Compartilhar

Como adequar modelos de linguagem ao hardware disponível sem abrir mão do desempenho desejado

Em artigo anterior, defendeu-se o emprego controlado de agentes locais de IA para preservar a memória institucional durante as mudanças de função nas Organizações Militares (DIMITRIO, 2026). Nesse contexto, sabe-se que documentos da OM, fontes oficiais e supervisão humana poderiam transformar acervos dispersos em apoio contínuo à decisão. Entretanto, entre reconhecer essa utilização e colocá-la em prática existe uma barreira material: os modelos de linguagem mais capazes exigem memória de hardware e processamento nem sempre disponíveis nos computadores de uso corrente na OM.

Essa limitação não torna inviável a IA local. Exige abandonar a ideia de que o melhor agente será necessariamente, aquele que utilizar a maior quantidade de parâmetros. Em uma Seção da OM, a solução adequada deve combinar desempenho proporcional, consumo de memória compatível com a infraestrutura, proteção dos dados e respostas verificáveis. Nesse ponto, a quantização deixa de ser um detalhe técnico e se torna um instrumento de viabilidade.

O peso computacional dos modelos

Um modelo de linguagem é formado por bilhões de parâmetros (valores numéricos que são ajustados durante o treinamento e utilizados para produzir cada resposta). Armazenado em 16 bits, por exemplo, um modelo de 08 (oito) bilhões de parâmetros necessita, aproximadamente, de 16 gigabytes apenas para os pesos. Somando-se a isso, ainda deverá contar com memória para rodar o sistema operacional (SO), o programa em si e a memória destinada ao contexto. Por isso, modelos aparentemente mais modestos quanto aos parâmetros pode extrapolar facilmente a capacidade de estações administrativas comuns encontradas nas OM, ou depender de placas gráficas de elevado custo.


 

Quantizar para tornar factível

A quantização reduz a precisão numérica empregada na representação dos parâmetros. Em vez de conservar cada peso em 16 bits, pode-se representá-lo com 08 (oito), 05 (cinco) ou até mesmo 04 (quatro) bits. No exemplo anterior, os pesos de um modelo de 08 (oito) bilhões de parâmetros passam de aproximadamente 16 (dezesseis) para 04 (quatro) gigabytes quando convertidos para 04 (quatro) bits, embora a execução real ainda demande memória adicional. O número de parâmetros permanece o mesmo, porém altera-se a forma de armazená-los e processá-los.

Métodos como Generalized Post-Training Quantization (GPTQ) e Activation-Aeare Weight Quantization (AWQ) demonstram que modelos extensos podem ser comprimidos para 03 (três) ou 04 (quatro) bits com perdas limitadas em determinadas tarefas (FRANTAR et al., 2022; LIN et al., 2023). Todavia, a redução não é uniforme. Estudos com os modelos Qwen2.5-Coder e CodeLlama encontraram diferenças relevantes entre técnicas e níveis de complexidade das solicitações (AFRIN; HAQUE; MASTROPAOLO, 2026). Portanto, as quantizações em Q4, Q5 e Q8 não são selos de qualidade: representam equilíbrios distintos entre memória, velocidade e fidelidade, que precisam ser medidos por cada gestor local.
 

Modelos adequados à missão documental

Algumas famílias de agentes (open source) oferecem pontos de partida concretos. O Qwen3-8B por exemplo, possui versões que englobam vários formatos de empacotamento chamados de Generated Unified Format (GGUF), empregados por ferramentas de execução local, com quantizações Q4 a Q8, suporte ao português e contexto extenso (QWEN TEAM, 2025). O Granite 3.3-8B-Instruct dispõe de variantes quantizadas e foi direcionado à sumarização, extração, perguntas e respostas e geração aumentada por recuperação, inclusive em português (IBM, 2025). Para documentos que combinem texto e imagem, o Gemma 3-12B-Instruct possui uma versão oficial Q4,suporte multimodal e contexto amplo (GOOGLE DEEPMIND, 2025). Entretanto, todos esses modelos são candidatos a testes, não escolhas definitivas ou recomendações de aquisição.

Em linhas gerais, modelos de 07 (sete) a 08 (oito) milhões de parâmetros em 04 (quatro) bits podem iniciar testes em computadores com 16 (dezesseis) gigabytes de memória, com texto moderado e menor velocidade quando executados apenas na unidade central de processamento. Estações com 32 (trinta e dois) gigabytes ampliam a margem para modelos de 12 (doze) a 14 (quatorze) bilhões. Como usuários simultâneos, contexto e velocidade da memória alteram o resultado, nenhuma configuração deve ser inserida sem medição local.

O modelo não trabalha sozinho

A análise documental também não deve depender de inserir todo o acervo na janela de contexto, tendo em vista que uma arquitetura de geração aumentada por recuperação, conhecida pela sigla RAG (Retrieval-Augmented Generation), indexa a base autorizada, localiza os trechos relacionados à pergunta e entrega ao modelo somente as evidências pertinentes (LEWIS et al., 2020). A quantização reduz o espaço ocupado pelo modelo, já a recuperação reduz a quantidade de informação processada em cada consulta. Combinadas, essas duas técnicas permitem construir um agente menor, atualizado e capaz de indicar a origem da resposta, em vez de tentar memorizar indiscriminadamente o conteúdo carregado pelos agentes da OM.


 

Da limitação de hardware à capacidade de governança

Nesse contexto, sugere-se a adoção de um projeto-piloto, com documentos selecionados especialmente para esse fim, perguntas padronizadas e duas ou três configurações quantizadas. Neste sentido, deve-se medir a correção das citações, a fidelidade ao documento, o reconhecimento da ausência de resposta, o tempo, a memória consumida e a redução do trabalho de pesquisa. Além disso, perfis de acessos, registros e validação humana devem ser indispensáveis para a validação do projeto em si.

Sendo assim, a pergunta mais útil à OM que desejar implantar este projeto-piloto, não é qual o modelo com mais ou menos parâmetros, mas sim qual o menor modelo capaz de atender com precisão mensurável, às necessidades de cada Organização Militar. Ademais, a quantização permite buscar essa resposta com os meios já existentes, sem a necessidade de aguardar servidores novos de grande porte, ou renunciar à evolução para soluções corporativas. Dessa forma, pode-se dizer que o se o primeiro passo for reconhecer que um agente de IA Local pode preservar o conhecimento (memória) de uma determinada OM, o segundo passo seria implantá-la, fazê-la caber dentro dos hardwares disponíveis, ativá-la e avaliá-la quanto a sua performance dentro da infraestrutura local.

Por conseguinte, infere-se que a utilização de um agente de IA local adequado somado à supervisão humana pode ser o caminho do Exército Brasileiro rumo a um novo patamar na governança na gestão documental.


 

Referências

AFRIN, Saima; HAQUE, Md. Zahidul; MASTROPAOLO, Antonio. Quantize with Confidence? An Empirical Study of Quantization for Code Generation. arXiv:2607.14181, 2026. Disponível em: https://arxiv.org/abs/2607.14181. Acesso em: 18 ago. 2026.

BRASIL. Exército Brasileiro. Estado-Maior do Exército. Portaria - EME/C Ex nº 1.318, de 14 de maio de 2024. Aprova a Diretriz Estratégica de Inteligência Artificial para o Exército Brasileiro (EB20-D-02.031). Brasília, DF: EME, 2024.

DIMITRIO, Arthur. Agentes locais de inteligência artificial e a continuidade da governança nas Organizações Militares. Manuscrito, 2026.

FRANTAR, Elias et al. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. arXiv:2210.17323, 2022. Disponível em: https://arxiv.org/abs/2210.17323. Acesso em: 20 ago. 2026.

GOOGLE DEEPMIND. Gemma 3 model card. 2025. Disponível em: https://ai.google.dev/gemma/docs/core/model_card_3. Acesso em: 18 ago. 2026.

IBM. Granite 3.3-8B-Instruct model card. 2025. Disponível em: https://huggingface.co/ibm-granite/granite-3.3-8b-instruct. Acesso em: 16 ago. 2026.

LEWIS, Patrick et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems, v. 33, 2020. Disponível em: https://arxiv.org/abs/2005.11401. Acesso em: 17 ago. 2026.

LIN, Ji et al. AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration. arXiv:2306.00978, 2023. Disponível em: https://arxiv.org/abs/2306.00978. Acesso em: 22 ago. 2026.

QWEN TEAM. Qwen3: Think Deeper, Act Faster. 2025. Disponível em: https://qwenlm.github.io/blog/qwen3/. Acesso em: 23 ago. 2026.

Comentarios

Comentarios

Luokitusnavigaatio

Artigos Relacionados