Publicado : Nov 05, 2025
NÃO ENTROU NA EDIÇÃO ATUAL
Este blip não está na edição atual do Radar. Se esteve em uma das últimas edições, é provável que ainda seja relevante. Se o blip for mais antigo, pode não ser mais relevante e nossa avaliação pode ser diferente hoje. Infelizmente, não conseguimos revisar continuamente todos os blips de edições anteriores do Radar.
Saiba mais
Nov 2025
Avalie
O AutoRound da Intel é um algoritmo de quantização avançado para compressão de grandes modelos de IA, como LLMs e modelos de linguagem e visão (VLMs), com perda mínima de acurácia. Ele reduz o tamanho do modelo para larguras de bit ultrabaixas (2–4 bits) usando otimização por gradiente descendente de sinal e aplica larguras de bit mistas entre as camadas para uma eficiência ótima. Esse processo de quantização também é notavelmente rápido: você pode quantizar um modelo de 7 bilhões de parâmetros em apenas alguns minutos em uma única GPU. Como o AutoRound se integra com motores de inferência populares, como o vLLM e o Transformers, ele é uma opção atraente para a quantização de modelos.
