Technology Radar
Published : Nov 05, 2025
NOT ON THE CURRENT EDITION
This blip is not on the current edition of the Radar. If it was on one of the last few editions, it is likely that it is still relevant. If the blip is older, it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the Radar.
Understand more
Nov 2025
Assess
AutoRound de Intel es un algoritmo avanzado de cuantización diseñado para comprimir grandes modelos de IA, como LLMs y modelos de lenguaje-visual (VLMs), con una pérdida mínima de precisión. Reduce el tamaño del modelo a anchos de bit ultra bajos (2–4 bits) utilizando optimización por descenso de gradiente de signo y aplica anchos de bit mixtos entre capas para lograr una eficiencia óptima. Este proceso de cuantización también es notablemente rápido: es posible cuantizar un modelo de siete mil millones de parámetros en solo unos minutos con una única GPU. Dado que AutoRound se integra con motores de inferencia populares como vLLM y Transformers, es una opción atractiva para la cuantización de modelos.
