Mixtral

Mixtral es parte de la familia de grandes modelos de lenguaje de pesos abiertos que Mistral ha liberado, y que utiliza la arquitectura dispersa de mezcla de expertos (Mixture of Experts). Estos modelos se ofrecen tanto en formas puras pre-entrenadas así como afinadas, con tamaños de parámetros 7B y 8x7B. Sus tamaños, naturaleza de pesos abiertos, desempeño en evaluaciones de rendimiento y una longitud de contexto de 32,000 tokens los convierten en una opción atractiva para LLMs auto hospedados.

Es importante notar que estos modelos de pesos abiertos no están afinados para ser seguros por defecto, por lo que los usuarios deben refinar la moderación según sus propios casos de uso. Tenemos experiencia con esta familia de modelos en el desarrollo de Aalap, un modelo Mistral 7B afinado y entrenado con datos relacionados a tareas legales específicas de la India, el cual ha mostrado un rendimiento satisfactorio a un costo accesible.