LLMs autohospedados

Los modelos grandes de lenguaje (LLMs, por sus siglas en inglés) generalmente requieren una infraestructura significativa de GPU para funcionar, pero ha habido un fuerte impulso para que funcionen en un hardware más modesto. La cuantización de un modelo grande puede reducir los requisitos de memoria, permitiendo que un modelo de alta fidelidad se ejecute en un hardware menos costoso o incluso en una CPU. Esfuerzos como llama.cpp hacen posible ejecutar LLMs en hardware que incluye Raspberry Pis, ordenadores portátiles y servidores de uso general.

Muchas organizaciones están desplegando LLMs auto-hospedados. Esto se debe a menudo a preocupaciones de seguridad o privacidad, o a veces, a la necesidad de ejecutar modelos en dispositivos periféricos. Ejemplos de código abierto incluyen GPT-J, GPT-JT y Llama. Este enfoque ofrece un mejor control del modelo al ajustarlo finamente para un caso de uso específico, una mayor seguridad y privacidad, así como acceso sin conexión. Aunque hemos ayudado a algunos de nuestros clientes a auto-hospedar LLMs de código abierto para completar código, te recomendamos que evalúes cuidadosamente las capacidades organizativas y el costo de operación de tales LLMs antes de tomar la decisión de auto-hospedarlos.

Los Modelos de Lenguaje Grandes (LLMs por sus siglas en inglés) suelen necesitar una infraestructura de GPU considerable para funcionar. Empezamos a ver conversores, como llama.cpp, que permiten ejecutar estos modelos en una variedad de hardware como Raspberry Pis, ordenadores portátiles y servidores básicos. Por lo tanto, podríamos decir que el autohospedaje de Modelos de Lenguaje Grandes (LLMs) ya es una realidad. Actualmente hay algunos modelos de código abierto que pueden autohospedarse, como GPT-J, GPT-JT y LLaMA. Este método tiene varias ventajas: un mejor control de ajuste para casos de uso específicos, seguridad y privacidad mejorada, así como acceso sin conexión. Sin embargo, recomendamos evaluar con prudencia la capacidad dentro de la organización y el coste de ejecutar tales modelos antes de decidir autohospedar.