Los Modelos de Lenguaje Grandes (LLMs por sus siglas en inglés) suelen necesitar una infraestructura de GPU considerable para funcionar. Empezamos a ver conversores, como llama.cpp, que permiten ejecutar estos modelos en una variedad de hardware como Raspberry Pis, ordenadores portátiles y servidores básicos. Por lo tanto, podríamos decir que el autohospedaje de Modelos de Lenguaje Grandes (LLMs) ya es una realidad. Actualmente hay algunos modelos de código abierto que pueden autohospedarse, como GPT-J, GPT-JT y LLaMA. Este método tiene varias ventajas: un mejor control de ajuste para casos de uso específicos, seguridad y privacidad mejorada, así como acceso sin conexión. Sin embargo, recomendamos evaluar con prudencia la capacidad dentro de la organización y el coste de ejecutar tales modelos antes de decidir autohospedar.
