Grandes Modelos de Linguagem (LLMs) geralmente requerem infraestrutura de GPU significativa para operar. Agora estamos começando a ver ferramentas para outras plataformas, como o llama.cpp, que possibilitam a execução de LLMs em plataformas de hardware diferentes – incluindo Raspberry Pis, laptops e servidores comuns. Assim, os LLMs auto-hospedados agora são uma realidade. Atualmente, há vários LLMs de código aberto como o GPT-J, o GPT-JT e o LLaMA que podem ser auto-hospedados. Essa abordagem traz vários benefícios, como melhor controle no ajuste fino para o caso de uso específico, segurança e privacidade aprimoradas, bem como, obviamente, acesso offline. No entanto, você deve avaliar cuidadosamente os recursos dentro da organização e o custo de rodar tais LLMs antes de decidir auto-hospedar.
