Enable javascript in your browser for better experience. Need to know to enable it? Go here.
Publicado : Apr 26, 2023
Apr 2023
Avalie ? Vale a pena explorar com o objetivo de compreender como isso afetará sua empresa.

Grandes Modelos de Linguagem (LLMs) geralmente requerem infraestrutura de GPU significativa para operar. Agora estamos começando a ver ferramentas para outras plataformas, como o llama.cpp, que possibilitam a execução de LLMs em plataformas de hardware diferentes – incluindo Raspberry Pis, laptops e servidores comuns. Assim, os LLMs auto-hospedados agora são uma realidade. Atualmente, há vários LLMs de código aberto como o GPT-J, o GPT-JT e o LLaMA que podem ser auto-hospedados. Essa abordagem traz vários benefícios, como melhor controle no ajuste fino para o caso de uso específico, segurança e privacidade aprimoradas, bem como, obviamente, acesso offline. No entanto, você deve avaliar cuidadosamente os recursos dentro da organização e o custo de rodar tais LLMs antes de decidir auto-hospedar.

Baixar o Technology Radar Volume 28

English | Español | Português | 中文

Mantenha-se por dentro das tendências de tecnologia

 

Seja assinante

Visite nosso arquivo para acessar os volumes anteriores