Ollama

Ollama é uma ferramenta código aberto para executar e gerenciar modelos de linguagem de grande porte (LLMs) na sua máquina local. Anteriormente, discutimos os benefícios dos LLMs auto-hospedados, e é animador ver o ecossistema amadurecer com ferramentas como o Ollama. Ele suporta diversos modelos populares — incluindo LLaMA-2, CodeLLaMA, Falcon e Mistral — que você pode baixar e executar localmente. Uma vez baixado, é possível interagir com o modelo e executar tarefas através da CLI, API ou SDK. Estamos avaliando o Ollama e observando sucessos iniciais, pois ele melhora a experiência das pessoas desenvolvedoras ao trabalhar com LLMs localmente.