Enable javascript in your browser for better experience. Need to know to enable it? Go here.
radar blip
radar blip

自托管式大型语言模型

发布于 : Apr 26, 2023
Apr 2023
评估 ? 在了解它将对你的企业产生什么影响的前提下值得探索

大型语言模型通常会运行在具有强大的 GPU 的基础设施上。我们如今可以看到一些大型语言模型的移植版本,比如 llama.cpp,这些模型能在不同的硬件上运行,包括 Raspberry Pi(树莓派)、笔记本电脑和通用服务器等。因此 自托管式大型语言模型 已经成为现实。目前,有许多开源的自托管式大型语言模型,如 GPT-JGPT-JTLLaMA。自托管这种方式有许多好处,比如可以更好地控制模型在一些特定使用场景的微调、提高安全性和隐私性,以及支持离线访问。不过在决定使用自托管这种方式之前,您应该仔细评估组织的能力和运行此类大型语言模型需要消耗的成本。

下载第28期技术雷达

English | Español | Português | 中文

获取最新技术洞见

 

立即订阅

查看存档并阅读往期内容