Technology Radar
Published : Oct 23, 2024
NOT ON THE CURRENT EDITION
This blip is not on the current edition of the Radar. If it was on one of the last few editions, it is likely that it is still relevant. If the blip is older, it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the Radar.
Understand more
Oct 2024
Assess
大语言模型（LLMs）在当前吸引了如此多的关注，以至于我们往往忽略了大型视觉模型（LVMs）的持续发展。这些模型可用于分割、合成、重建和分析视频流和图像，有时还结合了扩散模型或标准卷积神经网络。尽管 LVMs 有潜力彻底改变我们处理视觉数据的方式，但在生产环境中适应和应用这些模型仍面临重大挑战。例如，视频数据在收集训练数据、分割和标注对象、微调模型以及部署和监控这些模型时，带来了独特的工程挑战。与 LLMs 更适合简单的聊天界面或纯文本 API 不同，计算机视觉工程师或数据科学家必须管理、版本化、注释和分析大量的视频流数据，这项工作需要一个可视化界面。大型视觉模型(LVM)平台是新兴的一类工具和服务，其中包括 V7、 Nvidia Deepstream SDK 和 Roboflow，这些平台正在解决这些挑战。Deepstream 和 Roboflow 对我们特别有吸引力，因为它们结合了用于管理和标注视频流的集成 GUI 开发环境，同时提供了 Python、C++或 REST API 以便从应用代码中调用模型。
