字节大模型 BuboGPT 已开源，并已发布可玩的 demo

惊蛰财经 • 2023年8月18日 pm11:33 • 未分类 • 阅读 82

据站长之家 8 月 18 日报道，字节推出了一种新大模型 BuboGPT。BuboGPT 是一种先进的大型语言模型（LLM），能够将文本、图像和音频等多模态输入进行整合，并具有将回复与视觉对象进行对接的独特能力。它展示了在对齐或未对齐的任意图像音频数据理解方面的出色对话能力。

通过文字描述、图像定位和声音定位，BuboGPT 可以准确判断声音来源，即使音频和图像之间没有直接关系，也可以合理描述两者之间的可能关系。研究人员表示，相比其他多模态大模型，BuboGPT 利用文本与其他模态之间的丰富信息和明确对应关系，提供了对视觉对象及给定模态的细粒度理解。研究人员还展示了 BuboGPT 在图像描述、声音来源识别等方面的能力，并开源了代码和数据集，发布了可玩的 demo。