BuboGPT | 字节大模型

字节跳动推出了一种新的大型语言模型（LLM），名为 BuboGPT。BuboGPT 是一种先进的多模态模型，能够整合文本、图像和音频等多种输入形式，并具备将回复与视觉对象精准对接的独特能力，展现出在对齐或未对齐的任意图像和音频数据理解方面的卓越对话能力。

通过文字描述、图像定位以及声音定位，BuboGPT 可以精确判断声音来源，即便音频和图像之间不存在直接联系，也能合理描述它们之间的潜在关系。

相较于其他多模态大模型，BuboGPT 借助文本与其他模态间的丰富信息和明确对应关系，实现了对视觉对象及给定模态的细粒度理解。

为实现多模态理解，BuboGPT 构建了一个共享的语义空间，并设计了一个视觉定位流程，包括标记模块、定位模块和实体匹配模块。

借助语言作为桥梁，BuboGPT 将视觉对象与其他模态连接起来。研究团队还展示了 BuboGPT 在图像描述、声音来源识别等方面的能力，并开源了相关代码和数据集，同时发布了可互动的演示版。

BuboGPT 的核心功能包括：

• 多模态理解：BuboGPT 实现了文本、视觉和音频的联合多模态理解和对话功能。
• 视觉对接：BuboGPT 能够将文本与图像中的具体部分进行精准关联，实现细粒度的视觉对接。
• 音频理解：BuboGPT 能够准确描述音频片段中的各个声音部分，甚至包括人类难以察觉的短暂音频。
• 对齐和非对齐理解：BuboGPT 能够处理匹配的音频-图像对，实现完美的对齐理解，并且可以对任意音频-图像对提供高质量的响应。