北京交通大学等机构推出多模态大模型 MMICL，支持文本图像视频输入

惊蛰财经 • 2023年9月20日 am12:50 • 未分类 • 阅读 106

据站长之家 9 月 19 日报道，北京交通大学等机构近日联合推出了新多模态大模型 MMICL。它支持文本、图像、视频三种模态的混合输入。

据悉，MMICL 在 MMBench 和 MME 两项多模态测评中均获得不俗的成绩，它采用 Flan-T5 XXL 作为基础模型，通过两阶段训练完成。第一阶段是预训练，使用大规模数据集；第二阶段是多模态上下文微调，使用自建包含丰富多模态样本的 MIC 数据集。这种训练方式让 MMICL 既具备强大的语义理解能力，又特别适合处理复杂的多模态输入。目前，MMICL 已开源两个版本，分别基于 FlanT5XL 和 Vicuna 模型，可满足商用和科研需求。