港中大联手多家研究机构，推出三维多模态模型 Point-Bind

惊蛰财经 • 2023年9月6日 am12:15 • 未分类 • 阅读 126

据品玩 9 月 5 日报道，香港中文大学近日联手上海 AI 实验室以及华中科技大学推出了一款三位多模态模型 Point-Bind。据研究团队表示，Point-Bind 将点云与二维图像、语言、音频和视频对齐。在 ImageBind 的指导下，研究团队在三维和多模态之间构建了一个联合嵌入空间，实现了许多有前景的应用，例如任意到三维生成、三维嵌入运算和三维开放世界理解。

在此基础上，研究团队还推出了首个遵循三维多模态指令的三维大语言模型 Point-LLM。通过有效的参数微调技术，Point-LLM 将 Point-Bind 的语义注入预训练的 LLM，使其不需要三维指令数据，就能获得卓越的三维和多模态问题解答能力。