蚂蚁集团 CTO：坚决投入大模型底层基础设施，蚂蚁基础大模型已具备万卡 AI 集群

惊蛰财经 • 2023年9月10日 pm11:44 • 未分类 • 阅读 91

巴比特讯，9 月 8 日，在上海举办的外滩大会上，蚂蚁集团正式发布了金融大模型，并开源生成式 AI 编程平台 CodeFuse。蚂蚁集团首席技术官、平台技术事业群总裁何征宇介绍，蚂蚁坚决投入大模型底层基础设施，坚持走纯自研的技术路线，2022 年底正式立项大模型研发，目前已形成从基础大模型到行业大模型以及产业应用的全栈布局。

蚂蚁基础大模型平台具备万卡异构集群，其中千卡规模训练 MFU 可达到 40%，集群有效训练时长占比 90% 以上，RLHF 训练在同等模型效果下训练吞吐性能相较于业界方案提升 3.59倍，推理性能相较于业界方案提升约 2 倍，处于业界先进水平。