苏州大学推出开源大模型 OpenBA，具备150亿参数
据品玩 9 月 22 日报道，据 Arxiv 页面显示，来自苏州大学的一个研发团队近日推出一款名为 OpenBA 的开源 seq2 seq 模型。
据悉，OpenBA 是一款具有 150 亿参数的双语非对称 seq2 seq 模型，也是首个加入中国开源模型社区的大语言模型变体。论文显示，研究者采用高效的技术以及采用三阶段的训练策略，从头开始训练了 OpenBA 模型。
实验显示，OpenBA 在 BELEBELE 基准测试中的性能优于 LLaMA-70 B，在 MMLU 基准测试中的性能优于 BLOOM-176 B，在 C-Eval（hard）基准测试中的性能优于 GLM-130 B。
本文链接：https://www.8btc.com/article/6833694
转载请注明文章出处
原创文章，作者：惊蛰财经，如若转载，请注明出处：http://www.xmlm.net/bhq/26749.html
惊蛰财经