Meta 发布全新大型语言模型 LLaMA

2 月 27 日消息,Facebook 母公司 Meta 近日发布全新人工智能大型语言模型 LLaMA。LLaMA 模型由 Meta 的 FAIR 团队开发,旨在帮助研究人员和工程师探索人工智能应用和相关功能,在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面“有很大的前景”。

LLaMA 模型接受了 20 种语言训练,包括拉丁语和西里尔字母语言,所需的计算能力远低于之前推出的大模型。另根据 Meta 官网发布的论文,LLaMA 目前包含 70 亿、130 亿、330 亿和 650 亿这 4 种参数规模的模型。其中,参数规模最小的 LLaMA 7 B 也经过了超 1 万亿个 tokens 的训练。Meta 表示,在大多数基准测试中,参数仅为十分之一的 LLaMA-13 B 的性能优于 OpenAI 推出的 GPT3 (175 B),也即支持 ChatGPT 的 GPT3.5 的前身。LLaMA-65 B 也可与业内领先的 Chinchilla-70 B 和 PaLM-540 B 竞争。

Meta 发言人表示,LLaMA 目前尚未被应用在 Meta 的任何产品之中。Meta 计划将这项技术优先开放给 AI 研究人员。

本文链接:https://www.8btc.com/article/6806222
转载请注明文章出处

原创文章,作者:惊蛰财经,如若转载,请注明出处:http://www.xmlm.net/bhq/22599.html

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注