微软发布 13 亿参数小模型 phi-1.5：AGIEval 跑分优于 70 亿参数的 Meta Llama2

惊蛰财经 • 2023年9月12日 pm11:38 • 未分类 • 阅读 79

据 IT 之家 9 月 12 日报道，微软研究院昨日发布了名为 phi-1.5 的全新预训练语言模型，共有 13 亿个参数，适用于 QA 问答、聊天格式和代码等等场景。phi-1.5 采用来自 Stack Overflow 平台关于 Python 板块的 Q&A 内容、code_contests 中的竞争代码、合成 Python 教科书，gpt-3.5-turbo-0301 生成等各种数据集，此外还包括各种 NLP 合成文本组成的新数据源。

微软表示在测试常识、语言理解和逻辑推理的基准下，phi-1.5 的表现超出了大部分参数低于 100 万的模型。phi-1.5 在 AGIEval 得分上超过了拥有 70 亿参数、来自 Meta 的 llama-2；在带 LM-Eval Harness 的 GPT4 AL 跑分套件中，可以媲美 70 亿参数的 llama-2。