蚂蚁集团开源代码大模型 CodeFuse-CodeLlama-34B 4bits 量化版本

惊蛰财经 • 2023年9月28日 am12:47 • 未分类 • 阅读 139

据站长之家 9 月 27 日消息，近日，蚂蚁集团代码大模型 CodeFuse-CodeLlama-34B 4bits 量化版本发布。据悉，该模型是 CodeFuse-CodeLlama-34B 模型的 4bits 量化版本，后者是通过 QLoRA 对基座模型 CodeLlama-34b-Python 进行多代码任务微调而得到的代码大模型，模型输入长度为 4K。

经 4bits 量化后，CodeFuse-CodeLlama-34B-4bits 可用单张 A10（24 GB 显存）或者 RTX4090 (24 GB 显存）加载，同时，量化后的模型在 Humaneval pass@1 指标上仍取得了 73.8% 的表现。