英伟达称最新开源软件 TensorRT-LLM 可基本解决目前发展大模型的几大挑战

惊蛰财经 • 2023年9月14日 pm11:53 • 未分类 • 阅读 127

据《科创板日报》9 月 14 日报道，在 2023 全球 AI 芯片峰会上，NVIDIA 解决方案与架构技术总监张瑞华介绍了 NVIDIA 最新推出的开源软件 TensorRT-LLM，她表示 TensorRT-LLM 可基本解决目前模型发展速度快、更新频繁、用户数量大等挑战，并且该软件支持 GPU 多节点，编程简单，与 Triton 相结合可降低多用户延迟问题，从而充分利用 GPU 并降低成本。

针对大模型的训练，NVIDIA 还提出了 NeMo Framework，这是一套端到端且具有云原生的训练框架，用于建构、定制和部署生成式 AI 模型，基本覆盖了大模型训练的全生命周期。为了防止大模型的胡言乱语，NVIDIA 还提供了一个安全护栏功能（Guardrails），来帮助大模型更好的泛化知识。张瑞华认为，AI 模型具有巨大的用户空间，未来不仅存在于研究所，可能会成为每个人手机或电脑上的应用。