Kaiyun - 中国官方版权服务网站

　　MLPerf是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台，它由图灵奖得主大卫帕特森联合谷歌、开云中国 Kaiyun中国官方网站斯坦福、哈佛大学等顶尖企业和学术机构成立，是权威性最大、影响力最广的国际AI性能基准测试。

　　最新更新的MLPerf 添加了Llama 3.1 405B，这是最大和最难以运行的开放权重模型之一。

　　NVIDIA表示，虽然许多公司在其硬件上运行MLPerf基准测试以衡量性能，但只有NVIDIA及其合作伙伴提交并发布了Llama 3.1 405B基准测试的结果。

　　据介绍，在生产环境中，推理部署通常受到两个关键指标的延迟限制：首次响应时间（TTFT）和每个输出令牌的时间（TPOT）。

　　在这一测试中，NVIDIA使用8个Blackwell GPU的DGX B200系统，性能比使用8个H200 GPU的系统高出三倍，为这一更具挑战性的Llama 2 70B基准测试设定了新的高标准。