NVIDIA Blog· Vishal Ganeriwala·· 15 天前AI 评分52
NVIDIA 详解 DSX 平台:在固定电力预算下将 Token 吞吐提升 24%
From Megawatts to Tokens: How NVIDIA Maximizes AI Factory Production
AI 导读
NVIDIA 在 AI Infra Summit 上详细介绍了面向 AI 工厂的 DSX 架构套件,通过动态电力分配与电网需求响应提升每兆瓦的计算产出。云服务商 Lambda 在 HGX B200 服务器上的实测显示,利用 DSX MaxLPS 动态调度,集群在相同电力预算下的 Token 吞吐量提升了 24%,每瓦性能提升 23%。
来源:NVIDIA Blog · blogs.nvidia.com