您的当前位置:首页>要闻 > 正文

当前信息:英伟达提出AI内存全栈协同设计方案 Vera Rubin平台每GPU内存容量仅增约3% 推理吞吐量提升最高30倍

  • 2026-11-06 06:45:11 来源:财联社


(相关资料图)

【英伟达提出AI内存全栈协同设计方案 Vera Rubin平台每GPU内存容量仅增约3% 推理吞吐量提升最高30倍】财联社11月6日电,英伟达11月5日发布文章称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加GPU内存容量。 具体来看,英伟达通过NVFP4低精度格式压缩模型权重和KV Cache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多GPU分布式部署释放HBM空间。 英伟达披露,在SemiAnalysis AgentX测试中,GB300 NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍;Vera Rubin NVL72相较GB300 NVL72,单位成本推理吞吐量最高提升30倍,而单GPU HBM容量仅增加约3%。

标签: 内存 gpu 英伟达 vera 固态硬盘 rubin

推荐阅读

当前信息:英伟达提出AI内存全栈协同设计方案 Vera Rubin平台每GPU内存容量仅增约3% 推理吞吐量提升最高30倍

英伟达提出AI内存全栈协同设计方案VeraRubin平台每GPU内存容量仅增约3%

中国淀粉(03838.HK)回购1005万股股份 耗资约181.21万港元

中国淀粉(03838 HK)回购1005万股股份耗资约181 21万港元

每日头条!本赛季 火箭整体实力提升明显 乌度卡还是球队最大的短板吗

本赛季火箭整体实力提升明显乌度卡还是球队最大的短板吗,火箭,史密斯,

原生椰壳黄金炭商品报价动态(2026-11-05)

交易商品牌 产地交货地最新报价原生椰壳黄金炭碘值1100,淘金专用

PriceSeek提醒:11月5日江苏醋酸价格下调行情分析_速看料

11月5日,江苏地区醋酸价格在3975元 吨左右,价格下调100元 吨,上游甲

猜您喜欢

【版权及免责声明】凡注明"转载来源"的作品,均转载自其它媒体,转载目的在于传递更多的信息,并不代表本网赞同其观点和对其真实性负责。亚洲网倡导尊重与保护知识产权,如发现本站文章存在内容、版权或其它问题,烦请联系。 联系方式:8 86 239 5@qq.com,我们将及时沟通与处理。