AI显存太贵不够用？英伟达全栈设计破解内存瓶颈

01.AI内存墙为何越来越难突破

大模型里面的参数一直在膨胀, 上下文长度已经突破了百万级别的token数量, 智能体在进行多轮调用的同时, 还叠加了RAG检索这种技术, 这些情况加在一起, 就使得HBM需要同时承担模型权重以及KV缓存这两方面的负载, 导致单张卡片的压力成倍增长。

根据SemiAnalysis AgentX基准数据来看, 部分智能体场景在单次请求的时候, 需要处理多达300万token的内容, 企业RAG系统还会把内部资料塞入提示词, 这进一步挤占本已紧张的显存空间。

02.全栈协同设计核心理念

英伟达把GPU、CPU、网络、存储还有软件, 都当成一个整体进行协同设计。它的核心理念是, 要让每一字节都在AI工厂的各个层级中产生更高的价值, 而不是去单纯地堆叠HBM的容量。

在官方的表述里, 是把HBM当作仓库来用, 同时把内存带宽比作装卸货物的口, 他们强调说, 即便容量变得再大, 如果数据的吞吐速度跟不上步伐的话, 还是照样会形成所谓的内存墙问题, 所以必须要去做的事情就是把数据进行压缩处理, 然后采用分层放置的方法, 并且还得提前把这些数据调度回GPU里去。

03.四层技术栈具体怎么落地

NVL72系统最多能够使用72颗GPU来分担权重, 并且使用了NVFP4这种低精度格式对权重以及KV缓存进行压缩。Vera CPU拥有大容量的LPDDR存储器, 它为暂停上下文的工作提供了缓冲。Dynamo软件能够将那些不活跃的上下文迁移到CMX存储中。

RAG索引被保存在CPU以及存储这一侧, 这样就避免了长期地去占用HBM。整套方案是通过压缩、分散、缓冲以及迁移这四个步骤, 把显存从那个单一的瓶颈改变为分层调度的节点。

04.实测数据看每美元算力跃升

英伟达引用了SemiAnalysis的基准测试数据, 在每用户每秒处理一百二十五个令牌的情况下, Vera Rubin NVL72相比GB300 NVL72, 其每美元的智能体吞吐量最高可以提升三十倍, 而实际上每个图形处理器的HBM容量仅仅增加了大约百分之三。

在每用户每秒100 token 这种使用条件下面, 比较 GB300 NVL72 和 H200 这两个平台的情况, 可以看到 GB300 NVL72 的每美元吞吐量最多可以提升到 H200 平台的整整十倍之多。

这一情况有力地说明了, 目前这个行业当中竞争的关键重点, 已经转移到了另外一方面去了。具体来说, 竞争的焦点不再是单纯看显存容量到底大不大或者多多少, 而是必须来看清楚, 在单位字节和单位瓦特的能效比之下, 系统实际上能够为终端用户产出多少数量的有效 token。

05.HBM供应紧张格局短期难改

有关专家说了, 现在的高带宽内存这个生产力量, 都在这三个企业手里, 分别是SK海力士、三星和美光, 想要把产能加上去, 得花十八到二十四个月的时间, 在二〇二六年的下半年之前, 需求比产量多的那个缺口, 还会一直存在, 而且价格的平均线大概也会保持在比较高的水平上。

大家现在把英伟达这次搞出来的全套技术方案, 当成是能够真正减少对单颗HBM内存那种过度依赖的很实在的做法, 但是这招能不能在根本上就把那些让人头疼的高成本问题给压下去, 到底行不行, 还得等那个叫Vera Rubin的产品真正大量卖到市场上去了以后, 再看看实际的市场反应才能知道, 至于更多的行业内各种具体数据, 大家可以去www.xtzdxmgj.cn这个网站上面慢慢翻着看。

你所在团队目前受显存瓶颈影响最大的环节, 究竟是属于推理, 还是属于训练呢? 欢迎你在评论区聊聊你的判断。如果觉得这些信息对你有用, 请点赞, 并转发给同行。