HBM容量只增3%，「每美元吞吐」却敢提30倍：英伟达摊开内存墙答卷

官方给出的新口径

11月5日，英伟达发布公司博客，详解其AI内存全栈协同设计策略。开篇的判断相当少见：随着大模型参数规模、上下文长度和智能体（Agent）应用持续扩张，AI基础设施的内存压力正在加剧，单纯增加GPU内存容量已不足以解决问题。数据也配合了这个判断——从Blackwell Ultra到Vera Rubin平台，单颗GPU的HBM容量仅增加约3%，但特定智能体工作负载下的每美元吞吐量，最高提升30倍。

「省」出来的四张牌

这30倍不是魔法，来自四张牌：模型权重量化，把静态开销先砍一刀；KV Cache压缩与分层存储，把长上下文的动态开销从HBM挪到更便宜的层级；检索数据优化，让智能体反复外置查询的那部分流量变便宜；以及GPU、CPU、网络、存储与软件的协同设计——本质是承认「搬数据」正在取代「算数据」成为成本大头。值得注意的是，这套说法第一次把「检索」写进内存叙事：智能体反复调用的外挂知识与上下文缓存，正在从应用层概念变成基础设施的成本项——过去挂在业务侧的向量库与缓存集群，从此要计入机房采购的同一张表。

托管与租赁侧的三问

第一问：租算力时，问清楚计价口径是卡时还是Token吞吐——2万P家底与算力券的谈判桌上，后者才对得上这套叙事。第二问：看内存层级而不只看容量，显存带宽与分层策略决定智能体负载的真实成本，涨价的64GB内存则决定主机侧的采购底线。第三问：别把发布会数字直接乘进自家业务——30倍的前提是「特定智能体工作负载」，通用推理业务先按自己的KV命中率与检索频率重算；把这条曲线放进高盛上修的273GW容量表里看：推理与智能体占比抬得越快，内存带宽与分层策略会比容量更早售罄。

行业叙事的一小步

芯片商、云商、模型商最近半年口径罕见一致：瓶颈在内存、成本在搬运。这句话对机房生意的影响是长期的——训练时代的「堆卡」逻辑，正在被推理与智能体时代的「堆带宽、堆层级」逻辑悄悄替换。所以这篇博客真正的作用，是给「30倍」定了计价单位：不是每张卡更猛，而是每美元少搬数据。下一次机房比价，记得把内存带宽、分层策略与检索命中率一起问进报价单——它们和显存容量一样，正在变成算力生意的标价牌。