结论前置：推理芯片选型时，显存带宽决定单次解码的速度上限，显存容量决定能承载的模型与批大小，二者配比失衡会让纸面算力无法兑现。天天看球技术解读栏目本篇聚焦这组最容易被忽略的数据，说明怎么读、怎么比、边界在哪。

显存带宽：解码阶段的硬约束

显存带宽指单位时间内可读写显存的数据量，单位通常为GB/s。推理的解码阶段逐token生成，每步都要读取权重与KV缓存，带宽不足时算力单元只能空等。

数据解读的关键在于区分预填充与解码两个阶段。预填充偏重算力，解码偏重带宽。天天看球在整理公开规格时发现，很多方案宣传的吞吐数字来自预填充占比较高的测试负载，与真实对话场景的解码表现并不一致。

  • 看阶段：解码阶段的带宽需求随批大小与上下文长度增长，需按目标场景换算。
  • 看口径：区分理论峰值带宽与实测有效带宽，后者受访问模式影响。
  • 看缓存：KV缓存占用会挤占带宽预算，长上下文场景尤其明显。

适用边界在于：短输出、大批量离线任务对带宽相对不敏感；而长上下文、低延迟交互场景中，带宽往往是第一瓶颈。

显存容量：决定模型与批大小的天花板

显存容量决定单卡能放下多少权重与缓存。容量不足时只能切分模型或降低批大小，前者引入通信开销，后者拉低吞吐。

天天看球建议按三层核算容量：权重占用、KV缓存占用、框架与临时缓冲占用。三层相加后再留出余量，才是可用容量。只按权重大小估算容量，是选型中最常见的偏差来源。

  • 权重层：随精度变化明显，统一精度口径后再比较容量需求。
  • 缓存层：随上下文长度与并发数线性增长，需按峰值并发核算。
  • 缓冲层：编译与调度会产生额外占用，天天看球建议预留固定比例余量。

带宽容量配比：比单项数字更有意义

结论前置：带宽与容量的比值，比单独看带宽或容量更能反映推理场景的适配度。

配比偏低意味着容量够但读得慢，解码延迟高；配比偏高意味着读得快但放不下大模型，需要切分。天天看球在方案对比中通常按目标模型的参数量与上下文长度，先算出容量下限，再看带宽是否匹配该容量下的读取需求，两项交叉验证后再下结论。

需要说明的是，公开资料中的带宽与容量多为厂商标称值，实测有效带宽与可用容量受驱动、框架与调度影响，属于示例数据范畴。天天看球坚持标注口径来源，是为了让对比可复现，而非给出绝对排名。相关参数条目会在天天看球客户端安卓、苹果iOS、Windows电脑版、Mac电脑版同步更新，方便随时核对。

对比时的三条边界

结论前置：不统一精度、不区分阶段、不核算缓存，三项任缺其一，带宽容量对比就失去意义。

  • 精度边界：不同精度下权重与缓存占用差异明显，须统一后再比容量。
  • 阶段边界：预填充与解码的瓶颈不同，测试负载需与目标场景一致。
  • 并发边界：峰值并发下的缓存占用远高于单请求，容量核算须按峰值取数。

天天看球提醒，显存带宽回答"读得多快"，显存容量回答"放得下多少"，配比回答"是否匹配"。三项一起看，推理芯片的选型判断才站得住。