结论前置：推理场景的瓶颈常落在带宽而不是峰值算力

对多数推理任务而言，芯片标称的峰值算力往往不是决定吞吐的第一变量。搜球吧技术解读栏目梳理公开规格书后得到一个可复用的判断：当模型参数规模超过片上缓存容量，权重需要反复从外部显存读取，此时显存带宽与容量共同构成天花板。搜球吧在整理资料时发现，同一档算力下，带宽翻倍带来的吞吐提升常常比算力提升更明显。这个结论不依赖任何未公开数据，读者可用厂商公开规格书自行验证。

需要说明的是，本文引用的比例关系均为公开资料中的典型区间，具体数值以各厂商规格书为准。搜球吧提醒读者，脱离模型结构谈带宽没有意义，下面按三个维度拆开看。

维度一：带宽与容量的配比决定能否装下模型

先看容量。模型权重、激活值、KV缓存三者叠加，决定了单卡能否容纳一次推理。搜球吧在整理公开资料时采用一个简单估算：参数量乘以每参数字节数，得到权重占用下限。若显存容量不足，就需要多卡切分，切分又引入卡间通信开销，实际吞吐反而下降。

再看带宽。权重装得下不等于跑得快，每生成一个token都要把相关权重读一遍，带宽不足时计算单元会空转。搜球吧建议读者用「带宽除以每token读取字节数」估算理论上限，再与厂商公开的实测吞吐对照，差距过大说明瓶颈在别处。

  • 容量判断：权重加KV缓存是否能在单卡或单节点内放下。
  • 带宽判断：每token读取字节数与带宽的比值是否接近实测吞吐。
  • 配比判断：容量富余而带宽紧张时，优先看显存类型与位宽。

维度二：能效比把带宽问题换算成电费问题

数据中心关注的不只是速度，还有每token的能耗。搜球吧在梳理公开白皮书时注意到，显存访问的能耗通常高于片上计算，带宽越紧张，单位token的访存次数越多，能效越差。这意味着带宽不足会以电费形式体现在运营成本里。

读者可用一个粗略框架自测：先估算每token的访存字节数，再乘以单位字节的访问能耗系数，得到访存能耗占比。若占比明显高于计算能耗，说明该方案在能效上不占优。搜球吧强调，系数取自公开文献的典型区间，具体项目仍需实测。

这也解释了为何端侧与云端的选择逻辑不同：端侧更在意容量与功耗的平衡，云端更在意带宽与并发的匹配。搜球吧在后续的技术解读中会继续拆解端侧场景的取舍。

维度三：用公开数据建立自己的对照表

判断框架要落地，需要一张可维护的对照表。搜球吧建议读者按以下字段整理公开规格：显存类型、容量、位宽、带宽、典型功耗、公开吞吐。字段全部来自厂商规格书或行业组织白皮书，不涉及任何未公开信息。

  • 显存类型与位宽：决定带宽上限的硬件基础。
  • 容量与切分策略：决定是否需要多卡，进而影响通信开销。
  • 公开吞吐与功耗：用于计算每token能耗，横向对比。
  • 软件栈成熟度：同样的带宽，编译器优化程度不同，实测差距可观。

搜球吧在整理这些字段时坚持标注来源，读者可在本站客户端安卓、苹果iOS、Windows电脑版、Mac电脑版上同步查看对照表模板。建立对照表的好处是把「感觉快」变成「可比较」，避免被单一峰值数字带偏。

最后回到结论：推理芯片的选型应先问模型能否装下，再问带宽是否匹配，最后看能效与软件栈。搜球吧技术解读栏目会持续用公开资料拆解这类问题，帮助读者建立自己的判断框架，而不是记住某个孤立的数字。