能效对比：AI 工作负载中的 CPU 与 GPU

先说结论：对于训练和大批量推理，GPU 通常更省能；而对于小模型、批处理大小为 1 以及突发流量，CPU 反而更省能。 如果你只盯着峰值瓦数，就容易抓不住重点。真正重要的是完成每个任务所消耗的能量。

如果要把这篇文章浓缩成你首先需要掌握的核心 AI 成本要点，我会这样总结：

• 训练： GPU 通常胜出，因为它能让并行计算持续保持繁忙。

• 推理： 当请求逐个到达时，CPU 可能是更合适的选择。

• 视频 AI： 瓶颈往往是解码和预处理，而不是模型本身。

• 空闲功耗很重要： 在约 $0.22/kWh 的电价下，一个处于空闲状态的系统仍会带来成本。

• 利用率改变一切： 一个在等待 CPU 的 GPU 会迅速浪费功率。

几个数字能把这一点说清楚：

• 在一组测试中，GPU 功耗根据用途从 33 W 变化到 199 W。

• 在同样的场景下，CPU 功耗则始终保持在 12 W 到 14 W 附近。

• 一颗 ARM Cortex-A78AE 以 102 ms 跑完 ResNet50v1.5，仅消耗 2.58 J。

• 一套搭载 RTX 4060 Ti 的 GPU 系统空闲时为 41 W，而 Mac mini M4 空闲时仅为 7.8 W。

• 在一项视觉测试中，一颗 A100 用了 46.7 kJ，而纯 CPU 的 Xeon 节点用了 213.5 kJ。

CPU 对比 GPU | 为什么 AI 数据中心用 GPU 而不是 CPU

快速对比

所以如果你在选硬件，我会保持简单：让芯片匹配流量模式、批处理大小和完整管线——而不仅仅是模型本身。 这就是本文的核心要点。

AI 系统中 CPU 与 GPU 的功耗特征

那些基准测试数字揭示了每种处理器实际在哪里消耗功率。CPU 和 GPU 消耗瓦数的方式并不相同，而 AI 任务可能会根据工作发生的位置严重偏向其中一方。GPU 通过流式多处理器处理并行任务，而 CPU 功耗往往随核心负载而变化。这就是为什么同样的工作负载会在每种芯片上导致差异很大的功耗 ^[6]。

架构如何影响瓦数、利用率和吞吐

这里的关键因素是利用率。

在以 GPU 为主的工作负载中，GPU 功耗会根据 SM 利用率从 33 W 跳到 199 W，而 CPU 功耗则稳定得多，保持在 12 W 到 14 W 附近 ^[6]。这种差距有助于解释为什么 GPU 利用率的变化会导致同一任务的能耗出现 3–5 倍的差异 ^[8]。

在推理过程中你会看到类似的分化。计算密集型阶段往往能从更高的 GPU 频率中获益。内存密集型阶段则不同：把频率推高作用不大。在这些阶段，降低频率可以在几乎不影响延迟的情况下削减能耗 ^[7]。

AI 运行期间系统功率去了哪里

在以 GPU 为主的工作负载中，GPU 通常是系统功耗的主要来源。除非数据加载管线变成瓶颈，否则 CPU 功耗往往保持相当平稳。当 CPU 无法足够快地把预处理好的数据喂给 GPU 时，SM 利用率就会下降。而即便 GPU 仍在耗电，这也会损害能效 ^[6]。

相比之下，DRAM 占用相对于处理器利用率而言，只占系统总功率的一小部分 ^[6]。

下表汇总了这些研究中报告的实测范围和利用率敏感度 ^[6][7]：

在视频 AI 管线中，这种分化常常在 CPU 预处理和 GPU 模型执行之间来回切换。这在视频工作流中最为关键，因为预处理和推理会把瓶颈从 CPU 转移到 GPU，或反过来。

研究发现：CPU 或 GPU 在何时能效更高

基准测试表明，CPU 和 GPU 之间的差距会根据任务而变化。训练、推理、批处理大小和硬件使用情况都很重要。在视频管线中，这种转变更加突出，因为帧的移动和预处理可能成为主要瓶颈。

训练工作负载：GPU 通常在每训练步的能耗上领先

对于大规模神经网络训练，GPU 通常在每训练步的能耗上胜出 ^[4]。这很合理：训练会让大量并行计算同时保持繁忙，而这正是 GPU 的强项所在。

原生支持 FP8 的现代 GPU 在这类工作中的效率比 FP16 高约 1.9 倍 ^[1]。而且硬件并不是全部。仅靠软件调优本身，就能在硬件保持不变的情况下把能效改变 15–30% ^[1]。所以两个团队在同一台机器上跑同一个模型，仍可能看到相当不同的功耗特征。

推理工作负载：CPU 在低批处理大小时可与之竞争

当吞吐量高、批处理大小大时，GPU 领先。但当批处理大小小、硬件使用率下降时，这种优势就会缩小，甚至消失 ^[5]。

对于参数量低于 10 亿的模型，采用 INT8 量化的 CPU 推理通常落在 10–50 ms 区间，一旦把主机到设备的传输开销计入，这在批处理大小为 1 时与 GPU 相当。这种开销通常为 0.5–2 ms ^[5]。说白了，如果你一次只服务一个请求，GPU 的部分速度优势会被单纯搬运数据的开销吃掉。

一个很好的例子是 ARM Cortex-A78AE CPU，它以 102 ms 完成了一次 ResNet50v1.5 推理，而平均功耗仅为 25.3 W、只用了 2.58 J ^[2]。对于边缘部署或突发式、低并发的服务场景，这是个很扎实的选择，因为系统并不处于持续的重负载之下。

关键基准测试：

另一个发现很突出：44.5% 的 LLM 查询是"始终简单的"，可以由更小的 1B–3B 参数模型处理，且不会有任何有意义的质量损失 ^[7]。同样的思路也适用于视频 AI。并非每一帧都需要最大的模型或最重的路径。有时更聪明的做法是把较简单的帧、预处理步骤或较轻的场景路由到更小的配置上。

视频 AI 处理：每帧能耗、管线瓶颈与模型基础设施

为什么视频工作负载会改变 CPU 与 GPU 的能耗天平

视频管线让 CPU 与 GPU 之间的权衡变得更加尖锐。解码、预处理和推理可能各自运行在不同的硬件上，因此同一个模型可能会因工作落在何处而产生非常不同的功耗。像运动检测和基础分类这类轻量任务，如今在为 CPU 调优的模型上更加可行；而深度场景理解和多模态分析等更重的工作仍然偏向 GPU ^[10]。

原因很简单：GPU 在峰值时能拉更多功率，但它们往往能快得多地完成任务。当这种情况发生时，即便此刻瓦数看起来更高，每帧的总焦耳数反而可能下降 ^[6][9]。

VGG-19 基准测试让这一点很容易看清。在一项通用视觉测试中，纯 CPU 的 Intel Xeon 节点在推理上用了 213.5 kJ。而一颗 NVIDIA A100 GPU 完成同样的任务只用了 46.7 kJ。这大约是 4.5 倍的差距 ^[9]。但当预处理让 GPU 空等时，这种优势会迅速缩水。

这对管线瓶颈意味着什么

在实践中，模型往往不再是主要瓶颈。数据管线接管了这个角色。

在以 GPU 为主的配置中，CPU 侧的预处理和数据加载是常见的瓶颈点。如果 CPU 无法足够快地喂给 GPU，GPU 的 SM 利用率可能会从约 89% 跌到 50% ^[6][9]。而令人痛苦的是：硬件在等待时仍在耗电。在 CPU-GPU 系统中，一颗空闲的 NVIDIA A100 仍会持续消耗约 55 W ^[6][9]。

YOLO 工作负载表现出同样的模式。GPU 功耗可以从 33 W 摆动到 199 W，而 CPU 功耗则保持在 12 W 到 14 W 附近 ^[6]。所以即便 CPU 功耗看起来平稳，它仍可能是拖住整条流水线的那个环节。

这对多模型视频 API 意味着什么

对于多模型视频 API 来说，空闲的加速器容量不仅仅是性能问题，也是能耗问题。在 CPU-GPU 系统中，未被使用的加速器硬件可能把总能耗推高到纯 CPU 节点的 1.7 倍 ^[9]。

对于 APIMart 而言，干净的做法是把解码、预处理和编排留在 CPU 路径上，然后用 GPU 来做生成和深度分析。这种分工有助于避免在没有做有用工作的加速器时间上白白耗电。

结论：CPU 与 GPU 能效的主要规律

从所回顾研究中得出的关键要点

在所回顾的各项研究中，AI 管线和视频管线都呈现出同一个规律：效率关乎完成的工作量，而非峰值功耗。真正重要的是每完成一个任务的能耗，而不是峰值瓦数。

只有当工作负载和利用率让这份功耗物有所值时，GPU 才会胜出。对于像训练和大批量推理这样并行、大规模的任务，GPU 通常在每完成一个任务的能耗上更省。但对于小模型、低批处理大小或走走停停的流量，情况就可能反转。

一项基准测试把这一点说得相当清楚。一套搭载 RTX 4060 Ti 的 GPU 系统空闲时为 41 W，而 Mac mini M4 空闲时为 7.8 W。在同一测试中，对于 10 亿参数的单请求分类，Mac mini 的效率约为 3 倍 ^[3]。

这引出了三条实用的部署准则：

• 统一你的指标口径。 用每完成一个任务的能耗（焦耳）、每焦耳 token 数，或对视频工作负载用每帧能耗来比较系统。这样能让你在不同硬件之间获得公平的同类对比 ^[1][5]。

• 把训练和推理分开看。 GPU 通常在训练效率上领先。推理则没那么一刀切。CPU 在批处理大小为 1 且使用小模型时仍能自成一格 ^[3][5]。

• 在视频 AI 中，把整条管线都算进去。 解码、预处理和推理都会影响能耗。如果 CPU 侧的工作卡住了 GPU，效率就会受损 ^[5]。

硬件选择应当匹配工作负载特征。只要利用率保持高位，GPU 的高瓦数本身并不是问题。而 CPU 也不只是备胎。对于合适的任务，它们才是更低功耗的选择。

常见问题

::: faq

我该如何公平地衡量 AI 能效？

不要孤立地看 GPU 指标。要同时衡量 CPU 和 GPU 的利用率。

为什么？因为在模型运行之前发生的工作——比如预处理、分词或图像解码——可能会拖慢整条管线，让 GPU 空闲。在这种情况下，单看 GPU 数字并不能告诉你实际发生了什么。

像 Nsight Systems 或 PyTorch Profiler 这类工具可以展示硬件正在做什么。

为了公平比较，请在各次运行之间保持配置一致：

• 使用一致的管线

• 固定超参数

• 重复运行

• 匹配相同的模型、工作点和数据管线

如果这些环节发生变化，比较很快就会变得一团糟。 :::

::: faq

CPU 在什么时候比 GPU 更高效？

对于某些 AI 工作负载和部署配置，CPU 可能是更好的选择，尤其是当成本效率比顶级速度更重要时。

它在并行度较低的任务（如点积）上往往也表现不错，因为它避免了 GPU 常伴随的一些内存访问开销。

对于自托管或间歇性的 AI 任务，CPU 凭借低空闲功耗也能带来更好的每瓦时 token 数。这使得 CPU 非常适合运行经过优化、压缩的模型的边缘或嵌入式部署，在这些场景中功耗、发热和预算限制比原始吞吐量更重要。 :::

::: faq

为什么视频预处理对 GPU 效率影响这么大？

视频预处理很快就会变成瓶颈。像视频解码和帧增强这类任务往往会重度占用 CPU。而如果数据管线跟不上，GPU 就会陷入空等，而不是做有用的工作。

多模态输入让这一点更棘手，因为视频必须被转换成视觉 token，这会增加更多的内存和计算负载。当预处理滞后时，GPU 利用率下降，但功耗仍然很高。这意味着你在耗能，却没有得到你所付出代价换来的输出。 :::