에너지 효율성: AI 워크로드에서 CPU 대 GPU

짧은 답은 이렇다: GPU는 대개 학습과 대량 추론에서 에너지를 덜 사용하는 반면, CPU는 작은 모델, 배치 크기 1, 그리고 급증성 트래픽에서 에너지를 덜 쓸 수 있다. 최대 와트만 본다면, 요점을 놓칠 수 있다. 중요한 것은 완료된 작업당 에너지다.

이 글을 당신이 먼저 필요로 하는 필수 AI 비용 팁으로 줄인다면, 나는 이렇게 정리하겠다:

• 학습: GPU는 병렬 컴퓨트를 바쁘게 유지하기 때문에 대개 이긴다.

• 추론: 요청이 하나씩 들어올 때는 CPU가 더 나은 선택일 수 있다.

• 비디오 AI: 병목은 종종 모델이 아니라 디코드와 전처리다.

• 유휴 전력이 중요하다: 약 $0.22/kWh에서, 유휴 상태로 있는 시스템도 여전히 비용을 더할 수 있다.

• 활용률이 모든 것을 바꾼다: CPU를 기다리는 GPU는 전력을 빠르게 낭비할 수 있다.

몇 가지 숫자가 그것을 분명히 한다:

• 한 테스트 세트에서 GPU 전력은 사용에 따라 33 W에서 199 W로 움직였다.

• 같은 사례에서 CPU 전력은 12 W에서 14 W 근처에 머물렀다.

• ARM Cortex-A78AE는 ResNet50v1.5를 2.58 J를 사용해 102 ms에 실행했다.

• RTX 4060 Ti가 있는 GPU 시스템은 41 W에서 유휴 상태였고, Mac mini M4는 7.8 W에서 유휴 상태였다.

• 한 비전 테스트에서 A100은 46.7 kJ를 사용한 반면 CPU 전용 Xeon 노드는 213.5 kJ를 사용했다.

CPU 대 GPU | 왜 AI 데이터센터는 CPU 대신 GPU를 쓰는가

빠른 비교

그래서 하드웨어를 고른다면, 나는 단순하게 유지하겠다: 모델만이 아니라 트래픽 패턴, 배치 크기, 전체 파이프라인에 칩을 맞춰라. 그것이 이 글의 핵심이다.

AI 시스템에서 CPU와 GPU의 전력 프로파일

그 벤치마크 숫자들은 각 프로세서가 실제로 어디서 전력을 태우는지 보여준다. CPU와 GPU는 같은 방식으로 와트를 쓰지 않으며, AI 작업은 작업이 어디서 일어나는지에 따라 한쪽으로 크게 기울 수 있다. GPU는 스트리밍 멀티프로세서로 병렬 작업을 처리하는 반면, CPU 전력은 코어 부하에 따라 움직이는 경향이 있다. 그것이 같은 워크로드가 각 칩에서 매우 다른 전력 소모로 이어질 수 있는 이유다 ^[6].

아키텍처가 와트, 활용률, 처리량에 미치는 영향

여기서 큰 요인은 활용률이다.

GPU 중심 워크로드에서 GPU 전력은 SM 활용률에 따라 33 W에서 199 W로 뛸 수 있는 반면, CPU 전력은 약 12 W에서 14 W로 훨씬 안정적으로 머문다 ^[6]. 그 폭은 GPU 활용률의 변화가 같은 작업에 대해 에너지 사용에서 3~5배 차이로 이어질 수 있는 이유를 설명하는 데 도움이 된다 ^[8].

추론 중에도 비슷한 분기를 볼 수 있다. 컴퓨트 바운드 단계는 더 높은 GPU 주파수에서 이득을 얻는 경향이 있다. 메모리 바운드 단계는 다르다: 주파수를 더 높여도 큰 효과가 없다. 그런 단계에서는 주파수를 낮추면 지연 시간에 거의 영향 없이 에너지 사용을 줄일 수 있다 ^[7].

AI 실행 중 시스템 전력이 어디로 가는가

GPU 중심 워크로드에서 GPU는 대개 시스템 전력 소모의 주요 원천이다. CPU 전력은 데이터 로딩 파이프라인이 병목이 되지 않는 한 상당히 평평하게 머무는 경우가 많다. CPU가 전처리된 데이터를 GPU에 충분히 빠르게 공급하지 못하면, SM 활용률이 떨어진다. 그리고 GPU가 여전히 전력을 끌어쓰더라도 그것이 에너지 효율성을 해친다 ^[6].

반면 DRAM 사용량은 프로세서 활용률에 비해 전체 시스템 전력에서 작은 몫만 더한다 ^[6].

아래 표는 연구들에서 보고된 측정 범위와 활용률 민감도를 요약한다 ^[6][7]:

비디오 AI 파이프라인에서는 그 분기가 종종 CPU 전처리와 GPU 모델 실행 사이를 오간다. 그것은 전처리와 추론이 병목을 CPU에서 GPU로, 또는 그 반대로 옮길 수 있는 비디오 워크플로에서 가장 중요하다.

연구 결과: CPU 또는 GPU가 언제 에너지를 더 효율적으로 쓰는가

벤치마크는 CPU와 GPU 사이의 격차가 작업에 따라 바뀐다는 것을 보여준다. 학습, 추론, 배치 크기, 하드웨어 사용이 모두 중요하다. 비디오 파이프라인에서는 프레임 이동과 전처리가 주요 병목이 될 수 있어 이 변화가 더욱 두드러진다.

학습 워크로드: GPU가 대개 학습 단계당 에너지에서 앞선다

대규모 신경망 학습의 경우, GPU가 대개 학습 단계당 에너지에서 이긴다 ^[4]. 그것은 이치에 맞는다: 학습은 많은 병렬 컴퓨트를 동시에 바쁘게 유지하며, 그것이 GPU가 빛나는 지점이다.

네이티브 FP8 지원이 있는 현대 GPU는 이런 종류의 작업에서 FP16보다 약 1.9배 더 효율적이다 ^[1]. 그리고 하드웨어가 전부는 아니다. 하드웨어가 그대로여도, 소프트웨어 튜닝만으로 에너지 효율성을 15~30% 바꿀 수 있다 ^[1]. 그래서 두 팀이 같은 머신에서 같은 모델을 돌리고도 꽤 다른 전력 프로파일을 볼 수 있다.

추론 워크로드: CPU는 낮은 배치 크기에서 경쟁할 수 있다

처리량이 높고 배치 크기가 클 때 GPU가 앞선다. 하지만 배치 크기가 작고 하드웨어 사용이 떨어지면 그 우위는 작아지고, 심지어 사라질 수도 있다 ^[5].

10억 파라미터 미만 모델의 경우, INT8 양자화를 쓴 CPU 추론은 대개 10~50 ms 범위에 들어가며, 이는 호스트-투-디바이스 전송 오버헤드를 포함하면 배치 크기 1에서 GPU와 경쟁력이 있다. 그 오버헤드는 대개 0.5~2 ms다 ^[5]. 평이하게 말하면, 한 번에 하나의 요청만 처리한다면 GPU 속도의 일부가 데이터를 이리저리 옮기는 데만 잡아먹힐 수 있다.

좋은 예는 ARM Cortex-A78AE CPU로, ResNet50v1.5 추론을 평균 25.3 W 소모로 2.58 J만 사용하며 102 ms에 실행했다 ^[2]. 그것은 시스템이 지속적으로 무거운 부하 아래 있지 않은 엣지 배포나 급증성, 저동시성 서빙에 탄탄하게 맞는다.

주요 벤치마크:

또 다른 발견이 눈에 띈다: **LLM 쿼리의 44.5%가 "항상 쉬움"**이며 의미 있는 품질 손실 없이 더 작은 1B~3B 파라미터 모델로 처리할 수 있다 ^[7]. 같은 아이디어가 비디오 AI로 이어진다. 모든 프레임이 가장 큰 모델이나 가장 무거운 경로를 필요로 하지는 않는다. 때로는 더 똑똑한 조치가 더 단순한 프레임, 전처리 단계, 또는 더 가벼운 장면을 더 작은 설정으로 라우팅하는 것이다.

비디오 AI 처리: 프레임당 에너지, 파이프라인 병목, 모델 인프라

왜 비디오 워크로드는 CPU 대 GPU 에너지 방정식을 바꾸는가

비디오 파이프라인은 CPU 대 GPU 트레이드오프를 훨씬 날카롭게 만든다. 디코드, 전처리, 추론이 각각 다른 하드웨어에서 실행될 수 있어, 같은 모델이 작업이 어디에 떨어지는지에 따라 매우 다른 전력 사용으로 끝날 수 있다. 모션 감지나 기본 분류 같은 경량 작업은 이제 CPU 튜닝 모델에서 더 실현 가능한 반면, 심층 장면 이해나 멀티모달 분석 같은 더 무거운 작업은 여전히 GPU 쪽으로 기운다 ^[10].

거기에는 단순한 이유가 있다: GPU는 최대치에서 더 많은 전력을 끌어쓸 수 있지만, 종종 작업을 훨씬 빠르게 끝낸다. 그리고 그럴 때, 순간 와트가 더 높아 보여도 프레임당 총 줄(joule)은 떨어질 수 있다 ^[6][9].

VGG-19 벤치마크가 이것을 쉽게 보여준다. 일반 비전 테스트에서, CPU 전용 Intel Xeon 노드는 추론에 213.5 kJ를 사용했다. NVIDIA A100 GPU는 같은 작업에 46.7 kJ를 사용했다. 그것은 약 4.5배 차이다 ^[9]. 하지만 전처리가 GPU를 대기하게 놔두면 그 우위는 빠르게 줄어든다.

이것이 파이프라인 병목에 의미하는 것

실무에서 모델은 종종 주요 병목이기를 멈춘다. 데이터 파이프라인이 그 자리를 넘겨받는다.

CPU 측 전처리와 데이터 로딩은 GPU 중심 설정에서 흔한 병목이다. CPU가 GPU를 충분히 빠르게 공급하지 못하면, GPU SM 활용률은 약 **89%에서 50%**로 떨어질 수 있다 ^[6][9]. 그리고 고통스러운 부분은 이것이다: 하드웨어는 대기하는 동안에도 전력을 끌어쓴다. CPU-GPU 시스템의 유휴 NVIDIA A100은 계속 약 55 W를 사용한다 ^[6][9].

YOLO 워크로드는 같은 패턴을 보인다. GPU 전력은 33 W에서 199 W로 흔들릴 수 있는 반면, CPU 소모는 12 W에서 14 W 근처에 머문다 ^[6]. 그래서 CPU 전력이 평평해 보일 때도, 그것이 전체 라인을 붙잡는 조각일 수 있다.

이것이 멀티 모델 비디오 API에 의미하는 것

멀티 모델 비디오 API의 경우, 유휴 가속기 용량은 단지 성능 문제가 아니다. 에너지 문제이기도 하다. CPU-GPU 시스템에서, 사용되지 않는 가속기 하드웨어는 총 에너지 사용을 CPU 전용 노드의 1.7배까지 밀어 올릴 수 있다 ^[9].

APIMart의 경우, 깔끔한 조치는 디코드, 전처리, 오케스트레이션을 CPU 경로에 두고, 생성과 심층 분석에는 GPU를 쓰는 것이다. 그 분리는 유용한 일을 하지 않는 가속기 시간에 전력을 태우는 것을 피하는 데 도움이 된다.

결론: CPU 대 GPU 에너지 효율성의 주요 패턴

검토한 연구들에서 얻은 핵심 요점

검토한 연구들 전반에서, 같은 패턴이 AI와 비디오 파이프라인 둘 다에서 나타난다: 효율성은 최대 전력 소모가 아니라 완료된 작업에 관한 것이다. 중요한 것은 최대 와트가 아니라 완료된 작업당 에너지다.

GPU는 워크로드와 활용률이 그 전력 사용을 정당화할 때만 앞선다. 학습과 대규모 배치 추론 같은 병렬, 대량 작업의 경우, GPU는 대개 완료된 작업당 에너지를 덜 사용한다. 하지만 작은 모델, 낮은 배치 크기, 또는 멈췄다 시작하는 트래픽에서는 그림이 바뀔 수 있다.

한 벤치마크가 그것을 꽤 분명히 한다. RTX 4060 Ti가 있는 GPU 시스템은 41 W에서 유휴 상태였고, Mac mini M4는 7.8 W에서 유휴 상태였다. 같은 테스트에서 Mac mini는 1B 파라미터 단일 요청 분류에 대해 약 3배 더 효율적이었다 ^[3].

그것은 배포를 위한 세 가지 실용 규칙으로 이어진다:

• 지표를 정규화하라. 완료된 작업당 에너지(줄), 줄당 토큰, 또는 비디오 워크로드의 경우 프레임당 에너지를 사용해 시스템을 비교하라. 그것이 하드웨어 전반에서 공정한 동등 비교 관점을 준다 ^[1][5].

• 학습과 추론을 분리하라. GPU는 대개 학습 효율성에서 앞선다. 추론은 더 명확하지 않다. CPU는 배치 크기 1과 작은 모델에서 여전히 제 몫을 할 수 있다 ^[3][5].

• 비디오 AI에서는 전체 파이프라인을 포함하라. 디코드, 전처리, 추론이 모두 에너지 사용을 형성한다. CPU 측 작업이 GPU를 병목시키면, 효율성이 타격을 받는다 ^[5].

하드웨어 선택은 워크로드 프로파일에 맞아야 한다. 활용률이 높게 유지되면 높은 GPU 와트 자체는 문제가 아니다. 그리고 CPU는 단지 예비책이 아니다. 맞는 작업에서는 더 낮은 전력의 선택지다.

자주 묻는 질문

::: faq

AI 에너지 효율성을 어떻게 공정하게 측정해야 하나요?

GPU 지표를 고립해서 보지 마세요. CPU와 GPU 활용률을 함께 측정하세요.

왜냐고요? 모델이 실행되기 전에 일어나는 작업 - 전처리, 토큰화, 이미지 디코딩 같은 - 이 전체 파이프라인을 느리게 하고 GPU를 유휴 상태로 놔둘 수 있기 때문입니다. 그 경우, GPU 숫자만으로는 무슨 일이 벌어지는지 알 수 없습니다.

Nsight Systems나 PyTorch Profiler 같은 도구는 하드웨어가 무엇을 하고 있는지 보여줄 수 있습니다.

공정한 비교를 위해, 실행 전반에서 설정을 동일하게 유지하세요:

• 일관된 파이프라인 사용

• 하이퍼파라미터 고정

• 실행 반복

• 같은 모델, 작동점, 데이터 파이프라인 맞추기

그 조각들이 바뀌면, 비교가 빠르게 지저분해질 수 있습니다. :::

::: faq

CPU는 언제 GPU보다 효율적인가요?

CPU는 특히 비용 효율성이 최고 속도보다 더 중요할 때, 일부 AI 워크로드와 배포 설정에 더 나은 선택일 수 있습니다.

또한 내적(dot product) 같은 병렬성이 적은 작업에서 잘하는 경향이 있는데, GPU에 종종 따라오는 메모리 접근 오버헤드 일부를 피하기 때문입니다.

자체 호스팅이나 간헐적 AI 작업의 경우, CPU는 낮은 유휴 전력 사용 덕분에 와트시(watt-hour)당 더 나은 토큰을 제공할 수도 있습니다. 그것은 전력, 열, 예산 한계가 순수 처리량보다 더 중요한, 최적화·압축된 모델을 돌리는 엣지나 임베디드 배포에 CPU를 강한 선택으로 만듭니다. :::

::: faq

왜 비디오 전처리가 GPU 효율성에 그렇게 크게 영향을 주나요?

비디오 전처리는 빠르게 병목이 될 수 있습니다. 비디오 디코딩과 프레임 증강 같은 작업은 종종 CPU를 강하게 칩니다. 그리고 데이터 파이프라인이 따라가지 못하면, GPU는 유용한 일을 하는 대신 대기하게 됩니다.

멀티모달 입력은 비디오를 비전 토큰으로 바꿔야 하므로 이것을 더 까다롭게 만드는데, 그것이 더 많은 메모리와 컴퓨트 부하를 더합니다. 전처리가 뒤처지면, GPU 활용률은 떨어지지만 전력 사용은 높게 유지됩니다. 그것은 당신이 지불한 출력을 얻지 못하면서 에너지를 태우고 있다는 뜻입니다. :::