Энергоэффективность: CPU против GPU в задачах ИИ

Вот короткий ответ: GPU обычно потребляют меньше энергии для обучения и высокообъёмного инференса, тогда как CPU могут потреблять меньше энергии для малых моделей, размера батча 1 и всплесков трафика. Если смотреть только на пиковые ватты, можно упустить суть. Что важно — это энергия на завершённую задачу.

Если бы я сводил эту статью к ключевым советам по затратам на ИИ, которые вам нужны в первую очередь, я бы сказал так:

• Обучение: GPU обычно побеждают, потому что держат параллельные вычисления занятыми.

• Инференс: CPU могут подойти лучше, когда запросы приходят по одному.

• Видео-ИИ: Узкое место часто в декодировании и предобработке, а не в модели.

• Мощность в простое важна: При примерно $0.22/кВт·ч система, сидящая в простое, всё равно может добавлять затраты.

• Утилизация меняет всё: GPU, ждущий CPU, может быстро тратить мощность впустую.

Несколько чисел делают это ясным:

• Мощность GPU в одном наборе тестов двигалась от 33 Вт до 199 Вт в зависимости от использования.

• Мощность CPU в тех же случаях держалась около 12 Вт до 14 Вт.

• ARM Cortex-A78AE прогнал ResNet50v1.5 за 102 мс, используя 2.58 Дж.

• GPU-система с RTX 4060 Ti в простое потребляла 41 Вт, тогда как Mac mini M4 в простое — 7.8 Вт.

• В одном тесте зрения A100 использовал 46.7 кДж там, где CPU-узел на Xeon использовал 213.5 кДж.

CPU против GPU | Почему дата-центры ИИ используют GPU вместо CPU

Быстрое сравнение

Так что если вы выбираете оборудование, я бы держал это просто: подбирайте чип под паттерн трафика, размер батча и весь конвейер — не только под модель. В этом главная мысль статьи.

Профили мощности CPU и GPU в системах ИИ

Эти цифры бенчмарков показывают, где каждый процессор на самом деле сжигает мощность. CPU и GPU тратят ватты не одинаково, и задачи ИИ могут сильно склоняться к тому или другому в зависимости от того, где происходит работа. GPU обрабатывают параллельные задачи потоковыми мультипроцессорами, тогда как мощность CPU обычно движется с нагрузкой ядер. Вот почему та же нагрузка может вести к очень разному потреблению мощности на каждом чипе ^[6].

Как архитектура влияет на ватты, утилизацию и пропускную способность

Большой фактор здесь — утилизация.

В GPU-интенсивных нагрузках мощность GPU может подскакивать с 33 Вт до 199 Вт в зависимости от утилизации SM, тогда как мощность CPU держится гораздо стабильнее около 12 Вт до 14 Вт ^[6]. Этот разброс помогает объяснить, почему изменения в утилизации GPU могут вести к 3–5-кратным различиям в потреблении энергии для одной и той же задачи ^[8].

Похожее разделение видно во время инференса. Фазы, ограниченные вычислениями, обычно выигрывают от более высокой частоты GPU. Фазы, ограниченные памятью, другие: повышение частоты мало что даёт. В этих фазах понижение частоты может срезать потребление энергии с малым влиянием на задержку ^[7].

Куда уходит системная мощность во время запусков ИИ

В GPU-интенсивных нагрузках GPU обычно главный источник системного потребления мощности. Мощность CPU часто остаётся довольно плоской, если конвейер загрузки данных не становится узким местом. Когда CPU не может кормить предобработанными данными GPU достаточно быстро, утилизация SM падает. И это вредит энергоэффективности, даже если GPU всё ещё тянет мощность ^[6].

Объём DRAM, напротив, добавляет лишь малую долю общей системной мощности рядом с утилизацией процессора ^[6].

Таблица ниже суммирует измеренные диапазоны и чувствительность к утилизации, отмеченные в исследованиях ^[6][7]:

В видео-ИИ конвейерах это разделение часто ходит туда-сюда между предобработкой на CPU и исполнением модели на GPU. Это важнее всего в видеопроцессах, где предобработка и инференс могут сдвигать узкое место с CPU на GPU или наоборот.

Результаты исследований: когда CPU или GPU потребляют энергию эффективнее

Бенчмарки показывают, что разрыв между CPU и GPU меняется в зависимости от задачи. Обучение, инференс, размер батча и использование оборудования — всё важно. В видеоконвейерах этот сдвиг выделяется ещё сильнее, потому что движение кадров и предобработка могут стать главным узким местом.

Задачи обучения: GPU обычно лидируют по энергии на шаг обучения

Для крупномасштабного обучения нейросетей GPU обычно побеждают по энергии на шаг обучения ^[4]. Это логично: обучение держит много параллельных вычислений занятыми одновременно, а это то, где GPU обычно блистают.

Современные GPU с нативной поддержкой FP8 примерно на 1.9× эффективнее, чем FP16, для такой работы ^[1]. И оборудование — не вся история. Одна лишь программная настройка может сдвинуть энергоэффективность на 15–30%, даже когда оборудование остаётся тем же ^[1]. Так что две команды могут прогнать ту же модель на той же машине и всё равно увидеть довольно разный профиль мощности.

Задачи инференса: CPU могут конкурировать при малых размерах батча

GPU лидируют, когда пропускная способность высока, а размеры батча большие. Но это преимущество уменьшается и может даже исчезнуть, когда размеры батча малы, а использование оборудования падает ^[5].

Для моделей менее 1 миллиарда параметров инференс на CPU с квантизацией INT8 обычно попадает в диапазон 10–50 мс, что конкурентоспособно с GPU при размере батча один, когда учтены накладные расходы на передачу host-to-device. Эти накладные расходы обычно 0.5–2 мс ^[5]. Проще говоря, если вы обслуживаете только один запрос за раз, часть скорости GPU может съедаться просто перемещением данных.

Хороший пример — ARM Cortex-A78AE CPU, который прогнал инференс ResNet50v1.5 за 102 мс, используя всего 2.58 Дж при среднем потреблении 25.3 Вт ^[2]. Это надёжный вариант для edge-развёртываний или всплесков с низкой конкуренцией, где система не под постоянной тяжёлой нагрузкой.

Ключевые бенчмарки:

Выделяется ещё один вывод: 44.5% запросов к LLM «всегда лёгкие» и могут обрабатываться меньшими моделями на 1B–3B параметров без сколько-нибудь значимой потери качества ^[7]. Та же идея переносится на видео-ИИ. Не каждому кадру нужна самая большая модель или самый тяжёлый путь. Иногда более умный ход — маршрутизировать более простые кадры, шаги предобработки или лёгкие сцены через меньшую установку.

Обработка видео-ИИ: энергия на кадр, узкие места конвейера и инфраструктура моделей

Почему видеонагрузки сдвигают уравнение энергии CPU против GPU

Видеоконвейеры делают компромисс CPU против GPU гораздо острее. Декодирование, предобработка и инференс могут каждый выполняться на разном оборудовании, поэтому та же модель может в итоге иметь очень разное потребление мощности в зависимости от того, где происходит работа. Лёгкие задачи вроде обнаружения движения и базовой классификации теперь более осуществимы на CPU-настроенных моделях, тогда как более тяжёлая работа вроде глубокого понимания сцены и мультимодального анализа всё ещё склоняется к GPU ^[10].

Причина проста: GPU могут тянуть больше мощности на пике, но они часто заканчивают работу гораздо быстрее. И когда так происходит, общее число джоулей на кадр может упасть, даже если ватты в моменте выглядят выше ^[6][9].

Бенчмарки VGG-19 делают это легко увидеть. В общем тесте зрения CPU-узел на Intel Xeon использовал 213.5 кДж для инференса. GPU NVIDIA A100 использовал 46.7 кДж для той же задачи. Это примерно 4.5× разница ^[9]. Но это преимущество быстро сжимается, когда предобработка оставляет GPU сидеть в ожидании.

Что это значит для узких мест конвейера

На практике модель часто перестаёт быть главным узким местом. Конвейер данных берёт верх.

Предобработка на стороне CPU и загрузка данных — распространённое узкое место в GPU-интенсивных установках. Если CPU не может кормить GPU достаточно быстро, утилизация SM у GPU может упасть с примерно 89% до 50% ^[6][9]. И вот болезненная часть: оборудование всё равно тянет мощность, пока ждёт. Простаивающий NVIDIA A100 в CPU-GPU системе продолжает использовать около 55 Вт ^[6][9].

Нагрузки YOLO показывают тот же паттерн. Мощность GPU может колебаться от 33 Вт до 199 Вт, тогда как потребление CPU держится около 12 Вт до 14 Вт ^[6]. Так что даже когда мощность CPU выглядит плоской, он всё равно может быть тем элементом, что держит всю линию.

Что это значит для мультимодельных видео-API

Для мультимодельных видео-API простаивающая ёмкость ускорителя — не только проблема производительности. Это и энергетическая проблема. На CPU-GPU системах неиспользуемое оборудование ускорителя может поднять общее потребление энергии до 1.7× от узлов только на CPU ^[9].

Для APIMart чистый ход — держать декодирование, предобработку и оркестрацию на путях CPU, а затем использовать GPU для генерации и глубокого анализа. Это разделение помогает избежать сжигания мощности на время ускорителя, которое не делает полезной работы.

Заключение: основные паттерны в энергоэффективности CPU против GPU

Ключевые выводы из рассмотренных исследований

По всем рассмотренным исследованиям тот же паттерн проявляется и в ИИ, и в видеоконвейерах: эффективность — это про завершённую работу, а не про пиковое потребление мощности. Что важно — энергия на завершённую задачу, а не пиковые ватты.

GPU выходят вперёд только когда нагрузка и утилизация делают это потребление мощности оправданным. Для параллельных, высокообъёмных задач вроде обучения и инференса с большими батчами GPU обычно потребляют меньше энергии на завершённую задачу. Но с малыми моделями, низкими размерами батча или прерывистым трафиком картина может меняться.

Один бенчмарк делает это довольно ясным. GPU-система с RTX 4060 Ti в простое потребляла 41 Вт, тогда как Mac mini M4 в простое — 7.8 Вт. В том же тесте Mac mini был примерно в 3× эффективнее для классификации одного запроса моделью на 1B параметров ^[3].

Это ведёт к трём практическим правилам для развёртывания:

• Нормализуйте свои метрики. Сравнивайте системы, используя энергию на завершённую задачу (джоули), токены на джоуль или энергию на кадр для видеонагрузок. Это даёт вам честный взгляд «яблоки к яблокам» по разному оборудованию ^[1][5].

• Разделяйте обучение и инференс. GPU обычно лидируют по эффективности обучения. Инференс менее однозначен. CPU всё ещё могут держаться при размере батча 1 и с малыми моделями ^[3][5].

• В видео-ИИ учитывайте весь конвейер. Декодирование, предобработка и инференс — всё формирует потребление энергии. Если работа на стороне CPU становится узким местом для GPU, эффективность страдает ^[5].

Выбор оборудования должен соответствовать профилю нагрузки. Высокое потребление GPU само по себе не проблема, если утилизация остаётся высокой. И CPU — не просто запасной план. Для правильных задач это выбор с более низкой мощностью.

Часто задаваемые вопросы

::: faq

Как мне честно измерять энергоэффективность ИИ?

Не смотрите на метрики GPU в изоляции. Измеряйте утилизацию CPU и GPU вместе.

Почему? Потому что работа, происходящая до запуска модели — вроде предобработки, токенизации или декодирования изображений — может замедлить весь конвейер и оставить GPU в простое. В этом случае одни лишь цифры GPU не скажут вам, что происходит.

Инструменты вроде Nsight Systems или PyTorch Profiler могут показать, что делает оборудование.

Для честного сравнения держите настройку одинаковой между запусками:

• Используйте согласованные конвейеры

• Фиксируйте гиперпараметры

• Повторяйте запуски

• Совпадайте по той же модели, рабочей точке и конвейеру данных

Если эти части меняются, сравнение может быстро стать беспорядочным. :::

::: faq

Когда CPU эффективнее GPU?

CPU может быть лучшим выбором для некоторых задач ИИ и установок развёртывания, особенно когда эффективность затрат важнее, чем максимальная скорость.

Он также обычно хорошо справляется с задачами с меньшим параллелизмом, вроде скалярных произведений, потому что избегает части накладных расходов на доступ к памяти, которые часто идут с GPU.

Для self-hosted или прерывистых задач ИИ CPU также могут давать больше токенов на ватт-час благодаря низкому потреблению в простое. Это делает CPU сильным выбором для edge- или встроенных развёртываний, работающих на оптимизированных, сжатых моделях, где ограничения по мощности, теплу и бюджету важнее сырой пропускной способности. :::

::: faq

Почему предобработка видео так сильно влияет на эффективность GPU?

Предобработка видео может быстро превратиться в узкое место. Задачи вроде декодирования видео и аугментации кадров часто сильно нагружают CPU. И если конвейер данных не успевает, GPU в итоге ждёт вместо того, чтобы делать полезную работу.

Мультимодальные входы делают это сложнее, потому что видео нужно превратить в токены зрения, что добавляет больше нагрузки на память и вычисления. Когда предобработка отстаёт, утилизация GPU падает, но потребление мощности остаётся высоким. Это значит, что вы сжигаете энергию, не получая вывод, за который заплатили. :::