Как мультимодальный ИИ улучшает сжатие видео

Сжатие видео переходит от сопоставления пикселей к решениям на основе смысла. Из исследований в этой статье мой главный вывод прост: когда ИИ использует текст, звук, движение или намерение пользователя наряду с видео, он может сильнее снижать битрейт, сохраняя самые важные части.

Вот краткая версия:

• Обучаемые кодеки только по изображению уже сильны. STAC показал экономию BD-rate в 32,20 % по сравнению с VTM-17.0.
• Мультимодальные методы меняют распределение битов. Они используют смысл сцены, тайминг или цели задачи, чтобы решить, что получает больше битов.
• Системы на основе токенов могут сильно снизить нагрузку. AdaCodec сократил использование визуальных токенов на 84,6 % и снизил TTFT с 9,26 секунды до 1,62 секунды.
• Сжатие, ориентированное на задачу, может урезать напрасные вычисления. EMC улучшил эффективность инференса на 33,7 % для работы «видео-язык».
• Генеративные методы могут опустить битрейт очень низко. Недавние результаты достигли 0,005 bpp и даже менее 0,002 bpp при 1080p.
• Компромисс — стоимость декодера. Более низкая стоимость передачи часто означает больше работы GPU на принимающей стороне, со временем декодирования около 1,85–2,48 секунды для GOP из 29 кадров на потребительских и полупрофессиональных GPU.

Что это значит для вас: если ваша цель — стриминг или хранение, качество пикселей всё ещё важно. Но если ваша цель — видеонаблюдение, периферийный ИИ, экстренное реагирование, образование или коммерция, то семантическое и ориентированное на задачу сжатие может быть важнее идеальной реконструкции кадра.

Понимание — это сжатие: модели LLM превосходят все известные на сегодня методы сжатия

Быстрое сравнение

Так что если свести статью к одной мысли, она такова: мультимодальный ИИ помогает кодекам решать, что важно, а не просто что изменилось. Именно отсюда исходит большая часть текущего прогресса.

Что показывают недавние исследования о мультимодальном сжатии

Обучаемые кодеки только по изображению как базовая линия

Фреймворк STAC (Spatio-Temporal Adaptive Context) даёт ясную картину того, где сейчас находятся обучаемые кодеки только по изображению. Он обеспечил среднюю экономию BD-rate 32,20 % по сравнению с VTM-17.0 (VVC) ^[2] и превзошёл более раннюю передовую модель DCMVC на 2,7 процентных пункта. STAC делает это с помощью адаптивного селектора контекста, выбирающего наиболее полезные опорные кадры, плюс двухпутевой энтропийной модели, улучшающей предсказание ^[2].

Это ведёт к лучшей точности на уровне пикселей. Но есть загвоздка: STAC всё ещё работает без семантического контекста. Так что он задаёт сильную базовую линию для визуального сжатия, при этом делая следующий шаг довольно очевидным. Если модель может понять смысл сцены, она может размещать биты там, где они важнее всего, вместо того чтобы относиться к каждому региону так, будто он заслуживает одинакового внимания.

Как семантические и кросс-модальные сигналы меняют решения кодировщика

Главная идея за недавними мультимодальными работами проста: не каждой части кадра нужно одинаковое число битов. Как только у кодировщика появляется некоторое понимание того, что происходит в сцене, он может тратить больше на важные регионы и быть агрессивнее везде остальном.

AdaCodec от Шанхайского университета Цзяотун и JD.com — хороший пример. Он хранит покадровые изменения как P-токены и держит полные визуальные токены для опорных кадров ^[3]. Такая настройка сократила использование визуальных токенов на 84,6 % и снизила время до первого токена (TTFT) с 9,26 секунды до 1,62 секунды ^[3]. Он также превзошёл базовую модель Qwen3-VL-8B на бенчмарках длинного видео, используя лишь около одной седьмой бюджета токенов ^[3].

Другой путь фокусируется меньше на реконструкции пикселей и больше на сохранении только того, что нужно конечной задаче. Эндоморфное мультимодальное сжатие (EMC) следует этой идее, сохраняя лишь информацию, нужную для задач вроде VideoQA. Проще говоря, оно применяет логику сжатия к семантическим свидетельствам вместо сырых пикселей. Когда EMC был интегрирован, он улучшил эффективность инференса на 33,7 % и эффективность обучения на 7,33 % для понимания «видео-язык» ^[4].

Так что разделение становится яснее. Кодеки только по изображению гонятся за точностью. Мультимодальные методы двигаются к семантической согласованности и ориентированному на задачу использованию токенов.

Где APIMart вписывается для прототипирования и развёртывания

Для команд, строящих и тестирующих эти кросс-модальные конвейеры, APIMart может сделать раннюю работу менее хаотичной. Он предлагает единый API для совместного опробования видео-, изображенческих и языковых моделей, что помогает, когда вы хотите проверить, как кросс-модальные сигналы меняют выбор кадров и реконструкцию.

Три мультимодальных сигнала, улучшающих сжатие

Предыдущий раздел показал на высоком уровне, как семантические и кросс-модальные сигналы меняют выбор кодировщика. По всем трём направлениям здесь паттерн довольно ясен: семантическая осведомлённость меняет, куда идут биты, аудиовизуальный тайминг уточняет, что остаётся, а намерение на уровне токенов сужает процесс ещё сильнее.

Семантически осознанное сжатие с использованием сигналов зрения и текста

Эти методы показывают, как текст и зрение могут направлять битрейт к семантическому содержанию. Если кодировщик знает, что важно в сцене, он может отправить больше битов важным регионам и сжать всё остальное сильнее.

M3-CVC (Университет Фудань, декабрь 2024) использует диалоговую большую мультимодальную модель, чтобы вытянуть иерархические текстовые описания из кадров. Затем он использует эти описания, чтобы направлять диффузионный декодер во время реконструкции при сверхнизких битрейтах. Результат: он превосходит VVC с явным отрывом по LPIPS и CLIP-sim, даже в случаях, где VVC показывает сильные блочные артефакты ^[1].

SMC++ (Шанхайский университет Цзяотун и Шанхайская лаборатория ИИ, октябрь 2025) отсекает детали, которые стоят битов, но не помогают нисходящей задаче. Он делает это с помощью цели маскированного видеомоделирования, а управляемый Transformer выравнивает признаки между модальностями. По 7 наборам данных и 3 задачам — распознавание действий, MOT и VOS — SMC++ удержал высокую точность задачи даже когда базовый слой VVC имел сильную деградацию сигнала ^[6].

Та же идея переносится и на сигналы, основанные на времени. Вместо того чтобы спрашивать только что важно в кадре, эти системы также спрашивают когда это важно.

Аудиоосознанное сжатие для речи и тайминга событий

Аудиовизуальный тайминг и структура событий помогают моделям выбирать репрезентативные ключевые кадры и сегменты движения. Это снижает битрейт, не сбивая тайминг событий ^[5]. В кросс-модальном видеокодировании (CMVC) видео разделяется на пространственное содержание и компоненты движения, а затем превращается в компактные мультимодальные представления ^[5].

«MLLM превосходно справляются с обработкой последовательных данных и пониманием временны́х связей событий в видео». — Pingping Zhang et al. ^[5]

Это сдвигает сжатие от покадрового хранения к представлению с учётом событий. А оттуда следующий шаг ещё плотнее: сжатие на основе прямого намерения пользователя.

Сжатие по токенам для намерения пользователя

Video TokenCom даёт полную точность релевантным намерению токенам и снижает точность для менее приоритетных. Простыми словами, система тратит биты на то, что важно пользователю, и ослабляет всё остальное, что снижает битрейт, сохраняя самое важное содержание нетронутым ^[7].

«Токеновая коммуникация (TokenCom) — это новая парадигма... где токены служат унифицированными единицами коммуникации и вычисления, обеспечивая эффективный семантически и целеориентированный обмен информацией». — Jingxuan Men et al. ^[7]

Вместо того чтобы относиться к каждой части кадра одинаково, этот подход делает сжатие целеосознанным и избирательным ^[7].

Генеративное сжатие и компромиссы развёртывания в реальном времени

Как генеративные и токеновые методы снижают битрейт

Опираясь на сжатие на уровне токенов, генеративные методы толкают дело дальше. Вместо сохранения каждого пикселя они восстанавливают визуальные детали на декодере. На практике генеративное сжатие отправляет компактное латентное представление, а затем использует генеративные приоры, чтобы заполнить то, что не было передано.

Этот сдвиг может резко срезать битрейт. Демонстрация TeleAI с морскими спутниками середины 2025 достигла 0,005 bpp, а zero-shot GVCC от Waseda в апреле 2026 обеспечил реконструкцию 1080p менее 0,002 bpp, снизив LPIPS на 70,3 % по сравнению с DCVC-RT ^{[9] [10]}.

Токеновое сжатие идёт другим путём. Токенизированное сжатие видео (TVC) использует маскированные токены и пространственно-временно́е предсказание, чтобы задействовать семантическую избыточность между кадрами ^[8].

Ограничения реального времени: вычисления, латентность и стоимость

Эти сокращения битрейта важны только если декодирование остаётся достаточно быстрым для продакшена. Вот где компромисс проявляется в простых терминах: по мере снижения битрейта бо́льшая часть нагрузки переходит от передачи к инференсу. Так что декодеру приходится запускать большие модели в реальном времени.

Числа делают это ясным. На NVIDIA L40S, RTX 4090 и RTX 4080 декодирование GVC для GOP из 29 кадров занимает 1,85 секунды, 2,12 секунды и 2,48 секунды ^[9].

Это компромисс «сжатие — вычисления — качество». Проще говоря, вы экономите пропускную способность, но платите за это большей работой по декодированию. Именно поэтому дистилляция и более быстрое сэмплирование — главные пути к развёртыванию потребительского уровня ^[9].

Использование APIMart для тестирования мультимодальных видеорабочих процессов

Для прототипирования APIMart может связать семантическое извлечение, реконструкцию и оценку в один рабочий процесс. Команды могут использовать его, чтобы соединять видео-, изображенческие и языковые модели через единый API для семантического извлечения, реконструкции и тестирования латентности.

Если вы пытаетесь увидеть, как ведёт себя мультимодальный видеоконвейер до полного развёртывания, это практичный способ протестировать движущиеся части в одном месте.

Заключение: что мультимодальный ИИ меняет для сжатия видео

Мультимодальный ИИ меняет сжатие видео простым, но важным образом: он смещает цель от сопоставления пикселей к сохранению того, что важно для задачи. Семантические сигналы, звуковые подсказки и данные о взгляде помогают системе тратить биты на части, несущие больше всего смысла. Результат — лучшее сжатие, потому что кодек защищает информацию, которая действительно нужна людям или нисходящим системам. Этот сдвиг централен для того, как единые ИИ-платформы управляют разнообразными выводами моделей.

Вы можете увидеть это изменение и в визуальном качестве, и в использовании токенов. Результаты бенчмарков это подтверждают. STAC достиг экономии BD-rate 32,20 % по сравнению с VTM-17.0 ^[2], тогда как AdaCodec сократил использование визуальных токенов на 84,6 % и сохранил или улучшил точность ^[3].

Именно поэтому генеративное сжатие имеет больше всего смысла, когда вы думаете о нём как о коммуникации, ориентированной на задачу ^[9].

Где это важно в первую очередь? Ближайшие выигрыши сильнее всего в условиях ограниченной пропускной способности и чувствительных к задаче, включая:

• видеонаблюдение
• экстренное реагирование
• периферийные устройства
• образование
• коммерцию

Главный компромисс по-прежнему — стоимость декодера. Вычисления декодера остаются узким местом, и всё же меньшие генеративные модели уже приближаются к примерно 2-секундному инференсу на потребительских GPU ^[9].

Часто задаваемые вопросы

Чем мультимодальное сжатие отличается от обычного сжатия видео?

Сжатие видео обычно старается сохранить как можно больше пиксельной детали в каждом кадре. Мультимодальное сжатие идёт другим путём. Оно фокусируется больше на информации, нужной для нисходящих целей или перцептивного качества, чем на воспроизведении каждого отдельного пикселя.

С генеративными моделями оно меняет пропускную способность на вычисления. Отправитель описывает композицию и стиль видео, а ИИ на принимающей стороне восстанавливает его по этому описанию.

Когда выбирать семантическое сжатие вместо пиксельно-идеального качества?

Выбирайте семантическое сжатие, когда цель — помочь нисходящим задачам или соответствовать тому, что людям нужно видеть, а не сохранять точность на уровне битов.

Оно особенно хорошо работает в условиях низкой пропускной способности, вроде спутниковых соединений, где пиксельно точные кодеки могут ломаться или давать грубые артефакты. Семантические методы меняют вычисления на сжатие, сохраняя релевантную задаче информацию вместо того, чтобы тратить биты на избыточные фоновые текстуры.

Каковы самые большие компромиссы генеративного сжатия видео?

Главный компромисс — сдвиг от строгой пиксельной точности к семантическому и перцептивному качеству.

Старомодные кодеки пытаются сократить пиксельную ошибку. Но когда пропускная способность становится узкой, такой подход часто разваливается способами, которые зрители сразу замечают: блочность, размытие и временно́е мерцание.

Генеративное сжатие идёт другим путём. Оно опирается на сильные приоры, чтобы синтезировать высококачественные детали и продвинуть сжатие гораздо дальше.

Загвоздка проста: восстановленное видео может выглядеть убедительно и качественно, даже когда оно не совпадает с оригинальным кадром пиксель в пиксель. Другими словами, оно склонно отдавать предпочтение визуальной правдоподобности перед точным воспроизведением.