多模态 AI 如何增强视频压缩

视频压缩正从像素匹配转向基于含义的决策。 从本文引用的研究中，我的主要收获很简单：当 AI 在视频之外还使用 文本、音频、运动或用户意图 时，它能更狠地削减码率，同时保留最重要的部分。

简而言之：

• 仅视觉的学习型编解码器已经很强。 STAC 相比 VTM-17.0 实现了 32.20% 的 BD-rate 节省。
• 多模态方法改变比特分配。 它们利用场景含义、时序或任务目标来决定什么获得更多比特。
• 基于 token 的系统可以大幅降低负载。 AdaCodec 把视觉 token 使用减少了 84.6%，并把 TTFT 从 9.26 秒降到 1.62 秒。
• 任务导向的压缩可以削减算力浪费。 EMC 为视频-语言任务把推理效率提升了 33.7%。
• 生成式方法可以把码率压到极低。 近期结果在 1080p 下达到了 0.005 bpp 乃至 低于 0.002 bpp。
• 代价是解码器成本。 更低的传输成本往往意味着接收端更多的 GPU 工作，在消费级和准专业级 GPU 上，29 帧 GOP 的解码时间约为 1.85 到 2.48 秒。

这对你意味着什么：如果你的目标是流媒体或存储，像素质量仍然重要。但如果你的目标是 监控、边缘 AI、应急响应、教育或商业，那么语义和任务感知的压缩可能比完美的帧重建更重要。

理解即压缩：LLM 模型碾压所有当前已知的压缩方法

快速对比

所以如果我把这篇文章浓缩成一点，就是这个：多模态 AI 帮助编解码器决定什么重要，而不只是什么变了。 这正是当前很多进展的来源。

近期研究揭示的多模态压缩

作为基线的仅视觉学习型编解码器

STAC 框架（时空自适应上下文）清楚地展现了仅视觉学习型编解码器目前所处的位置。它相比 VTM-17.0（VVC）实现了 32.20% 的平均 BD-rate 节省 ^[2]，并以 2.7 个百分点击败了此前最先进的模型 DCMVC。STAC 通过一个自适应上下文选择器做到这一点，它选择最有用的参考帧，再加上一个改善预测的双路径熵模型 ^[2]。

这带来了更好的像素级保真度。但有一个问题：STAC 仍然在没有语义上下文的情况下工作。所以它为视觉压缩设定了一个强基线，同时也让下一步变得相当明显。如果一个模型能理解场景含义，它就可能把比特放在最重要的地方，而不是把每个区域都当作值得同样关注。

语义与跨模态信号如何改变编码器决策

近期多模态工作背后的主要思想很简单：并非帧的每个部分都需要相同数量的比特。一旦编码器对场景中正在发生的事情有了某种感知，它就能在重要区域花更多比特，在其他地方更激进地压缩。

来自上海交通大学和京东的 AdaCodec 是一个好例子。它把帧到帧的变化存储为 P-token，并为参考帧保留完整的视觉 token ^[3]。这种配置把视觉 token 使用削减了 84.6%，并把首 token 时间（TTFT）从 9.26 秒降到 1.62 秒 ^[3]。它还在长视频基准上超越了 Qwen3-VL-8B 基线，同时只使用了大约 七分之一的 token 预算 ^[3]。

另一条路径较少关注重建像素，更多关注只保留最终任务所需的东西。内胚层多模态压缩（EMC）遵循这个思路，只保留 VideoQA 等任务所需的信息。说白了，它把压缩逻辑应用于语义证据而非原始像素。当 EMC 被集成时，它为视频-语言理解把推理效率提升了 33.7%，训练效率提升了 7.33% ^[4]。

所以分野正变得更清晰。仅视觉编解码器追逐保真度。多模态方法则推向语义一致性和任务感知的 token 使用。

APIMart 在原型开发与部署中的位置

对于构建和测试这些跨模态管道的团队，APIMart 可以让早期工作不那么杂乱。它提供一个统一的 API，让你把视频、图像和语言模型放在一起尝试，这在你想测试跨模态信号如何改变帧选择和重建时很有帮助。

三种能改善压缩的多模态信号

上一节从高层面展示了语义和跨模态信号如何改变编码器选择。在这里的三个方向中，规律相当清晰：语义感知改变比特去哪里，音视频时序锐化什么被保留，token 级意图则进一步收窄这个过程。

使用视觉和文本信号的语义感知压缩

这些方法展示了文本和视觉如何把码率引向语义内容。如果编码器知道场景中什么重要，它就能把更多比特发给重要区域，把其他一切压缩得更狠。

M3-CVC（复旦大学，2024 年 12 月）使用一个基于对话的大型多模态模型从帧中提取层次化文本描述。然后它用这些描述在超低码率的重建过程中引导一个基于扩散的解码器。结果是：它在 LPIPS 和 CLIP-sim 上以明显优势击败 VVC，即使在 VVC 出现严重块效应伪影的情况下也是如此 ^[1]。

SMC++（上海交通大学和上海人工智能实验室，2025 年 10 月）削减那些花费比特但对下游任务无帮助的细节。它通过一个掩码视频建模目标做到这一点，同时一个引导式 Transformer 跨模态对齐特征。在 7 个数据集和 3 项任务——动作识别、MOT 和 VOS——上，即使基础 VVC 层有严重的信号退化，SMC++ 仍保持了很高的任务准确率 ^[6]。

同样的思路也延续到基于时间的信号上。这些系统不只是问 帧中什么重要，还问 它何时重要。

用于语音和事件时序的音频感知压缩

音视频时序和事件结构帮助模型选择有代表性的关键帧和运动片段。这在不打乱事件时序的情况下降低码率 ^[5]。在跨模态视频编码（CMVC）中，视频被拆分为空间内容和运动成分，然后转化为紧凑的多模态表示 ^[5]。

"MLLM 擅长处理序列数据并理解视频中事件的时间关系。" - Pingping Zhang 等人 ^[5]

这把压缩从逐帧存储转向事件感知的表示。从那里开始，下一步更进一步：基于直接的用户意图进行压缩。

面向用户意图的 token 驱动压缩

Video TokenCom 给意图相关的 token 完整精度，给较低优先级的 token 降低精度。说白了，系统把比特花在用户关心的东西上，在其他地方放松，这在削减码率的同时保持最重要的内容完好 ^[7]。

"Token 通信（TokenCom）是一种新范式……其中 token 充当通信和计算的统一单元，实现高效的语义和目标导向的信息交换。" - Jingxuan Men 等人 ^[7]

这种方式不是把帧的每个部分一视同仁，而是让压缩变得目标感知且有选择性 ^[7]。

生成式压缩与实时部署的权衡

生成式和基于 token 的方法如何降低码率

在 token 级压缩的基础上，生成式方法把事情推得更远。它们不保留每个像素，而是在解码器端重建视觉细节。实践中，生成式压缩发送一个紧凑的隐变量表示，然后使用生成式先验来填补未传输的部分。

这种转变可以大幅削减码率。TeleAI 在 2025 年中的海事卫星演示达到了 0.005 bpp，而早稻田大学在 2026 年 4 月的零样本 GVCC 交付了 低于 0.002 bpp 的 1080p 重建，同时相比 DCVC-RT 把 LPIPS 降低了 70.3% ^{[9] [10]}。

基于 token 的压缩走另一条路。Token 化视频压缩（TVC）使用掩码 token 和时空预测来利用跨帧的语义冗余 ^[8]。

实时约束：算力、延迟与成本

那些码率削减只有在解码保持足够快以用于生产时才有意义。这正是权衡以直白方式显现之处：随着码率下降，更多的负担从传输转移到推理。所以解码器必须实时运行大模型。

数字把这一点说清了。在 NVIDIA L40S、RTX 4090 和 RTX 4080 上，29 帧 GOP 的 GVC 解码分别需要 1.85 秒、2.12 秒和 2.48 秒 ^[9]。

这就是压缩-计算-质量的权衡。简单说，你省了带宽，但你要用更多的解码工作来偿还。这就是为什么蒸馏和更快的采样是走向消费级部署的主要路径 ^[9]。

使用 APIMart 测试多模态视频工作流

对于原型开发，APIMart 可以把语义提取、重建和评估绑进一个工作流。团队可以用它通过一个统一 API 串联视频、图像和语言模型，用于语义提取、重建和延迟测试。

如果你想在完整部署之前看看多模态视频管道的表现，这是一种在一个地方测试各个活动部件的实用方式。

结论：多模态 AI 为视频压缩带来了什么改变

多模态 AI 以一种简单但重要的方式改变了视频压缩：它把目标从 匹配像素 转向 保留对任务重要的东西。语义信号、音频线索和注视数据帮助系统把比特花在承载最多含义的部分上。结果是更好的压缩，因为编解码器保护了人或下游系统真正需要的信息。这种转变是统一 AI 平台如何管理多样化模型输出的核心。

你可以在视觉质量和 token 使用两方面看到这种变化。基准结果支持这一点。STAC 相比 VTM-17.0 达到了 32.20% 的 BD-rate 节省 ^[2]，而 AdaCodec 把视觉 token 使用削减了 84.6% 并保持或提升了准确率 ^[3]。

这就是为什么当你把生成式压缩看作任务导向的通信时，它最有意义 ^[9]。

那么这首先在哪里重要？近期收益最强的地方是在带宽受限、任务敏感的场景中，包括：

• 监控
• 应急响应
• 边缘设备
• 教育
• 商业

主要权衡仍然是解码器成本。解码器算力仍是瓶颈，即便如此，更小的生成式模型在消费级 GPU 上已经接近 约 2 秒的推理 ^[9]。

常见问题

多模态压缩与常规视频压缩有什么不同？

视频压缩通常试图在每一帧中尽可能多地保留像素细节。多模态压缩走一条不同的路。它更关注下游目标或感知质量所需的信息，而不是复现每一个像素。

借助生成式模型，它用计算换带宽。发送端描述视频的构图和风格，接收端的 AI 从那个描述重建它。

我什么时候应该选择语义压缩而不是像素级完美质量？

当目标是帮助下游任务或匹配人们需要看到的东西，而不是保持比特级准确性时，选择语义压缩。

它在低带宽场景中效果尤其好，比如卫星连接，那里像素精确的编解码器可能崩溃或产生刺眼的伪影。语义方法用计算换压缩，保留任务相关的信息，而不是把比特花在冗余的背景纹理上。

生成式视频压缩最大的权衡是什么？

主要权衡是从严格的逐像素准确性转向语义和感知质量。

老派编解码器试图削减像素误差。但当带宽吃紧时，那种方式常常以观众一眼就能看出的方式崩溃：块效应、模糊和时间闪烁。

生成式压缩走一条不同的路。它依靠强先验来合成高质量细节，把压缩推得更远。

问题很简单：重建的视频可能看起来令人信服且高质量，即使它并不 逐像素 匹配原始帧。换句话说，它倾向于偏好视觉合理性而非精确复现。