文本转视频质量评估的指标

如果要把这件事归结为一点，就是这个：没有任何单一指标能很好地评判文本转视频。 我需要一个_组合栈_来检查视觉质量、提示匹配和随时间的运动。如果我只用一个分数，就可能漏掉静止片段、提示漂移或帧闪烁等重大问题。

简而言之：

• 像 FVD 这样的分布指标评判生成视频作为一个集合与真实视频有多接近，但它们不检查提示是否被遵循。
• 像 PSNR、SSIM 和 LPIPS 这样的帧指标帮我发现模糊、噪声和帧缺陷，但它们忽略运动和文本匹配。
• 像 CLIPScore、ViCLIP 和基于 VQA 的评分这样的对齐指标测试视频是否呈现了正确的物体、动作和关系。
• 像光流、主体一致性和闪烁分数这样的时序检查帮我判断运动是否流畅，或者视频是否只是保持静止以在纸面上显得更好看。
• 像 VBench、T2VEval 和 T2VScore 这样的基准测试融合多种信号，而人工审核在物理错误、解剖问题和常识性错误上依然重要。对于自动化视觉分析，像 GPT-4o vision 这样的工具可以协助识别这些缺陷。

有几个数字值得注意。ETVA 与人类判断的 Spearman 相关系数达到 58.47，而 VideoScore 为 31.0，CLIPScore 为 13.8。DEVIL 方案报告其动态性评分的 Pearson 相关系数超过 90%，它还发现主体一致性与动态性之间存在 -88.9 的 Pearson 相关系数，这显示出运动与稳定性之间的明显权衡。

快速对比

所以如果我在评判 T2V 输出，我不会只问_"它看起来好吗？"_ 我会问三件事：它看起来好吗？它遵循提示了吗？它随时间保持一致吗？ 这些是我们在测试像 Sora 2 这类模型的生产就绪度时使用的基准。这就是本文的核心。

生成式视频质量的核心客观指标

客观指标有助于衡量视觉质量和运动一致性，但每一个都只看到 T2V 全貌的一部分。一个好的解读方式是分层来看：先从基于分布的指标开始，然后再看帧级指标以发现局部视觉问题。

Fréchet 视频距离及相关的基于分布的度量

Fréchet 视频距离（FVD） 测量真实视频和生成视频在预训练视频分类器（最常用 I3D）特征空间中的特征激活之间的差距。说白了，它检查生成视频作为一个整体与真实视频有多接近。因为它作用于视频特征，所以也能反映时序连贯性。

Fréchet 起始距离（FID） 的工作方式类似，但作用于静态图像并使用 Inception-v3 网络。对于视频，人们通常逐帧应用它。这使它成为一个粗略的视觉替代指标，而非运动指标。它没有任何时序流动的概念。

起始分数（IS） 通过 Inception 网络给出的类别概率分布同时考察图像质量和多样性。问题在于它依赖 ImageNet 类别，这使它与视频生成的匹配度较弱。

这些指标对于聚合真实感有用，而非提示对齐。它们也带有权衡。FVD 需要来自同一分布的大量参考视频，这让在不同数据集上训练的模型之间的比较变得混乱。还有另一个问题：像 Kling V3 这类模型的低运动输出可能得分很好，所以你仍需要针对动态性的单独检查。在评估像 Google Veo 3.1 这样的高保真模型时，这一点尤为相关。

由于这些分数忽略了提示语义，下一步就是帧级感知指标。

用于帧级感知质量的 SSIM、PSNR 和 LPIPS

FVD 检查视频分布，而 SSIM、PSNR 和 LPIPS 看的是单帧。这让它们便于发现图像缺陷，即便它们对运动或文本匹配说不出太多。

PSNR（峰值信噪比） 测量生成帧与参考帧之间的像素级差异。它非常快，这很好，但往往不太符合人类判断。即便图像看起来依然不错，一个微小的像素偏移也可能让分数暴跌。

SSIM（结构相似性指数） 通过比较亮度、对比度和结构对此做出改进。它往往比原始像素匹配更有用，但仍需要一个真值参考帧。它在提示语义和运动方面也力不从心。

LPIPS（学习感知图像块相似度） 使用深度网络特征而非原始像素。这通常与人类判断吻合得更好。即便如此，它仍然是逐帧工作的。

三者共享同一个核心弱点：它们孤立地评估帧。它们没有时序感知，也无从判断提示遵循度。

用这些指标来捕捉模糊、噪声和压缩伪影。它们是视觉缺陷的良好诊断工具，但它们不测量文本对齐或时序一致性。

文本对齐、运动和时序一致性的指标

对齐指标检查帧级分数漏掉的东西：视频真的遵循提示了吗？ 这正是这组指标试图填补的空白。

基于 CLIP 和视频感知的语义对齐分数

FVD、SSIM、PSNR 和 LPIPS 能告诉你视觉质量和相似度，却无法告诉你模型是否呈现了提示所要求的内容。这就是对齐指标的用武之地。

CLIPScore 从文本提示和视频帧中提取嵌入，然后测量它们之间的余弦相似度。它快速、易于运行，常被用作基线。但它也相当粗糙。它可能漏掉运动、空间关系和对观众重要的小属性 ^[6]。

像 ViCLIP 这样的视频感知变体试图修正这个问题。它们使用视频-文本预训练，因此能比普通的 CLIPScore 更好地考虑运动和基于时间的上下文。对于围绕动作构建的提示，这些方法往往比标准 CLIPScore 更贴近人类判断 ^[1][6]。

当 CLIP 式相似度过于宽泛时，VQA 式评分能让你更贴近地读出提示所要求的内容。

VQA、基于字幕的评分和提示理解

嵌入相似度有其局限。两个视频可以在嵌入空间中彼此靠近，却在一个人一眼就能注意到的方面存在差异。

基于 VQA 的方法通过把提示拆解为关于实体、属性和关系的小问题来应对这一点。然后由一个多模态 LLM 基于视频回答这些问题。

ETVA 是一个很好的例子。它把提示拆分为原子问题，并用多模态 LLM 回答，从而提高与人类判断的一致性 ^[6]。在这项任务上，ETVA 与人类判断的 Spearman 相关系数达到 58.47，相比之下 VideoScore 为 31.0，CLIPScore 为 13.8 ^[6]。

基于字幕的方法，例如 BLIP-BLEU，走的是另一条路。它们为视频生成一段字幕，再用 BLEU 或 ROUGE 把该字幕与提示进行比较。这对表层匹配有效，但可能漏掉更复杂的运动和场景变化 ^[6]。

光流和基于基准的时序一致性度量

语义对齐告诉你视频中_出现了什么_。时序一致性告诉你那些内容是否在帧与帧之间保持稳定。

主体一致性通常用跨帧的 DINO 特征相似度来测量。如果一个人的脸随时间变化，或某个物体无端改变外观，分数就会下降。背景一致性使用跨帧的 CLIP 特征相似度来发现背景中的异常变化 ^[1]。

光流通常用 RAFT 估计，测量运动幅度和流的一致性。这一点很重要，因为某些模型，比如 MiniMax Hailuo 02，仅仅通过让视频几乎静止就显得稳定。这会让一致性数字看起来比它应得的更好。DEVIL 协议报告其动态性评估与人类评分之间的 Pearson 相关系数超过 90% ^[3]。它还发现主体一致性与动态性之间存在强负相关，为 -88.9 的 Pearson 相关系数，这显示出一个常见的权衡：高运动视频即便运动本身正确，也可能在一致性上得分更差 ^[3]。

时序闪烁的测量更为直接，即计算连续帧之间的平均绝对差。VBench 将其作为其 16 个评估维度之一 ^[1]。

综合起来，这些检查有助于追踪运动、漂移和闪烁。单独来看，每个指标只显示画面的一部分，这就是为什么它们常与基准套件和人类评分一起使用。

基准套件和人工评估方法

当单个指标指向不同方向时，基准套件为你提供一种共享的方式来评判结果。它们不依赖单个分数，而是把多个信号打包进一个方案，这让跨研究的模型比较容易得多。

作为多维基准的 VBench、T2VEval 和 T2VScore

VBench、T2VEval 和 T2VScore 都试图一次评判不止一件事，但它们的做法并不相同。VBench 和 T2VScore 在一套评分标准中考察对齐、质量和基于时间的行为，而 T2VEval 增加了另外两者都没有单独隔离出来的_真实感_维度。

VBench 把评估拆分为 16 个层级维度，横跨视频质量和视频-条件一致性。每个维度用约 100 条提示进行测试 ^[1]。

T2VEval 把质量组织为四个顶层维度：

• 整体印象
• 文本-视频一致性
• 真实感
• 技术质量

这种拆分很重要。一个视频可以在技术角度看起来很精致，却仍让人觉得假。T2VEval-Bench 包含由 13 个不同模型生成的 1,783 个视频，包括 Sora、Runway Gen-3 和 Kling ^[5]。

T2VScore 把范围收窄到两个维度：文本-视频对齐和视频质量。它对对齐使用视觉问答（VQA），对质量使用专家混合。这两个维度的 Spearman ρ 为 0.223，表明它们并不十分同步变化，应当分开评分 ^[7]。

诸如 T2VHE 的人工评估协议

自动化基准很宽泛。人工审核能捕捉它们漏掉的东西。

人们几乎能立刻发现物理错误、解剖错误和常识性失误。一个指标可能不在意水应该溅起却没有溅起。它也可能漏掉一条以人体无法做到的方式弯折的手臂。人类评判者不会那么容易漏掉这些。

T2VHE（文本转视频人工评估）是一套用于人工评估的标准协议。它重视标注员培训、清晰的评分规则，以及有助于校准判断的示例对。它还使用一种动态评分方案，可以把人工标注需求减少约 50% ^[5]。

这种分工引出了下一个决策：为工作流挑选合适的指标组合。在测试像 Grok Imagine Video 这样的高性能模型时，这一点尤为关键。

在文本转视频工作流中应用这些指标

为实时和离线评估选择指标组合

核心思路很简单：让指标匹配任务。

在文本转视频流水线的每个阶段，你想要不同种类的信号。用对齐指标来检查视频是否契合提示。用感知分数来评判帧质量。然后用运动指标来判断视频是否随时间保持稳定。

对于实时监控，坚持使用轻量的语义对齐和视觉质量分数。它们更易于运行，也更适合速度关键的场景。对于离线工作，标准就不同了。如果你在比较模型、设定发布门槛或追踪质量随时间的漂移，那么像 FVD 和 VBench 这样更重的基准就更合适 ^[4][1]。

运动增加了另一层。如果视频有摄影机移动或移动的前景物体，那么运动感知和追踪感知的指标就非常重要。标准分数可能漏掉人类一眼就能注意到的东西，比如背景漂移或抖动的物体行为。

像 APIMart 这样的统一 API 平台如何使用评估指标

同样的指标组合也能支持平台级的路由和质量控制。

像 APIMart 这样的统一 AI API 平台可以用这些指标来路由提示、把关输出，并在各工作流之间保持质量检查的一致。当一个平台同时处理许多模型和用例时，这一点很重要。你不会希望每个工作流用不同的标尺来评判输出。

基于指标的路由可以帮助把每条提示发送到最适合它的模型。对于随时间的监控，条件 Fréchet 距离（cFreD） 尤为突出，因为它无需重新训练，并能以即插即用的方式追踪生成分布的漂移 ^[8]。

结论：当前指标做得好的地方，以及研究仍待突破之处

综合来看，这些指标最好作为一个组合栈使用，而非单一分数。

没有哪一个指标能讲述完整的故事。良好的评估意味着在关键验证点结合视频质量分数、文本对齐度量、运动与时序一致性检查，以及人类判断。

当前的指标在帧质量、语义对齐和时序一致性方面做得还不错。更难的问题是，在不增加延迟的前提下获得更好的覆盖和更清晰的解释。基于 LMM 的评估器在这里看起来很有前景，因为它们可以用自然语言解释一个视频为何失败 ^[2]。话虽如此，它们目前更适合离线审核，而非实时监控。

常见问题

为什么一个指标不够？

没有哪一个指标能完成全部工作，因为文本转视频质量有不止一个变动的部分。

像 FVD 或 IS 这样的度量可以对技术质量或跨输出的模式相似度说些什么。但它们往往漏掉语义一致性、随时间的运动、人们实际的偏好，以及视频一开始是否与文本提示对得上。

这就是为什么更好的评估会考察多个维度，而不是依赖单一分数。

我应该先组合哪些指标？

从一种分层方法开始，它把质量拆分为两部分：视频质量和文本-视频一致性。

在你依赖起始分数、Fréchet 视频距离或 CLIPSim 这类指标之前，先把技术质量和美学质量指标放在一起看。这会在你评判视频与文本提示的匹配程度_之前_，为空间内容和跨帧时序一致性提供一个基线。

我什么时候仍然需要人工审核？

人工审核依然重要。自动化指标常常漏掉人们一眼就能注意到的细节，比如时序一致性、语义对齐、真实性、逼真度或不合理的物体。

客观指标可以给你一个稳固的基线，但它们无法可靠地匹配实际质量或人类感知。这就是为什么用户研究仍然必要：没有哪一种自动度量能捕捉到所有这些细节。