テキストから動画への品質評価の指標

これを一点に煮詰めるなら、こうです。単一の指標ではテキストから動画への生成をうまく判断できません。 私は、視覚的品質、プロンプトの一致、時間経過に伴う動きをチェックする_スタック_が必要です。1つのスコアしか使わなければ、静止したクリップ、プロンプトのドリフト、フレームのちらつきといった重大な問題を見逃しかねません。

要点はこうです。

• FVDのような分布指標は、生成された動画が実際の動画にセットとしてどれだけ近いかを判断しますが、プロンプトが守られたかはチェックしません。
• PSNR、SSIM、LPIPSのようなフレーム指標は、ぼやけ、ノイズ、フレームの欠陥を見つけるのに役立ちますが、動きやテキストの一致は無視します。
• CLIPScore、ViCLIP、VQAベースのスコアリングのようなアライメント指標は、動画が正しいオブジェクト、アクション、関係を示しているかをテストします。
• オプティカルフロー、被写体の一貫性、ちらつきスコアのような時間的チェックは、動きが滑らかか、あるいは動画が見栄えを良くするために単に静止したままなのかを見るのに役立ちます。
• VBench、T2VEval、T2VScoreのようなベンチマークは多くのシグナルを組み合わせますが、物理エラー、解剖学的な問題、常識的な誤りには人間によるレビューが依然として重要です。自動化された視覚分析には、GPT-4o visionのようなツールがこれらの欠陥の特定を支援できます。

いくつかの数字が際立ちます。ETVAは人間の判断とのスピアマン相関58.47に達し、これはVideoScoreの31.0、CLIPScoreの13.8と比べたものです。DEVILのセットアップは、ダイナミクスのスコアリングで90%超のピアソン相関を報告し、また被写体の一貫性とダイナミクスの間に**-88.9のピアソン相関**を見出しました。これは動きと安定性の間の明確なトレードオフを示しています。

簡易比較

ですから、T2Vの出力を判断するなら、私は単に_「見栄えが良いか?」_だけを問いません。3つのことを問います。見栄えが良いか? プロンプトに従っているか? 時間経過とともに一貫性を保つか? これらは、私たちがSora 2のようなモデルをプロダクション対応度でテストするときに使うベンチマークです。それがこの記事の核心です。

生成動画の品質に対する主要な客観的指標

客観的指標は視覚的品質と動きの一貫性を測るのに役立ちますが、それぞれがT2Vの全体像の一部しか見ていません。それらを読み解く良い方法は、レイヤーで見ることです。まず分布ベースの指標から始め、次にフレームレベルの指標を見て局所的な視覚の問題を見つけます。

Fréchet Video Distanceと関連する分布ベースの尺度

**Fréchet Video Distance（FVD）**は、事前学習済みの動画分類器（多くはI3D）の特徴空間における、実際の動画と生成された動画の特徴活性化の差を測ります。平たく言えば、生成された動画がグループとして実際の動画にどれだけ近いかをチェックします。動画の特徴に対して機能するため、時間的な一貫性も反映できます。

**Fréchet Inception Distance（FID）**は似た方法で機能しますが、Inception-v3ネットワークを使った静止画像に対してです。動画の場合、人々は通常フレームごとに適用します。そのため、動きの指標ではなく、大まかな視覚の代替となります。時間的な流れの感覚はありません。

**Inception Score（IS）**は、Inceptionネットワークからのクラス確率分布を通じて、画像品質と多様性の両方を見ます。ただし、これはImageNetのクラスに依存するため、動画生成には弱い適合となります。

これらの指標は、プロンプトのアライメントではなく、総合的なリアリズムに役立ちます。またトレードオフも伴います。FVDは同じ分布からの大量の参照動画を必要とするため、モデルが異なるデータセットで学習されている場合、モデル比較が煩雑になります。もう1つの落とし穴があります。Kling V3のようなモデルからの動きの少ない出力は高いスコアを取れてしまうため、ダイナミクスには依然として別のチェックが必要です。これは、Google Veo 3.1のような高忠実度のモデルを評価するときに特に関連します。

これらのスコアはプロンプトの意味を無視するため、次のステップはフレームレベルの知覚指標です。

フレームレベルの知覚品質のためのSSIM、PSNR、LPIPS

FVDが動画の分布をチェックするのに対し、SSIM、PSNR、LPIPSは単一のフレームを見ます。そのため、動きやテキストの一致についてはあまり語れなくても、画像の欠陥を見つけるのに役立ちます。

**PSNR（Peak Signal-to-Noise Ratio）**は、生成されたフレームと参照フレームの間のピクセルレベルの差を測ります。非常に高速なのは良い点ですが、人間の判断との一致は往々にして不十分です。画像がまだ良く見えても、わずかなピクセルのずれでスコアが暴落することがあります。

**SSIM（Structural Similarity Index）**は、輝度、コントラスト、構造を比較することでそれを改善します。生のピクセルの一致よりも有用な傾向がありますが、それでもグラウンドトゥルースの参照フレームを必要とします。また、プロンプトの意味や動きにも苦労します。

**LPIPS（Learned Perceptual Image Patch Similarity）**は、生のピクセルの代わりに深層ネットワークの特徴を使います。これは通常、人間の判断とよりよく一致します。とはいえ、それでもフレームごとに機能します。

3つすべてが同じ核心的な弱点を共有します。フレームを単独で評価するのです。時間的な認識はなく、プロンプトの順守を判断する手段もありません。

これらの指標を使って、ぼやけ、ノイズ、圧縮アーティファクトを見つけましょう。視覚的な欠陥に対する良い診断ツールですが、テキストのアライメントや時間的一貫性は測りません。

テキストのアライメント、動き、時間的一貫性のための指標

アライメント指標は、フレームレベルのスコアが見逃すものをチェックします。動画は実際にプロンプトに従っているか? それが、このグループの指標が埋めようとするギャップです。

CLIPベースおよび動画を意識した意味的アライメントスコア

FVD、SSIM、PSNR、LPIPSは、視覚的品質と類似性について教えてくれます。それらは、モデルがプロンプトの求めたものを示したかどうかは教えてくれません。そこでアライメント指標の出番です。

CLIPScoreは、テキストプロンプトと動画フレームから埋め込みを取り、その間のコサイン類似度を測ります。高速で実行が簡単なため、しばしばベースラインとして使われます。しかし、かなり大雑把でもあります。動き、空間的関係、そして視聴者にとって重要な小さな属性を見逃すことがあります ^[6]。

ViCLIPのような動画を意識したバリアントは、その問題を修正しようとします。動画とテキストの事前学習を使うため、プレーンなCLIPScoreよりも動きや時間ベースのコンテキストを考慮できます。アクションを中心に組み立てられたプロンプトでは、これらの手法は標準のCLIPScoreよりも人間の判断に近く一致する傾向があります ^[1][6]。

CLIP風の類似性が広すぎるとき、VQA風のスコアリングは、プロンプトが求めたものをより緊密に読み取ってくれます。

VQA、キャプションベースのスコアリング、プロンプトの理解

埋め込みの類似性には限界があります。2つの動画が埋め込み空間で近くにあっても、人がすぐに気づくような形で異なることがあります。

VQAベースのアプローチは、プロンプトをエンティティ、属性、関係についての小さな質問に分解することでそれに対処します。次にマルチモーダルLLMが、動画に基づいてそれらの質問に答えます。

ETVAが良い例です。プロンプトを原子的な質問に分割し、マルチモーダルLLMでそれらに答えることで、人間の判断との一致を向上させます ^[6]。このタスクで、ETVAは人間の判断とのスピアマン相関58.47に達し、VideoScoreの31.0、CLIPScoreの13.8と比較されました ^[6]。

BLIP-BLEUのようなキャプションベースの手法は、別の道を取ります。動画のキャプションを生成し、そのキャプションをBLEUやROUGEを使ってプロンプトと比較します。それは表面レベルの一致には機能しますが、より複雑な動きやシーンの変化を見逃すことがあります ^[6]。

オプティカルフローとベンチマークベースの時間的一貫性の尺度

意味的アライメントは、動画に_何が_現れるかを教えてくれます。時間的一貫性は、そのコンテンツがフレームからフレームへと安定を保つかどうかを教えてくれます。

被写体の一貫性は、しばしばフレーム間のDINO特徴の類似度で測られます。人の顔が時間とともにずれたり、オブジェクトが理由もなく見た目を変えたりすると、スコアが下がります。背景の一貫性は、フレーム間のCLIP特徴の類似度を使って、背景の奇妙なずれを見つけます ^[1]。

オプティカルフローは、しばしばRAFTで推定され、動きの大きさとフローの一貫性を測ります。これが重要なのは、MiniMax Hailuo 02のような一部のモデルが、動画をほぼ静止させることで単に安定して見えるからです。それによって一貫性の数値が、実際よりも良く見えることがあります。DEVILプロトコルは、そのダイナミクス評価と人間の評価の間に90%を超えるピアソン相関を報告しました ^[3]。また、被写体の一貫性とダイナミクスの間に、-88.9のピアソン相関という強い負の相関を見出しました。これは一般的なトレードオフを示しています。動きの多い動画は、その動き自体が正しくても、一貫性で悪いスコアを取ることがあるのです ^[3]。

時間的ちらつきは、連続するフレーム間の平均絶対差を計算することで、より直接的に測られます。VBenchは、これを16の評価次元の1つとして含んでいます ^[1]。

まとめると、これらのチェックは動き、ドリフト、ちらつきを追跡するのに役立ちます。それ単独では、各指標は全体像の一部しか示さないため、しばしばベンチマークスイートや人間の評価と併用されます。

ベンチマークスイートと人間による評価手法

単一の指標が異なる方向を指すとき、ベンチマークスイートは結果を判断する共通の方法を与えてくれます。1つのスコアに頼る代わりに、複数のシグナルを1つのセットアップにまとめるため、研究間のモデル比較がはるかに容易になります。

多次元ベンチマークとしてのVBench、T2VEval、T2VScore

VBench、T2VEval、T2VScoreはすべて、一度に複数のことを判断しようとします。しかし、同じやり方ではありません。VBenchとT2VScoreは、アライメント、品質、時間ベースの挙動を1つのルーブリックで見ますが、T2VEvalは他の2つが単独では切り出さない別個の_リアルさ_の次元を追加します。

VBenchは、評価を16の階層的次元に分解し、動画品質と動画条件の一貫性にまたがって分割します。各次元は約100のプロンプトでテストされます ^[1]。

T2VEvalは、品質を4つのトップレベルの次元に整理します。

• 全体的な印象
• テキストと動画の一貫性
• リアルさ
• 技術的品質

その分割が重要です。動画は技術的な観点から洗練されて見えても、依然として偽物に感じられることがあります。T2VEval-Benchは、Sora、Runway Gen-3、Klingを含む13の異なるモデルによって生成された1,783本の動画を含んでいます ^[5]。

T2VScoreは、物事を2つの次元に絞り込みます。テキストと動画のアライメントと、動画品質です。アライメントにはVisual Question Answering（VQA）を、品質にはmixture of expertsを使います。2つの次元はスピアマンのρが0.223であり、これは両者があまり緊密に連動せず、別々にスコアリングされるべきであることを示しています ^[7]。

T2VHEのような人間による評価プロトコル

自動化されたベンチマークは広範です。人間によるレビューは、それらが見逃すものを捉えます。

人々は、物理エラー、解剖学的な誤り、常識の失敗をほぼ瞬時に見つけます。指標は、水が跳ねるべきなのに跳ねないことを気にしないかもしれません。また、人体ではありえない曲がり方をした腕を見逃すかもしれません。人間の審査員は、そう簡単には見逃しません。

T2VHE（Text-to-Video Human Evaluation）は、人間による評価のための標準プロトコルです。アノテーターの訓練、明確なスコアリングルール、そして判断の較正を助ける例のペアに重点を置きます。また、手作業のアノテーションの必要性を約50%削減できる動的なスコアリング方式を使います ^[5]。

その分割が、次の決定へとつながります。ワークフローに適した指標スタックを選ぶことです。これは、Grok Imagine Videoのような高性能モデルをテストするときに特に重要です。

これらの指標をテキストから動画へのワークフローに適用する

リアルタイムおよびオフライン評価のための指標スタックの選択

主な考え方はシンプルです。指標を仕事に合わせる。

テキストから動画へのパイプラインの各段階で、異なる種類のシグナルが欲しくなります。動画がプロンプトに適合しているかをチェックするにはアライメント指標を使います。フレーム品質を判断するには知覚スコアを使います。次に、動画が時間経過とともに安定を保つかを見るには動きの指標を使います。

ライブモニタリングには、軽量な意味的アライメントと視覚的品質のスコアを使い続けましょう。実行が容易で、速度が重要なときによく適合します。オフライン作業では、基準が異なります。モデルを比較したり、リリースゲートを設定したり、時間経過に伴う品質のドリフトを追跡したりする場合は、FVDやVBenchのようなより重いベンチマークの方が理にかなっています ^[4][1]。

動きはもう1つのレイヤーを加えます。動画にカメラの動きや動く前景オブジェクトがある場合、動きとトラッキングを意識した指標が大いに重要になります。標準的なスコアは、背景のドリフトや不安定なオブジェクトの挙動のような、人間がすぐに気づくものを見逃すことがあります。

APIMartのような統一APIプラットフォームは評価指標をどう使えるか

同じ指標スタックは、プラットフォームレベルのルーティングと品質管理もサポートできます。

APIMartのような統一されたAI APIプラットフォームは、これらの指標を使ってプロンプトをルーティングし、出力をゲートし、ワークフロー全体で品質チェックを揃えたまま保てます。それは、1つのプラットフォームが一度に多くのモデルとユースケースを扱っているときに重要になります。各ワークフローが異なる物差しで出力を判断してほしくはありません。

指標ベースのルーティングは、各プロンプトを最も適したモデルに送るのに役立ちます。時間経過に伴うモニタリングには、**Conditional Fréchet Distance（cFreD）**が際立ちます。再学習を必要とせず、生成分布のドリフトをプラグアンドプレイの方法で追跡できるからです ^[8]。

結論：現在の指標が得意なことと、研究がまだ未解決なところ

まとめると、これらの指標は単一のスコアとしてではなく、スタックとして最も効果を発揮します。

どの1つの指標も、全体の物語を語ることはできません。良い評価とは、動画品質のスコア、テキストのアライメントの尺度、動きと時間的一貫性のチェック、そして重要な検証ポイントでの人間の判断を組み合わせることを意味します。

現在の指標は、フレーム品質、意味的アライメント、時間的一貫性のカバーにおいてまずまずの仕事をします。より難しい問題は、レイテンシを追加することなく、より良いカバレッジとより明確な説明を得ることです。LMMベースの評価器は、なぜ動画が失敗したのかを自然言語で説明できるため、ここで有望に見えます ^[2]。とはいえ、それらは今のところライブモニタリングよりもオフラインレビューに適合します。

よくある質問

なぜ1つの指標では不十分なのですか?

単一の指標が全体の仕事をこなせないのは、テキストから動画への品質に複数の可動部分があるからです。

FVDやISのような尺度は、技術的品質や出力間のパターンの類似性について何かを語れます。しかしそれらは、意味的な一貫性、時間経過に伴う動き、人々が実際に好むもの、そしてそもそも動画がテキストプロンプトと合致しているかどうかを、往々にして見逃します。

だからこそ、より良い評価は、たった1つのスコアに頼るのではなく、複数の次元を見るのです。

まずどの指標を組み合わせるべきですか?

品質を2つの部分に分ける階層的なアプローチから始めましょう。動画品質とテキストと動画の一貫性です。

Inception Score、Fréchet Video Distance、CLIPSimのような指標に頼る前に、まず技術的品質と美的品質の指標を一緒に見ましょう。それにより、動画がテキストプロンプトにどれだけ合致しているかを判断する_前_に、空間的なコンテンツとフレーム間の時間的一貫性のベースラインが得られます。

依然として人間によるレビューが必要なのはいつですか?

人間によるレビューは依然として重要です。自動化された指標は、時間的一貫性、意味的アライメント、真正性、リアリズム、あるいは非合理的なオブジェクトのような、人々がすぐに気づくディテールを往々にして見逃します。

客観的指標は、確かなベースラインを与えてくれます。しかし、実際の品質や人間の知覚と確実に一致するわけではありません。だからこそユーザースタディが依然として必要なのです。これらすべてのディテールを捉えられる単一の自動的な尺度は存在しません。