Метрики для оценки качества text-to-video

Если бы мне пришлось свести всё к одной мысли, вот она: ни одна метрика не может хорошо оценить text-to-video. Мне нужен стек, который проверяет визуальное качество, соответствие промпту и движение во времени. Если я использую только одну оценку, я могу упустить серьёзные проблемы вроде статичных клипов, дрейфа промпта или мерцания кадров.

Вот краткая версия:

• Метрики распределения вроде FVD оценивают, насколько сгенерированные видео близки к реальным как набор, но они не проверяют, был ли соблюдён промпт.
• Метрики кадров вроде PSNR, SSIM и LPIPS помогают мне заметить размытие, шум и дефекты кадров, но игнорируют движение и соответствие тексту.
• Метрики выравнивания вроде CLIPScore, ViCLIP и оценки на основе VQA проверяют, показывает ли видео правильные объекты, действия и отношения.
• Временные проверки вроде оптического потока, согласованности объекта и оценок мерцания помогают мне увидеть, плавное ли движение или видео просто остаётся неподвижным, чтобы лучше выглядеть на бумаге.
• Бенчмарки вроде VBench, T2VEval и T2VScore объединяют множество сигналов, тогда как проверка людьми по-прежнему важна для ошибок физики, проблем с анатомией и ошибок здравого смысла. Для автоматизированного визуального анализа инструменты вроде зрения GPT-4o могут помочь в выявлении этих дефектов.

Выделяются несколько чисел. ETVA достиг корреляции Спирмена 58.47 с человеческим суждением против 31.0 у VideoScore и 13.8 у CLIPScore. Установка DEVIL сообщила о корреляции Пирсона 90%+ для оценки динамики, а также обнаружила корреляцию Пирсона -88.9 между согласованностью объекта и динамикой, что показывает явный компромисс между движением и стабильностью.

Быстрое сравнение

Так что если я оцениваю вывод T2V, я не спрашиваю только «Хорошо ли это выглядит?» Я спрашиваю три вещи: Хорошо ли это выглядит? Следует ли это промпту? Остаётся ли это согласованным во времени? Это те бенчмарки, которые мы используем при тестировании моделей вроде Sora 2 на готовность к производству. Это суть статьи.

Основные объективные метрики качества генеративного видео

Объективные метрики помогают измерить визуальное качество и согласованность движения, но каждая из них смотрит только на часть картины T2V. Хороший способ читать их — слоями: начните с метрик на основе распределения, затем посмотрите на метрики уровня кадра, чтобы выявить локальные визуальные проблемы.

Fréchet Video Distance и связанные меры на основе распределения

Fréchet Video Distance (FVD) измеряет разрыв между активациями признаков реальных и сгенерированных видео в пространстве признаков предобученного видеоклассификатора, чаще всего I3D. Проще говоря, она проверяет, насколько сгенерированные видео близки к реальным видео как группа. Поскольку она работает с признаками видео, она также может отражать временную когерентность.

Fréchet Inception Distance (FID) работает похожим образом, но на неподвижных изображениях с сетью Inception-v3. Для видео её обычно применяют кадр за кадром. Это делает её грубым визуальным заменителем, а не метрикой движения. У неё нет чувства временного потока.

Inception Score (IS) смотрит и на качество изображения, и на разнообразие через распределения вероятностей классов из сети Inception. Загвоздка в том, что она зависит от классов ImageNet, что делает её слабым выбором для генерации видео.

Эти метрики полезны для агрегированного реализма, а не для выравнивания промпта. Они также несут компромиссы. FVD нужен большой набор референсных видео из того же распределения, что делает сравнение моделей запутанным, когда модели обучались на разных датасетах. И есть ещё одна загвоздка: выводы с низким движением от моделей вроде Kling V3 могут получать хорошие оценки, так что вам всё ещё нужны отдельные проверки динамики. Это особенно актуально при оценке высокоточных моделей вроде Google Veo 3.1.

Поскольку эти оценки игнорируют семантику промпта, следующий шаг — перцептивные метрики уровня кадра.

SSIM, PSNR и LPIPS для перцептивного качества уровня кадра

Там, где FVD проверяет распределение видео, SSIM, PSNR и LPIPS смотрят на отдельные кадры. Это делает их удобными для выявления дефектов изображения, даже если они мало что могут сказать о движении или соответствии тексту.

PSNR (Peak Signal-to-Noise Ratio) измеряет пиксельные различия между сгенерированным кадром и референсным кадром. Она очень быстрая, что приятно, но часто плохо соответствует человеческому суждению. Крошечный пиксельный сдвиг может обрушить оценку, даже когда изображение всё ещё выглядит хорошо.

SSIM (Structural Similarity Index) улучшает это, сравнивая яркость, контраст и структуру. Она обычно полезнее сырого сопоставления пикселей, но ей всё ещё нужен эталонный референсный кадр. Она также испытывает трудности с семантикой промпта и движением.

LPIPS (Learned Perceptual Image Patch Similarity) использует признаки глубокой сети вместо сырых пикселей. Это обычно лучше согласуется с человеческим суждением. Тем не менее она всё ещё работает кадр за кадром.

Все три разделяют одну и ту же основную слабость: они оценивают кадры в изоляции. У них нет временного осознания и нет способа судить о соблюдении промпта.

Используйте эти метрики, чтобы выявить размытие, шум и артефакты сжатия. Они хорошие диагностические инструменты для визуальных дефектов, но они не измеряют выравнивание текста или временную согласованность.

Метрики для выравнивания текста, движения и временной согласованности

Метрики выравнивания проверяют то, что упускают оценки уровня кадра: действительно ли видео следует промпту? Именно этот пробел пытается заполнить эта группа метрик.

Семантические оценки выравнивания на основе CLIP и с учётом видео

FVD, SSIM, PSNR и LPIPS могут рассказать вам о визуальном качестве и сходстве. Они не могут сказать, показала ли модель то, о чём просил промпт. Вот где вступают метрики выравнивания.

CLIPScore берёт эмбеддинги из текстового промпта и из кадров видео, затем измеряет косинусное сходство между ними. Она быстрая, простая в запуске и часто используется как базовая. Но она также довольно грубая. Она может упустить движение, пространственные отношения и небольшие атрибуты, которые важны для зрителей ^[6].

Варианты с учётом видео вроде ViCLIP пытаются исправить эту проблему. Они используют предобучение на видео-тексте, поэтому могут учитывать движение и контекст, основанный на времени, лучше обычного CLIPScore. Для промптов, построенных вокруг действий, эти методы обычно ближе соответствуют человеческому суждению, чем стандартный CLIPScore ^[1][6].

Когда сходство в стиле CLIP слишком широкое, оценка в стиле VQA даёт вам более точное прочтение того, о чём просил промпт.

VQA, оценка на основе подписей и понимание промпта

У сходства эмбеддингов есть пределы. Два видео могут располагаться близко друг к другу в пространстве эмбеддингов и всё же отличаться так, как человек заметил бы сразу.

Подходы на основе VQA справляются с этим, разбивая промпты на небольшие вопросы о сущностях, атрибутах и отношениях. Затем мультимодальная LLM отвечает на эти вопросы на основе видео.

ETVA — хороший пример. Она разбивает промпты на атомарные вопросы и отвечает на них с помощью мультимодальной LLM, что улучшает согласие с человеческим суждением ^[6]. В этой задаче ETVA достигла корреляции Спирмена 58.47 с человеческим суждением по сравнению с 31.0 у VideoScore и 13.8 у CLIPScore ^[6].

Методы на основе подписей, вроде BLIP-BLEU, идут другим путём. Они генерируют подпись для видео и сравнивают эту подпись с промптом с помощью BLEU или ROUGE. Это может работать для поверхностного сопоставления, но может упустить более сложное движение и смены сцены ^[6].

Оптический поток и меры временной согласованности на основе бенчмарков

Семантическое выравнивание говорит вам, что появляется в видео. Временная согласованность говорит вам, остаётся ли это содержимое стабильным от кадра к кадру.

Согласованность объекта часто измеряется через сходство признаков DINO между кадрами. Если лицо человека смещается со временем или объект меняет внешний вид без веской причины, оценка падает. Согласованность фона использует сходство признаков CLIP между кадрами, чтобы выявить странные сдвиги на фоне ^[1].

Оптический поток, часто оцениваемый с помощью RAFT, измеряет величину движения и согласованность потока. Это важно, потому что некоторые модели, вроде MiniMax Hailuo 02, выглядят стабильными просто потому, что делают видео почти статичными. Это может заставить числа согласованности выглядеть лучше, чем они заслуживают. Протокол DEVIL сообщил о корреляции Пирсона выше 90% между его оценкой динамики и человеческими рейтингами ^[3]. Он также обнаружил сильную отрицательную корреляцию между согласованностью объекта и динамикой, на уровне корреляции Пирсона -88.9, что показывает распространённый компромисс: видео с высоким движением могут получать худшие оценки согласованности, даже когда само движение правильное ^[3].

Временное мерцание измеряется более прямо путём вычисления средней абсолютной разницы между соседними кадрами. VBench включает это как одно из своих 16 измерений оценки ^[1].

Вместе взятые, эти проверки помогают отслеживать движение, дрейф и мерцание. По отдельности каждая метрика показывает только часть картины, поэтому их часто используют вместе с наборами бенчмарков и человеческими рейтингами.

Наборы бенчмарков и методы человеческой оценки

Когда отдельные метрики указывают в разные стороны, наборы бенчмарков дают вам общий способ судить о результатах. Вместо того чтобы полагаться на одну оценку, они объединяют несколько сигналов в одну установку, что значительно облегчает сравнение моделей между исследованиями.

VBench, T2VEval и T2VScore как многомерные бенчмарки

VBench, T2VEval и T2VScore все пытаются судить более чем об одной вещи одновременно. Но они делают это по-разному. VBench и T2VScore смотрят на выравнивание, качество и поведение во времени в одном рубрике, тогда как T2VEval добавляет отдельное измерение реалистичности, которое два других не выделяют само по себе.

VBench разбивает оценку на 16 иерархических измерений, разделённых между качеством видео и согласованностью видео с условием. Каждое измерение тестируется примерно 100 промптами ^[1].

T2VEval организует качество в четыре измерения верхнего уровня:

• общее впечатление
• согласованность текста и видео
• реалистичность
• техническое качество

Это разделение важно. Видео может выглядеть отполированным с технической точки зрения и всё же ощущаться фальшивым. T2VEval-Bench включает 1,783 видео, сгенерированных 13 разными моделями, включая Sora, Runway Gen-3 и Kling ^[5].

T2VScore сужает всё до двух измерений: выравнивание текста и видео и качество видео. Она использует визуальные вопросы-ответы (VQA) для выравнивания и смесь экспертов для качества. У двух измерений ρ Спирмена равна 0.223, что показывает, что они не движутся вместе очень тесно и должны оцениваться отдельно ^[7].

Протоколы человеческой оценки, такие как T2VHE

Автоматизированные бенчмарки широки. Проверка людьми ловит то, что они упускают.

Люди замечают ошибки физики, ошибки анатомии и провалы здравого смысла почти сразу. Метрике может быть всё равно, что вода должна разбрызгиваться, но не делает этого. Она также может упустить руку, сгибающуюся так, как не может ни одно человеческое тело. Люди-судьи не упускают такое так легко.

T2VHE (Text-to-Video Human Evaluation) — это стандартный протокол для человеческой оценки. Он делает упор на обучение аннотаторов, чёткие правила оценки и примеры пар, которые помогают калибровать суждение. Он также использует динамическую схему оценки, которая может сократить потребности в ручной аннотации примерно на 50% ^[5].

Это разделение подводит к следующему решению: подбору правильного стека метрик для рабочего процесса. Это особенно критично при тестировании высокопроизводительных моделей вроде Grok Imagine Video.

Применение этих метрик в рабочих процессах text-to-video

Выбор стека метрик для оценки в реальном времени и офлайн

Главная идея проста: подберите метрику под задачу.

На каждом этапе конвейера text-to-video вам нужен свой вид сигнала. Используйте метрики выравнивания, чтобы проверить, соответствует ли видео промпту. Используйте перцептивные оценки, чтобы судить о качестве кадра. Затем используйте метрики движения, чтобы увидеть, остаётся ли видео стабильным во времени.

Для живого мониторинга придерживайтесь лёгких семантических оценок выравнивания и визуального качества. Их проще запускать, и они лучше подходят, когда важна скорость. Для офлайн-работы планка другая. Если вы сравниваете модели, устанавливаете релизные ворота или отслеживаете дрейф качества со временем, более тяжёлые бенчмарки вроде FVD и VBench имеют больше смысла ^[4][1].

Движение добавляет ещё один слой. Если у видео есть движение камеры или движущиеся объекты переднего плана, метрики с учётом движения и трекинга важны очень сильно. Стандартные оценки могут упустить то, что люди замечают сразу, вроде дрейфа фона или дрожащего поведения объектов.

Как единые API-платформы, такие как APIMart, могут использовать метрики оценки

Тот же стек метрик также может поддерживать маршрутизацию на уровне платформы и контроль качества.

Единая ИИ-API-платформа вроде APIMart может использовать эти метрики для маршрутизации промптов, отбраковки выводов и поддержания согласованности проверок качества между рабочими процессами. Это важно, когда одна платформа работает с множеством моделей и вариантов использования одновременно. Вы не хотите, чтобы каждый рабочий процесс судил вывод по разной мерке.

Маршрутизация на основе метрик может помочь отправить каждый промпт к модели, которая ему подходит лучше всего. Для мониторинга во времени Conditional Fréchet Distance (cFreD) выделяется, потому что она не нуждается в переобучении и может отслеживать дрейф генеративного распределения по принципу plug-and-play ^[8].

Заключение. Что современные метрики делают хорошо и где исследования всё ещё открыты

Взятые вместе, эти метрики работают лучше всего как стек, а не как единая оценка.

Ни одна метрика не может рассказать всю историю. Хорошая оценка означает сочетание оценок качества видео, мер выравнивания текста, проверок движения и временной согласованности и человеческого суждения в ключевых точках валидации.

Современные метрики неплохо справляются с покрытием качества кадра, семантического выравнивания и временной согласованности. Более сложная проблема — получить лучшее покрытие и более чёткие объяснения без добавления задержки. Оценщики на основе LMM выглядят здесь многообещающе, потому что могут объяснить, почему видео провалилось, на естественном языке ^[2]. При этом они лучше подходят для офлайн-обзора, чем для живого мониторинга прямо сейчас.

Часто задаваемые вопросы

Почему одной метрики недостаточно?

Ни одна метрика не может выполнить всю работу, потому что у качества text-to-video больше одной подвижной части.

Меры вроде FVD или IS могут что-то сказать о техническом качестве или сходстве паттернов между выводами. Но они часто упускают семантическую согласованность, движение во времени, то, что люди на самом деле предпочитают, и совпадает ли видео с текстовым промптом в первую очередь.

Вот почему лучшая оценка смотрит на несколько измерений, вместо того чтобы полагаться на одну оценку.

Какие метрики следует объединить первыми?

Начните со слоистого подхода, который разделяет качество на две части: качество видео и согласованность текста и видео.

Прежде чем полагаться на метрики вроде Inception Score, Fréchet Video Distance или CLIPSim, сначала посмотрите на технические и эстетические метрики качества вместе. Это даёт вам базовую линию для пространственного содержимого и межкадровой временной согласованности до того, как вы судите, насколько хорошо видео совпадает с текстовым промптом.

Когда мне всё ещё нужна проверка людьми?

Проверка людьми по-прежнему важна. Автоматизированные метрики часто упускают детали, которые люди замечают сразу, вроде временной согласованности, семантического выравнивания, аутентичности, реализма или нелогичных объектов.

Объективные метрики могут дать вам надёжную базовую линию. Но они ненадёжно соответствуют фактическому качеству или человеческому восприятию. Вот почему пользовательские исследования всё ещё нужны: не существует одной автоматической меры, которая могла бы уловить все эти детали.