텍스트-투-비디오 품질 평가를 위한 지표

이것을 한 가지로 압축하자면 이렇습니다. 단일 지표로는 텍스트-투-비디오를 제대로 판단할 수 없습니다. 저에게는 시각적 품질, 프롬프트 일치, 시간에 따른 모션을 확인하는 스택 이 필요합니다. 점수 하나만 쓰면 정적 클립, 프롬프트 표류, 프레임 깜빡임 같은 주요 문제를 놓칠 수 있습니다.

간단히 정리하면 이렇습니다.

• FVD 같은 분포 지표는 생성된 영상이 실제 영상 집합과 얼마나 가까운지 판단하지만, 프롬프트가 지켜졌는지는 확인하지 않습니다.
• PSNR, SSIM, LPIPS 같은 프레임 지표는 흐림, 노이즈, 프레임 결함을 잡아내는 데 도움이 되지만, 모션과 텍스트 일치는 무시합니다.
• CLIPScore, ViCLIP, VQA 기반 스코어링 같은 정렬 지표는 영상이 올바른 객체, 동작, 관계를 보여 주는지 테스트합니다.
• 옵티컬 플로우, 피사체 일관성, 깜빡임 점수 같은 시간적 점검은 모션이 부드러운지, 아니면 서류상 더 좋아 보이려고 영상이 그저 가만히 있는지 파악하는 데 도움이 됩니다.
• VBench, T2VEval, T2VScore 같은 벤치마크는 여러 신호를 결합하는 반면, 사람의 검토는 물리 오류, 해부학적 문제, 상식적 실수에 여전히 중요합니다. 자동화된 시각 분석의 경우 GPT-4o vision 같은 도구가 이러한 결함을 식별하는 데 도움을 줄 수 있습니다.

몇 가지 수치가 눈에 띕니다. ETVA 는 사람의 판단과 스피어만 상관계수 58.47 에 도달했는데, 이는 VideoScore의 31.0, CLIPScore의 13.8 과 대조됩니다. DEVIL 셋업은 다이내믹스 스코어링에 대해 90% 이상의 피어슨 상관계수 를 보고했으며, 피사체 일관성과 다이내믹스 사이에서 -88.9 피어슨 상관계수 도 발견했는데, 이는 모션과 안정성 사이의 명확한 트레이드오프를 보여 줍니다.

빠른 비교

그래서 T2V 출력을 판단할 때 저는 단지 "보기 좋은가?" 만 묻지 않습니다. 저는 세 가지를 묻습니다. 보기 좋은가? 프롬프트를 따르는가? 시간에 따라 일관성을 유지하는가? 이것이 Sora 2 같은 모델을 프로덕션 준비도 측면에서 테스트할 때 우리가 사용하는 기준입니다. 이것이 이 글의 핵심입니다.

생성 영상 품질을 위한 핵심 객관적 지표

객관적 지표는 시각적 품질과 모션 일관성을 측정하는 데 도움이 되지만, 각 지표는 T2V 그림의 일부만 봅니다. 이를 읽는 좋은 방법은 레이어로 보는 것입니다. 분포 기반 지표로 시작한 다음, 프레임 수준 지표를 살펴 국소적인 시각 문제를 잡아내세요.

프레셰 비디오 거리 및 관련 분포 기반 측정치

프레셰 비디오 거리(FVD) 는 사전 학습된 비디오 분류기의 특징 공간에서 실제 영상과 생성 영상의 특징 활성화 사이의 격차를 측정하며, 가장 흔히는 I3D를 사용합니다. 쉽게 말해, 생성된 영상이 실제 영상 집단과 얼마나 가까운지 확인합니다. 비디오 특징에 대해 작동하기 때문에, 시간적 일관성도 반영할 수 있습니다.

프레셰 인셉션 거리(FID) 는 비슷한 방식으로 작동하지만, Inception-v3 네트워크로 정지 이미지에 대해 작동합니다. 영상의 경우, 보통 프레임 단위로 적용합니다. 그래서 모션 지표가 아니라 대략적인 시각적 대용치가 됩니다. 시간적 흐름에 대한 감각이 없습니다.

인셉션 점수(IS) 는 Inception 네트워크의 클래스 확률 분포를 통해 이미지 품질과 다양성 모두를 봅니다. 함정은 이것이 ImageNet 클래스에 의존한다는 점인데, 이 때문에 영상 생성에 약하게 맞습니다.

이 지표들은 프롬프트 정렬이 아니라 집계적 리얼리즘에 유용합니다. 또한 트레이드오프가 따릅니다. FVD는 같은 분포에서 나온 큰 참조 영상 집합이 필요하며, 이는 모델들이 서로 다른 데이터셋으로 학습되었을 때 모델 비교를 지저분하게 만듭니다. 그리고 또 다른 함정이 있습니다. Kling V3 같은 모델의 저모션 출력이 좋은 점수를 받을 수 있어, 다이내믹스에 대한 별도 점검이 여전히 필요합니다. 이는 Google Veo 3.1 같은 고충실도 모델을 평가할 때 특히 관련이 있습니다.

이 점수들은 프롬프트 의미를 무시하므로, 다음 단계는 프레임 수준 지각적 지표입니다.

프레임 수준 지각적 품질을 위한 SSIM, PSNR, LPIPS

FVD가 영상 분포를 확인하는 반면, SSIM, PSNR, LPIPS는 단일 프레임을 봅니다. 그 덕분에 모션이나 텍스트 일치에 대해서는 별로 말할 수 없더라도, 이미지 결함을 잡아내는 데는 유용합니다.

PSNR (피크 신호 대 잡음비) 은 생성된 프레임과 참조 프레임 사이의 픽셀 수준 차이를 측정합니다. 매우 빠르다는 점은 좋지만, 사람의 판단과 잘 맞지 않는 경우가 많습니다. 이미지가 여전히 좋아 보여도 작은 픽셀 이동이 점수를 무너뜨릴 수 있습니다.

SSIM (구조적 유사성 지수) 은 휘도, 대비, 구조를 비교하여 그 점을 개선합니다. 원시 픽셀 매칭보다 더 유용한 경향이 있지만, 여전히 정답(ground-truth) 참조 프레임이 필요합니다. 또한 프롬프트 의미와 모션에 어려움을 겪습니다.

LPIPS (학습된 지각적 이미지 패치 유사성) 는 원시 픽셀 대신 딥 네트워크 특징을 사용합니다. 그래서 보통 사람의 판단과 더 잘 맞습니다. 그럼에도 여전히 프레임 단위로 작동합니다.

세 가지 모두 같은 핵심 약점을 공유합니다. 프레임을 고립된 상태로 평가합니다. 시간 인식이 없고 프롬프트 준수를 판단할 방법이 없습니다.

이 지표들을 사용해 흐림, 노이즈, 압축 아티팩트를 잡아내세요. 시각적 결함에 좋은 진단 도구이지만, 텍스트 정렬이나 시간적 일관성을 측정하지는 않습니다.

텍스트 정렬, 모션, 시간적 일관성을 위한 지표

정렬 지표는 프레임 수준 점수가 놓치는 것을 확인합니다. 영상이 실제로 프롬프트를 따르는가? 이것이 이 지표 그룹이 메우려는 공백입니다.

CLIP 기반 및 비디오 인식 의미 정렬 점수

FVD, SSIM, PSNR, LPIPS는 시각적 품질과 유사성에 대해 알려 줄 수 있습니다. 하지만 모델이 프롬프트가 요청한 것을 보여 주었는지는 알려 줄 수 없습니다. 그래서 정렬 지표가 등장합니다.

CLIPScore 는 텍스트 프롬프트와 영상 프레임에서 임베딩을 가져온 다음, 그 사이의 코사인 유사도를 측정합니다. 빠르고, 실행이 간단하며, 종종 베이스라인으로 쓰입니다. 하지만 상당히 뭉툭하기도 합니다. 모션, 공간 관계, 그리고 시청자에게 중요한 작은 속성을 놓칠 수 있습니다 ^[6].

ViCLIP 같은 비디오 인식 변형 은 그 문제를 해결하려 합니다. 비디오-텍스트 사전 학습을 사용하므로, 평범한 CLIPScore보다 모션과 시간 기반 컨텍스트를 더 잘 고려할 수 있습니다. 동작을 중심으로 구성된 프롬프트의 경우, 이 방법들이 표준 CLIPScore보다 사람의 판단과 더 가깝게 맞는 경향이 있습니다 ^[1][6].

CLIP 스타일 유사성이 너무 광범위할 때, VQA 스타일 스코어링은 프롬프트가 요청한 것에 대한 더 가까운 판독을 제공합니다.

VQA, 캡션 기반 스코어링, 프롬프트 이해

임베딩 유사성에는 한계가 있습니다. 두 영상이 임베딩 공간에서 서로 가까이 있으면서도 사람이 바로 알아챌 방식으로 다를 수 있습니다.

VQA 기반 접근은 프롬프트를 엔티티, 속성, 관계에 대한 작은 질문들로 나누어 그 문제를 다룹니다. 그런 다음 멀티모달 LLM이 영상을 바탕으로 그 질문들에 답합니다.

ETVA 가 좋은 예입니다. 프롬프트를 원자적 질문들로 나누고 멀티모달 LLM으로 답하여, 사람의 판단과의 일치도를 높입니다 ^[6]. 이 작업에서 ETVA는 사람의 판단과 스피어만 상관계수 58.47 에 도달했는데, 이는 VideoScore의 31.0, CLIPScore의 13.8 과 대조됩니다 ^[6].

BLIP-BLEU 같은 캡션 기반 방법은 다른 경로를 택합니다. 영상에 대한 캡션을 생성하고 BLEU나 ROUGE를 사용해 그 캡션을 프롬프트와 비교합니다. 표면 수준 매칭에는 효과가 있을 수 있지만, 더 복잡한 모션과 장면 변화를 놓칠 수 있습니다 ^[6].

옵티컬 플로우 및 벤치마크 기반 시간적 일관성 측정치

의미 정렬은 영상에 무엇이 나타나는지 알려 줍니다. 시간적 일관성은 그 콘텐츠가 프레임에서 프레임으로 안정적으로 유지되는지 알려 줍니다.

피사체 일관성 은 종종 프레임 전반의 DINO 특징 유사도로 측정됩니다. 사람의 얼굴이 시간이 지나며 변하거나 객체가 뚜렷한 이유 없이 외양을 바꾸면, 점수가 떨어집니다. 배경 일관성 은 프레임 전반의 CLIP 특징 유사도를 사용해 배경의 이상한 변화를 잡아냅니다 ^[1].

옵티컬 플로우 는 종종 RAFT로 추정되며, 모션 크기와 플로우 일관성을 측정합니다. 이것이 중요한 이유는 MiniMax Hailuo 02 같은 일부 모델이 영상을 거의 정적으로 만들어 안정적으로 보이기 때문입니다. 그러면 일관성 수치가 실제보다 더 좋아 보일 수 있습니다. DEVIL 프로토콜은 다이내믹스 평가와 사람 평가 사이에 90% 이상의 피어슨 상관계수를 보고했습니다 ^[3]. 또한 피사체 일관성과 다이내믹스 사이에서 -88.9 피어슨 상관계수 로 강한 음의 상관관계를 발견했는데, 이는 흔한 트레이드오프를 보여 줍니다. 고모션 영상은 모션 자체가 옳더라도 일관성에서 더 낮은 점수를 받을 수 있습니다 ^[3].

시간적 깜빡임 은 연속된 프레임 사이의 평균 절대 차이를 계산하여 더 직접적으로 측정됩니다. VBench는 이를 16개 평가 차원 중 하나로 포함합니다 ^[1].

이 점검들을 함께 모으면 모션, 표류, 깜빡임을 추적하는 데 도움이 됩니다. 각 지표는 단독으로는 그림의 일부만 보여 주므로, 종종 벤치마크 스위트와 사람 평가와 함께 쓰입니다.

벤치마크 스위트와 사람 평가 방법

단일 지표들이 서로 다른 방향을 가리킬 때, 벤치마크 스위트는 결과를 판단하는 공유된 방법을 제공합니다. 하나의 점수에 기대는 대신, 여러 신호를 하나의 셋업으로 묶어 교차 연구 모델 비교를 훨씬 쉽게 만듭니다.

다차원 벤치마크로서의 VBench, T2VEval, T2VScore

VBench, T2VEval, T2VScore는 모두 한 번에 한 가지 이상을 판단하려 합니다. 하지만 같은 방식으로 하지는 않습니다. VBench 와 T2VScore 는 하나의 루브릭에서 정렬, 품질, 시간 기반 동작을 보는 반면, T2VEval 은 다른 둘이 별도로 분리하지 않는 별개의 리얼니스 차원을 추가합니다.

VBench 는 평가를 16개의 계층적 차원으로 나누어 영상 품질과 영상-조건 일관성에 걸쳐 분산합니다. 각 차원은 약 100개의 프롬프트로 테스트됩니다 ^[1].

T2VEval 은 품질을 네 개의 상위 차원으로 구성합니다.

• 전체 인상
• 텍스트-영상 일관성
• 리얼니스
• 기술적 품질

그 구분이 중요합니다. 영상이 기술적 관점에서 세련되어 보이면서도 여전히 가짜처럼 느껴질 수 있습니다. T2VEval-Bench는 Sora, Runway Gen-3, Kling을 포함한 13개의 서로 다른 모델이 생성한 1,783개의 영상을 포함합니다 ^[5].

T2VScore 는 두 차원으로 좁힙니다. 텍스트-영상 정렬과 영상 품질입니다. 정렬에는 시각적 질의응답(VQA)을, 품질에는 전문가 혼합을 사용합니다. 두 차원의 스피어만 ρ는 0.223으로, 이들이 그리 밀접하게 함께 움직이지 않으며 별도로 채점되어야 함을 보여 줍니다 ^[7].

T2VHE 같은 사람 평가 프로토콜

자동화된 벤치마크는 폭넓습니다. 사람의 검토는 그것들이 놓치는 것을 잡아냅니다.

사람은 물리 오류, 해부학적 실수, 상식 실패를 거의 즉시 알아챕니다. 지표는 물이 튀어야 하는데 튀지 않는 것을 신경 쓰지 않을 수 있습니다. 또한 사람 몸으로는 불가능한 방식으로 팔이 굽는 것을 놓칠 수 있습니다. 사람 심사자는 그런 것들을 그렇게 쉽게 놓치지 않습니다.

T2VHE (Text-to-Video Human Evaluation)는 사람 평가를 위한 표준 프로토콜입니다. 어노테이터 훈련, 명확한 채점 규칙, 판단을 보정하는 데 도움이 되는 예시 쌍에 무게를 둡니다. 또한 수동 어노테이션 필요를 약 50% 줄일 수 있는 동적 채점 방식을 사용합니다 ^[5].

그 구분은 다음 결정을 준비시킵니다. 워크플로에 맞는 지표 스택을 고르는 것입니다. 이는 Grok Imagine Video 같은 고성능 모델을 테스트할 때 특히 중요합니다.

텍스트-투-비디오 워크플로에 이 지표들을 적용하기

실시간 및 오프라인 평가를 위한 지표 스택 선택

핵심 아이디어는 단순합니다. 지표를 작업에 맞추세요.

텍스트-투-비디오 파이프라인의 각 단계에서 서로 다른 종류의 신호가 필요합니다. 영상이 프롬프트에 맞는지 확인하려면 정렬 지표를 쓰세요. 프레임 품질을 판단하려면 지각적 점수를 쓰세요. 그런 다음 영상이 시간에 따라 안정적으로 유지되는지 보려면 모션 지표를 쓰세요.

라이브 모니터링에는 가벼운 의미 정렬과 시각 품질 점수를 고수하세요. 실행하기 더 쉽고 속도가 중요할 때 더 잘 맞습니다. 오프라인 작업에서는 기준이 다릅니다. 모델을 비교하거나, 릴리스 게이트를 설정하거나, 시간에 따른 품질 표류를 추적한다면, FVD 와 VBench 같은 더 무거운 벤치마크가 더 합리적입니다 ^[4][1].

모션은 또 다른 레이어를 더합니다. 영상에 카메라 움직임이나 움직이는 전경 객체가 있다면, 모션 및 트래킹 인식 지표가 매우 중요합니다. 표준 점수는 배경 표류나 흔들리는 객체 동작처럼 사람이 바로 알아채는 것들을 놓칠 수 있습니다.

APIMart 같은 통합 API 플랫폼이 평가 지표를 사용하는 방법

같은 지표 스택은 플랫폼 수준의 라우팅과 품질 관리도 지원할 수 있습니다.

APIMart 같은 통합 AI API 플랫폼은 이 지표들을 사용해 프롬프트를 라우팅하고, 출력을 게이팅하며, 워크플로 전반에서 품질 점검을 정렬된 상태로 유지할 수 있습니다. 이는 하나의 플랫폼이 여러 모델과 사용 사례를 한꺼번에 다룰 때 중요합니다. 각 워크플로가 서로 다른 잣대로 출력을 판단하는 것을 원치 않을 것입니다.

지표 기반 라우팅은 각 프롬프트를 가장 잘 맞는 모델로 보내는 데 도움이 될 수 있습니다. 시간에 따른 모니터링의 경우, 조건부 프레셰 거리(cFreD) 가 돋보이는데, 재학습이 필요 없고 플러그 앤 플레이 방식으로 생성 분포 표류를 추적할 수 있기 때문입니다 ^[8].

결론: 현재 지표가 잘하는 것과 연구가 아직 열려 있는 곳

종합하면, 이 지표들은 단일 점수가 아니라 스택 으로 가장 잘 작동합니다.

어떤 지표도 전체 이야기를 들려줄 수 없습니다. 좋은 평가란 영상 품질 점수, 텍스트 정렬 측정치, 모션 및 시간적 일관성 점검, 그리고 핵심 검증 지점에서의 사람 판단을 결합하는 것을 의미합니다.

현재 지표는 프레임 품질, 의미 정렬, 시간적 일관성을 다루는 데 괜찮은 일을 합니다. 더 어려운 문제는 지연 시간을 더하지 않으면서 더 나은 커버리지와 더 명확한 설명을 얻는 것입니다. LMM 기반 평가자 는 영상이 왜 실패했는지 자연어로 설명할 수 있기 때문에 여기서 유망해 보입니다 ^[2]. 그렇지만 현재로서는 라이브 모니터링보다 오프라인 검토에 더 잘 맞습니다.

자주 묻는 질문

왜 하나의 지표로는 충분하지 않나요?

텍스트-투-비디오 품질에는 움직이는 부분이 하나 이상 있기 때문에 어떤 단일 지표도 전체 작업을 해낼 수 없습니다.

FVD나 IS 같은 측정치는 출력 전반의 기술적 품질이나 패턴 유사성에 대해 무언가를 말할 수 있습니다. 하지만 종종 의미적 일관성, 시간에 따른 모션, 사람들이 실제로 선호하는 것, 그리고 애초에 영상이 텍스트 프롬프트와 맞아떨어지는지를 놓칩니다.

그래서 더 나은 평가는 하나의 점수에 기대는 대신 여러 차원을 봅니다.

어떤 지표를 먼저 결합해야 하나요?

품질을 영상 품질 과 텍스트-영상 일관성 이라는 두 부분으로 나누는 계층적 접근으로 시작하세요.

인셉션 점수, 프레셰 비디오 거리, CLIPSim 같은 지표에 기대기 전에, 먼저 기술적 품질과 미적 품질 지표를 함께 보세요. 그러면 영상이 텍스트 프롬프트와 얼마나 잘 맞는지 판단하기 전에 공간적 콘텐츠와 프레임 간 시간적 일관성에 대한 베이스라인을 얻게 됩니다.

언제 여전히 사람의 검토가 필요한가요?

사람의 검토는 여전히 중요합니다. 자동화된 지표는 시간적 일관성, 의미 정렬, 진정성, 리얼리즘, 또는 비합리적인 객체처럼 사람이 바로 알아채는 세부 사항을 종종 놓칩니다.

객관적 지표는 탄탄한 베이스라인을 줄 수 있습니다. 하지만 실제 품질이나 사람 지각과 안정적으로 맞아떨어지지는 않습니다. 그래서 사용자 연구가 여전히 필요합니다. 이 모든 세부 사항을 잡아낼 수 있는 단 하나의 자동 측정치는 없습니다.