멀티모달 AI가 영상 압축을 향상시키는 방법

영상 압축은 픽셀 매칭에서 의미 기반 결정으로 옮겨가고 있다. 이 글의 연구에서 내가 얻은 주요 결론은 간단하다: AI가 영상과 함께 _텍스트, 오디오, 모션, 또는 사용자 의도_를 사용하면, 가장 중요한 부분은 지키면서 비트레이트를 더 강하게 낮출 수 있다.

짧게 정리하면 이렇다.

• 시각 전용 학습 코덱은 이미 강력하다. STAC는 VTM-17.0 대비 32.20% BD-rate 절감을 기록했다.
• 멀티모달 방법은 비트 할당을 바꾼다. 장면 의미, 타이밍, 또는 작업 목표를 사용해 무엇에 더 많은 비트를 줄지 결정한다.
• 토큰 기반 시스템은 부하를 크게 줄일 수 있다. AdaCodec은 시각 토큰 사용을 84.6% 줄이고 TTFT를 9.26초에서 1.62초로 낮췄다.
• 작업 중심 압축은 컴퓨트 낭비를 줄일 수 있다. EMC는 영상-언어 작업에서 추론 효율을 33.7% 개선했다.
• 생성형 방법은 비트레이트를 매우 낮게 밀어낼 수 있다. 최근 결과는 1080p에서 0.005 bpp, 심지어 0.002 bpp 미만에 도달했다.
• 트레이드오프는 디코더 비용이다. 더 낮은 전송 비용은 종종 수신 측에서 더 많은 GPU 작업을 뜻하며, 소비자용 및 프로슈머용 GPU에서 29프레임 GOP에 대해 1.85초에서 2.48초 정도의 디코드 시간이 걸린다.

이것이 당신에게 의미하는 바: 목표가 스트리밍이나 저장이라면, 픽셀 품질은 여전히 중요하다. 하지만 목표가 _감시, 엣지 AI, 긴급 대응, 교육, 또는 커머스_라면, 의미론적이고 작업 인식적인 압축이 완벽한 프레임 재구성보다 더 중요할 수 있다.

이해가 곧 압축이다: LLM 모델이 현재 알려진 모든 압축 방법을 압도하다

빠른 비교

그래서 이 글을 한 가지 요점으로 줄이면 이렇다: 멀티모달 AI는 코덱이 단지 무엇이 바뀌었는지가 아니라 무엇이 중요한지 결정하도록 돕는다. 그것이 현재 많은 진전이 나오고 있는 지점이다.

최근 연구가 멀티모달 압축에 대해 보여주는 것

베이스라인으로서의 시각 전용 학습 코덱

STAC 프레임워크(Spatio-Temporal Adaptive Context)는 시각 전용 학습 코덱이 현재 어디에 서 있는지 명확한 그림을 보여준다. VTM-17.0(VVC) 대비 32.20% 평균 BD-rate 절감을 달성했고 ^[2], 이전 최첨단 모델인 DCMVC를 2.7 퍼센트 포인트 능가했다. STAC는 가장 유용한 참조 프레임을 선택하는 Adaptive Context Selector와 예측을 개선하는 이중 경로 엔트로피 모델로 이를 해낸다 ^[2].

그것은 더 나은 픽셀 수준의 충실도로 이어진다. 하지만 함정이 있다: STAC는 여전히 의미론적 컨텍스트 없이 작동한다. 그래서 시각 압축의 강력한 베이스라인을 세우면서도, 다음 단계를 꽤 명확하게 만든다. 모델이 장면 의미를 이해할 수 있다면, 모든 영역을 같은 관심을 받을 자격이 있는 것처럼 다루는 대신 가장 중요한 곳에 비트를 배치할 수 있다.

의미론적·교차 모달 신호가 인코더 결정을 바꾸는 방식

최근 멀티모달 작업의 핵심 아이디어는 간단하다: 프레임의 모든 부분이 같은 수의 비트를 필요로 하지는 않는다. 인코더가 장면에서 무슨 일이 일어나는지 어느 정도 감을 잡으면, 중요한 영역에 더 많이 쓰고 다른 모든 곳에서는 더 공격적으로 할 수 있다.

상하이 자오퉁 대학교와 JD.com의 AdaCodec이 좋은 예다. 프레임 간 변화를 P-토큰으로 저장하고 참조 프레임에는 전체 시각 토큰을 유지한다 ^[3]. 그 설정은 시각 토큰 사용을 84.6% 줄이고 첫 토큰까지의 시간(TTFT)을 9.26초에서 1.62초로 줄였다 ^[3]. 또한 토큰 예산의 약 7분의 1만 사용하면서 긴 영상 벤치마크에서 Qwen3-VL-8B 베이스라인을 능가했다 ^[3].

또 다른 경로는 픽셀 재구성에 덜 집중하고 최종 작업이 필요로 하는 것만 유지하는 데 더 집중한다. Endomorphic Multimodal Compression(EMC)은 VideoQA 같은 작업에 필요한 정보만 보존함으로써 그 아이디어를 따른다. 쉽게 말해, 원시 픽셀 대신 의미론적 증거에 압축 로직을 적용한다. EMC가 통합되었을 때, 영상-언어 이해에서 추론 효율을 33.7%, 훈련 효율을 7.33% 개선했다 ^[4].

그래서 구분이 점점 명확해지고 있다. 시각 전용 코덱은 충실도를 쫓는다. 멀티모달 방법은 의미론적 일관성과 작업 인식 토큰 사용을 향해 밀어붙인다.

프로토타이핑과 배포에서 APIMart가 맞는 지점

이러한 교차 모달 파이프라인을 구축하고 테스트하는 팀에게, APIMart는 초기 작업을 덜 지저분하게 만들 수 있다. 영상, 이미지, 언어 모델을 함께 시도할 수 있는 단일 API를 제공하는데, 교차 모달 신호가 프레임 선택과 재구성을 어떻게 바꾸는지 테스트하고 싶을 때 도움이 된다.

압축을 개선하는 세 가지 멀티모달 신호

이전 섹션은 의미론적·교차 모달 신호가 인코더 선택을 어떻게 바꾸는지 높은 수준에서 보여줬다. 여기 세 방향 모두에서 패턴은 꽤 명확하다: 의미론적 인식은 비트가 어디로 가는지를 바꾸고, 오디오-비주얼 타이밍은 무엇이 남는지를 날카롭게 하며, 토큰 수준의 의도는 프로세스를 더욱 좁힌다.

비전과 텍스트 신호를 사용한 의미론 인식 압축

이러한 방법들은 텍스트와 비전이 어떻게 비트레이트를 의미론적 콘텐츠 쪽으로 유도할 수 있는지 보여준다. 인코더가 장면에서 무엇이 중요한지 안다면, 중요한 영역에 더 많은 비트를 보내고 다른 모든 것은 더 강하게 압축할 수 있다.

M3-CVC (푸단 대학교, 2024년 12월)는 대화 기반 대형 멀티모달 모델을 사용해 프레임에서 계층적 텍스트 설명을 뽑아낸다. 그런 다음 그 설명을 사용해 초저 비트레이트에서 재구성 중 확산 기반 디코더를 안내한다. 결과: VVC가 심한 블로킹 아티팩트를 보이는 경우에도, LPIPS와 CLIP-sim에서 뚜렷한 차이로 VVC를 능가한다 ^[1].

SMC++ (상하이 자오퉁 대학교와 상하이 AI 연구소, 2025년 10월)는 비트를 소비하지만 다운스트림 작업에 도움이 되지 않는 디테일을 잘라낸다. Masked Video Modeling 목표로 이를 하며, 가이드 Transformer가 모달리티 전반의 특징을 정렬한다. 7개 데이터셋과 3개 작업 — 동작 인식, MOT, VOS — 에 걸쳐, SMC++는 기본 VVC 계층이 심각한 신호 열화를 겪을 때에도 작업 정확도를 높게 유지했다 ^[6].

같은 아이디어가 시간 기반 신호로도 이어진다. _프레임에서 무엇이 중요한가_만 묻는 대신, 이 시스템들은 _언제 중요한가_도 묻는다.

음성과 이벤트 타이밍을 위한 오디오 인식 압축

오디오-비주얼 타이밍과 이벤트 구조는 모델이 대표 키프레임과 모션 세그먼트를 선택하도록 돕는다. 그것은 이벤트 타이밍을 흐트러뜨리지 않고 비트레이트를 낮춘다 ^[5]. Cross-Modality Video Coding(CMVC)에서는 영상이 공간 콘텐츠와 모션 구성 요소로 분리된 다음, 압축된 멀티모달 표현으로 변환된다 ^[5].

"MLLM은 순차 데이터를 처리하고 영상 속 이벤트의 시간적 관계를 이해하는 데 탁월합니다." - Pingping Zhang 외 ^[5]

그것은 압축을 프레임별 저장에서 이벤트 인식 표현으로 옮긴다. 그리고 거기서부터, 다음 단계는 더욱 촘촘하다: 직접적인 사용자 의도를 기반으로 압축하는 것.

사용자 의도를 위한 토큰 주도 압축

Video TokenCom은 의도 관련 토큰에 완전한 정밀도를 주고 낮은 우선순위 토큰에는 정밀도를 낮춘다. 쉽게 말해, 시스템은 사용자가 중요하게 여기는 것에 비트를 쓰고 다른 모든 곳에서는 힘을 빼는데, 이는 가장 중요한 콘텐츠를 온전히 유지하면서 비트레이트를 줄인다 ^[7].

"Token Communication(TokenCom)은 토큰이 통신과 연산의 통합 단위로 작동하여, 효율적인 의미 지향적·목표 지향적 정보 교환을 가능하게 하는 새로운 패러다임입니다..." - Jingxuan Men 외 ^[7]

프레임의 모든 부분을 똑같이 다루는 대신, 이 접근 방식은 압축을 목표 인식적이고 선택적으로 만든다 ^[7].

생성형 압축과 실시간 배포 트레이드오프

생성형 및 토큰 기반 방법이 비트레이트를 줄이는 방식

토큰 수준 압축 위에 쌓아 올리며, 생성형 방법은 상황을 더 밀어붙인다. 모든 픽셀을 유지하는 대신, 디코더에서 시각적 디테일을 재구축한다. 실무에서 생성형 압축은 압축된 잠재 표현을 보낸 다음, 생성형 사전 정보를 사용해 전송되지 않은 것을 채운다.

그 전환은 비트레이트를 대폭 낮출 수 있다. TeleAI의 2025년 중반 해상 위성 데모는 0.005 bpp에 도달했고, 와세다의 2026년 4월 제로샷 GVCC는 DCVC-RT 대비 LPIPS를 70.3% 줄이면서 0.002 bpp 미만의 1080p 재구성을 전달했다 ^{[9] [10]}.

토큰 기반 압축은 또 다른 경로를 택한다. Tokenized Video Compression(TVC)은 마스크된 토큰과 시공간 예측을 사용해 프레임 전반의 의미론적 중복을 활용한다 ^[8].

실시간 제약: 컴퓨트, 지연 시간, 비용

그러한 비트레이트 절감은 디코딩이 프로덕션에 충분히 빠르게 유지될 때만 의미가 있다. 바로 거기서 트레이드오프가 명확하게 드러난다: 비트레이트가 내려가면, 부담이 전송에서 추론으로 더 많이 옮겨간다. 그래서 디코더는 대형 모델을 실시간으로 실행해야 한다.

숫자가 그것을 분명히 한다. NVIDIA L40S, RTX 4090, RTX 4080에서 29프레임 GOP에 대한 GVC 디코딩은 각각 1.85초, 2.12초, 2.48초가 걸린다 ^[9].

이것이 압축-연산-품질 트레이드오프다. 쉽게 말해, 대역폭을 절약하지만 더 많은 디코딩 작업으로 그 대가를 치른다. 그래서 증류(distillation)와 더 빠른 샘플링이 소비자급 배포를 향한 주요 경로다 ^[9].

APIMart를 사용해 멀티모달 영상 워크플로 테스트하기

프로토타이핑을 위해, APIMart는 의미 추출, 재구성, 평가를 하나의 워크플로로 묶을 수 있다. 팀은 이를 사용해 단일 API를 통해 영상, 이미지, 언어 모델을 연결하여 의미 추출, 재구성, 지연 시간 테스트를 할 수 있다.

멀티모달 영상 파이프라인이 전면 배포 전에 어떻게 동작하는지 보려 한다면, 그것은 한곳에서 움직이는 부분들을 테스트하는 실용적인 방법이다.

결론: 멀티모달 AI가 영상 압축에 바꾸는 것

멀티모달 AI는 영상 압축을 간단하지만 중요한 방식으로 바꾼다: 목표를 _픽셀 매칭_에서 _작업에 중요한 것을 유지하는 것_으로 옮긴다. 의미론적 신호, 오디오 단서, 시선 데이터는 시스템이 가장 많은 의미를 담은 부분에 비트를 쓰도록 돕는다. 그 결과는 더 나은 압축인데, 코덱이 사람이나 다운스트림 시스템이 실제로 필요로 하는 정보를 보호하기 때문이다. 이 전환은 통합 AI 플랫폼이 다양한 모델 출력을 관리하는 방식의 핵심이다.

그 변화를 시각 품질과 토큰 사용 양쪽에서 볼 수 있다. 벤치마크 결과가 그것을 뒷받침한다. STAC는 VTM-17.0 대비 32.20% BD-rate 절감에 도달했고 ^[2], AdaCodec은 시각 토큰 사용을 84.6% 줄이면서 정확도를 유지하거나 개선했다 ^[3].

그래서 생성형 압축을 작업 지향적 통신으로 생각할 때 가장 타당하다 ^[9].

그것이 먼저 중요해지는 곳은 어디인가? 단기적 이득은 대역폭이 제한되고 작업에 민감한 환경에서 가장 강하며, 여기에는 다음이 포함된다.

• 감시
• 긴급 대응
• 엣지 기기
• 교육
• 커머스

주된 트레이드오프는 여전히 디코더 비용이다. 디코더 컴퓨트가 병목으로 남아 있지만, 그럼에도 더 작은 생성형 모델은 이미 소비자용 GPU에서 약 2초 추론에 가까워지고 있다 ^[9].

자주 묻는 질문

멀티모달 압축은 일반 영상 압축과 어떻게 다른가요?

영상 압축은 보통 모든 프레임에서 가능한 한 많은 픽셀 디테일을 유지하려고 합니다. 멀티모달 압축은 다른 경로를 택합니다. 모든 픽셀을 재현하기보다 다운스트림 목표나 지각 품질에 필요한 정보에 더 집중합니다.

생성형 모델을 사용하면, 대역폭을 연산으로 교환합니다. 송신자가 영상의 구성과 스타일을 설명하고, 수신 측의 AI가 그 설명으로부터 그것을 재구축합니다.

픽셀 완벽 품질 대신 언제 의미론적 압축을 선택해야 하나요?

비트 수준의 정확성을 유지하는 것이 아니라 다운스트림 작업을 돕거나 사람이 볼 필요가 있는 것에 맞추는 것이 목표일 때 의미론적 압축을 선택하세요.

픽셀 정확 코덱이 무너지거나 거친 아티팩트를 만들 수 있는 위성 연결 같은 저대역폭 환경에서 특히 잘 작동합니다. 의미론적 방법은 중복된 배경 텍스처에 비트를 쓰는 대신 작업 관련 정보를 유지함으로써 연산을 압축으로 교환합니다.

생성형 영상 압축의 가장 큰 트레이드오프는 무엇인가요?

주된 트레이드오프는 엄격한 픽셀별 정확성에서 벗어나 의미론적 및 지각적 품질로 향하는 전환입니다.

구식 코덱은 픽셀 오류를 줄이려고 합니다. 하지만 대역폭이 빠듯해지면, 그 접근 방식은 종종 시청자가 바로 알아챌 수 있는 방식으로 무너집니다: 블로킹, 흐림, 시간적 깜빡임.

생성형 압축은 다른 경로를 택합니다. 강력한 사전 정보에 의존해 고품질 디테일을 합성하고 압축을 훨씬 더 밀어붙입니다.

함정은 간단합니다: 재구축된 영상이 원본 프레임과 픽셀 하나하나 일치하지 않더라도 설득력 있고 고품질로 보일 수 있습니다. 다시 말해, 정확한 복제보다 시각적 그럴듯함을 선호하는 경향이 있습니다.