멀티모달 AI 테스트 프레임워크 비교

한 줄로 요약하자면: 모든 것을 다루는 단일 프레임워크는 없으므로, 저라면 추적용으로 하나의 범용 벤치마크를, 릴리스 점검용으로 하나의 도메인 테스트를 사용하겠습니다.

간단히 정리하면 이렇습니다:

• FlagEvalMM은 폭넓은 이미지, 비디오, 텍스트 테스트에 적합합니다
• MAEV는 오디오-비디오-텍스트 융합을 점검하고 모델이 여전히 인간에 얼마나 뒤처지는지 보여줍니다
• AILuminate Multimodal은 12개 위험 범주에 걸친 안전성 리스크 테스트용입니다
• CityBench는 도시 장면 및 지리공간 추론을 위해 만들어졌습니다
• 헬스케어 프레임워크는 임상 리스크, 멀티턴 추론, 이미징 중심 검증에 초점을 둡니다

몇몇 수치가 바로 눈에 띕니다:

• MAEV는 700개 비디오에서 추출한 2,556개 문항을 사용합니다
• MAEV에서 인간은 **92.8%**를 기록하는 반면 최상위 모델은 64% 수준입니다
• AILuminate는 7,000개 이상의 텍스트-이미지 프롬프트를 포함합니다
• CityBench는 13개 도시에 걸쳐 8개 도시 과제를 다룹니다
• GMAI-MMBench는 39개 의료 이미지 모달리티를 다룹니다
• MedBench v5는 63개 임상 과제를 아우릅니다

이것이 제게 의미하는 바는 간단합니다: 범용 도구는 회귀 추적에 도움이 되고, 도메인 테스트는 일반 벤치마크가 놓치는 고위험 실패를 잡아냅니다. 빠른 릴리스 점검이 필요하다면 저는 먼저 수치 기반 점수에 의존하겠습니다. 출시 전에 좀 더 면밀히 살펴봐야 한다면 심사자 기반 검토와 도메인 테스트를 추가하겠습니다.

텍스트를 넘어서 - 멀티모달 AI 평가

빠른 비교

그래서 빠르게 선택해야 한다면 저는 두 개의 층으로 생각하겠습니다:

1. 버전 간 추적을 위한 범용 벤치마크
2. 출시/보류 결정을 위한 도메인 또는 안전성 벤치마크

이것이 이 글의 핵심 요점입니다.

1. FlagEvalMM

FlagEvalMM은 BAAI의 오픈소스 멀티모달 평가 프레임워크입니다. 텍스트, 이미지, 비디오와 함께 작동합니다. 핵심 과제로는 VQA, 이미지 검색, 텍스트-투-이미지 생성, ROME 기반 다이어그램 평가가 있습니다. 오디오는 패키지에 포함되어 있지 않으므로, 오디오 우선 워크플로는 이 프레임워크가 다룰 수 있는 범위 밖에 있습니다.

평가 초점

작업이 추론에 크게 치우칠 때, FlagEvalMM은 다이어그램 추론을 위한 LLM 심사자 평가도 지원합니다. RelScene과 LRM-Eval도 포함되어 있어, 장면 이해와 추론 중심 평가로 그 범위를 확장합니다.

안전성 및 공정성 커버리지

신뢰성과 정책 점검 측면에서는 공백이 있습니다: 내장된 안전성, 공정성, 환각 점검이 제공되지 않습니다.

배포 적합성

FlagEvalMM의 모델 주(model zoo)는 QwenVL, LLaVA, Janus 같은 오픈소스 모델의 로컬 추론을 지원합니다. GPT, Claude, HuanYuan 같은 모델의 API 기반 평가도 지원합니다. 여기에 더해 OpenRouter 지원을 추가하여, 팀이 한 곳에서 더 많은 API 옵션을 사용할 수 있게 했습니다.

이러한 구성은 단일 프레임워크 안에서 로컬 및 호스팅 멀티모달 모델을 모두 벤치마킹하려는 팀에게 잘 맞습니다. 팀이 오디오 평가나 내장 안전성 테스트도 필요로 한다면, 이와 함께 별도의 도구가 필요할 것입니다.

2. MAEV

MAEV는 오디오-비디오-텍스트 융합을 테스트함으로써 비전 전용 구성을 넘어 평가를 확장합니다.

모달리티 커버리지

MAVERIX라고도 불리는 MAEV는 2026년 3월 14일에 발표되었습니다. 비디오, 오디오, 텍스트를 함께 테스트합니다. 데이터셋은 700개 비디오에서 추출한 2,556개 문항을 포함하며, 객관식과 개방형 형식을 모두 사용합니다 ^[2]. 정답을 얻으려면 모델은 본 것과 들은 것을 결합해야 합니다.

평가 초점

이 벤치마크는 에이전트 과제에서의 교차 모달 이해를 살펴봅니다. 쉽게 말해, 모델은 단순히 객체를 식별하거나 음성을 전사하는 것만으로는 안 됩니다. 오디오와 비디오 신호를 융합하여 판단을 내려야 합니다.

그 격차는 여전히 상당히 큽니다. 인간 전문가는 MAEV에서 **92.8%**를 기록하는 반면, Qwen 2.5 Omni와 Gemini 2.5 Flash-Lite 같은 최상위 모델은 약 **64%**에 그칩니다. 이는 거의 29%포인트의 차이입니다 ^[2]. 이 때문에 MAEV는 오디오-비주얼 융합이 어디서부터 실패하기 시작하는지 파악하는 데 유용합니다.

안전성 및 공정성 커버리지

MAEV는 안전성, 공정성, 견고성에 대한 전용 점검을 포함하지 않습니다.

배포 적합성

MAEV는 공개 툴킷과 표준화된 프로토콜을 제공하여, 팀이 매번 동일한 방식으로 벤치마크를 실행할 수 있게 돕습니다 ^[2]. 오디오-비주얼 맥락에 의존하는 에이전트 비디오 과제에 적합합니다. 도메인 특화 평가에는 덜 유용합니다 ^[2].

3. AILuminate Multimodal

앞선 벤치마크들과 달리, AILuminate는 멀티모달 모델이 단순히 성능이 좋은지가 아니라 안전한지를 살펴봅니다.

모달리티 커버리지 및 평가 초점

AILuminate Multimodal은 12개 위험 범주에 걸쳐 텍스트-이미지 안전성 리스크를 점검합니다. 이 범주는 폭력과 자해부터 혐오 발언, 프라이버시, 그리고 건강이나 선거 조언 같은 맥락 민감한 사례까지 아우릅니다. 멀티모달 파일럿 데이터셋은 7,000개 이상의 텍스트-이미지 프롬프트를 포함하며 ^[4], 이 벤치마크는 이미 109개의 서로 다른 모델을 테스트하는 데 사용되었습니다.

이 벤치마크를 차별화하는 한 가지는 언어를 다루는 방식입니다. 번역에 의존하는 대신, AILuminate는 지역적 관련성을 고려해 작성된 프롬프트를 사용하고, 이를 힌디어, 타밀어, 말레이어, 한국어, 일본어 원어민이 검수합니다 ^[4]. 이는 중요합니다. 한 언어에서 통하는 프롬프트가 다른 언어에서는 매우 다르게 받아들여질 수 있으며, 특히 안전성 테스트에서 그렇습니다.

따라서 이 벤치마크는 점수를 산출할 수는 있지만, 폭넓은 벤치마크 비교보다는 레드 티밍에 더 유용합니다.

안전성 및 신뢰성 커버리지

AILuminate는 레드 티밍과 배포 전 안전성 감사를 위해, 특히 글로벌 시장에서 사용되는 소비자 챗봇과 비전-언어 어시스턴트를 대상으로 만들어졌습니다. 그 방법론은 2025년 MSTS 연구에 기반합니다 ^[4].

쉽게 말해, 이것은 안전성 실패가 실제 비용을 초래하는 상황에서 사용하는 종류의 프레임워크입니다. 모델이 위험한 조언을 제공하거나, 사적인 이미지를 잘못 다루거나, 고위험 상황에서 부적절하게 반응한다면, 이 벤치마크는 출시 전에 그러한 취약점을 드러내도록 설계되었습니다.

배포 적합성

AILuminate를 사용하는 것은 가벼운 검증 도구보다 더 많은 작업을 필요로 합니다. 점수 산출에는 Modelbench와 안전성 평가자 앙상블이 필요하며, 전체 데이터셋은 MLCommons 회원에게만 제한적으로 제공됩니다 ^[5]. 이는 프레임워크를 더 무겁고 실무 적용 속도가 느리게 만듭니다.

이것은 속도보다 심층 점검이 더 중요한 안전성 필수 환경에 가장 적합합니다. 버전별 안전성 검토에는 강력한 선택지이지만, 팀이 여러 모델 업데이트를 빠르게 테스트해야 할 때는 덜 실용적입니다.

4. CityBench

앞선 프레임워크들이 폭넓은 멀티모달 성능과 안전성을 살펴본다면, CityBench는 도시 추론에 초점을 맞춥니다.

모달리티 커버리지 및 평가 초점

CityBench는 모델이 도시 장면을 읽고, 지리공간 데이터를 추론하며, 빠르게 변하는 도시 환경에서 의사결정을 내릴 수 있는지 점검합니다. 그 강점은 폭넓은 멀티모달 범위가 아니라 도시 규모의 추론입니다.

이를 위해 CityBench는 위성 이미지, 스트리트 뷰 이미지, 도로망, POI/AoI, 출발-도착 흐름, 체크인 기록을 결합하여 시각 및 지리공간 추론을 테스트합니다 ^[7]. 인식과 의사결정이라는 두 그룹에 걸쳐 8개 도시 과제를 다룹니다 ^[7]. 여기에는 GeoQA, 지리 위치 추정, 이동성 예측, 교통 신호 제어 같은 과제가 포함됩니다 ^[7].

CityData/CitySimu 구성은 한 걸음 더 나아갑니다. 세밀한 도시 역학을 모델링하고 의사결정 과제를 위한 폐루프 테스트를 지원합니다 ^[7]. 쉽게 말해, 정적 입력만으로 판단하는 대신 도시 조건이 계속 변할 때 모델이 어떻게 반응하는지 테스트할 수 있다는 뜻입니다. 이 벤치마크는 기준 성능을 설정하기 위해 30개의 LLM 및 VLM에 대해서도 실행되었습니다 ^[7].

안전성 및 공정성 커버리지

별도의 안전성 및 공정성 검토와 함께 사용하세요.

배포 적합성

CityBench는 교통 최적화, 이동성 예측, 도시 계획을 포함한 도시 AI 연구와 스마트시티 작업에 잘 맞습니다 ^[7]. 또한 13개 글로벌 도시를 아우르며 ^[7], 이는 단일 도시 구성보다 팀에게 더 넓은 테스트 기반을 제공합니다.

그래도 이것은 전문화된 벤치마크입니다. 일상적인 인간 과제가 아니라 도시 규모의 과제를 위해 만들어졌습니다. 또한 일인칭 시점의 동작 기반 내비게이션은 다루지 않습니다. 그리고 주목할 만한 또 다른 공백이 있습니다: CityBench 같은 기존 도시 벤치마크는 종종 단일 뷰 입력에 국한되며, 스트리트 레벨과 위성 이미지 간의 교차 뷰 추론을 완전히 테스트하지 않습니다 ^[6].

따라서 CityBench를 사용하는 가장 좋은 방법은 도메인 특화 층으로 활용하는 것입니다. 더 큰 평가 스택에 추가할 때 잘 작동하지만, 유일한 멀티모달 벤치마크가 되어서는 안 됩니다.

5. 헬스케어 지향 통합 멀티모달 평가 프레임워크

범용 및 도메인 특화 벤치마크 이후, 헬스케어 모델은 임상 리스크, 종단적 추론, 모달리티 융합에 대해 더 엄격한 테스트가 필요합니다. 헬스케어에서 실수는 단순히 점수를 낮추는 데 그치지 않습니다. 진단과 치료에 영향을 줄 수 있습니다. 그래서 여러 프레임워크가 임상 용도로 만들어졌으며, 각각 서로 다른 종류의 실패를 겨냥합니다.

모달리티 커버리지 및 평가 초점

이미징 커버리지 측면에서, GMAI-MMBench는 이 그룹에서 가장 폭넓은 프레임워크입니다. 18개 임상 부서에 걸쳐 39개 의료 이미지 모달리티를 아우르며 285개 데이터셋에서 자료를 가져옵니다 ^[10]. 모델을 이미지, 박스, 마스크, 윤곽이라는 네 가지 지각 수준에서 채점합니다 ^[10].

MedAtlas는 의료 벤치마킹의 흔한 약점을 겨냥합니다: 많은 벤치마크가 여전히 종단적, 멀티모달 임상 추론 대신 단일 이미지, 단일 턴 과제에 초점을 둡니다 ^[8]. MedAtlas는 방문 간 추론과 멀티턴 시각 Q&A를 테스트하며, 모델이 이미징 소견과 환자 병력을 결합하여 진단을 뒷받침할 수 있는지 묻습니다 ^[8].

MedBench v5는 63개 임상 과제에 걸쳐 언어, 비전-언어, 에이전트 시스템을 다룹니다 ^[9]. 두드러지는 점은 스트레스 테스트입니다. 누락되거나 모순된 소견을 삽입하여 모델이 불일치를 포착하는지 아니면 그냥 진행하는지 확인합니다 ^[9]. Asclepius는 3,232개의 원본 멀티모달 문항을 기반으로 15개 의료 전문 분야, 8개 진단 역량, 79개 신체 부위를 다루며 전문 분야 전반에 걸친 폭을 더합니다 ^[11].

안전성 및 공정성 커버리지

MedBench v5는 의료 허위 정보, 위험한 도구 명령, 프라이버시 유출, 윤리 위반을 점검하는 SafetyAgent를 포함합니다 ^[9]. 또한 여러 턴에 걸쳐 이어지는 근거 없는 주장도 추적합니다 ^[9]. 그 스트레스 테스트는 주로 모순 탐지, 진단 갱신, 환각 제어를 겨냥합니다 ^[9].

GMAI-MMBench는 다른 안전성 문제를 지적합니다: 일부 모델은 내장된 안전성 프로토콜 때문에 임상 질문에 답하기를 거부하는데, 이는 실무에서의 임상 활용을 줄일 수 있습니다 ^[10].

네 가지 프레임워크 전반에 걸쳐 한 가지 공백이 드러납니다: 오디오는 여전히 주요 통합 모달리티로서 빠져 있습니다 ^{[8][9][10][11]}.

배포 적합성

각 프레임워크는 서로 다른 임상 실패 유형에 대응하므로, 올바른 선택은 당면한 작업에 달려 있습니다.

트레이드오프는 명확합니다: 프레임워크가 더 넓은 범위를 다룰수록 검증 작업은 대체로 더 무거워집니다.

장단점

아래 표는 커버리지, 채점 방식, 도메인 적합성이라는 주요 트레이드오프를 정리합니다. 이러한 트레이드오프는 팀이 커버리지를 너무 많이 포기하지 않으면서 새 모델 버전을 빠르게 게이팅해야 할 때 가장 중요합니다. 이것을 범용 도구 목록이 아니라 릴리스 게이팅 가이드로 생각하세요.

가장 큰 구분은 빠른 수치 채점과 느린 의미론적 판단 사이에 있습니다.

수치 지표는 빠르고 재현 가능하여 CI 점검에 적합합니다. 하지만 속도에는 함정이 있습니다: 이러한 지표는 조합적 오류를 놓칠 수 있습니다. 모델이 서류상으로는 괜찮아 보여도 출력이 더 개방적으로 변할 때 중요한 방식으로 여전히 실패할 수 있습니다.

LLM-as-Judge에 의존하는 프레임워크는 개방형 의미론적 판단을 더 잘 처리합니다 ^[1][3]. 이는 정답 개수를 세는 것만이 아니라 미묘한 차이를 검토해야 할 때 더 유용하게 만듭니다. 단점은 꽤 분명합니다: 비용이 추가되고, 여전히 평가 오류를 과정에 끌어들일 수 있습니다.

속도와 심층 검토를 모두 필요로 하는 팀에게는 대개 분할 구성이 가장 합리적입니다:

• CI 점검에는 수치 지표를 사용
• 주요 릴리스 전에는 의미론적 채점을 사용

그렇게 하면 초기에 빠른 통과/실패 신호를 얻고, 버전이 출시되기 전에 더 면밀한 검토를 할 수 있습니다.

결론

나란히 놓고 보면, 이 프레임워크들은 한 가지를 분명히 합니다: 멀티모달 테스트는 범용, 안전성, 도시, 임상이라는 네 가지 주요 범주로 나뉩니다.

FlagEvalMM과 MAEV는 폭넓은 멀티모달 평가에 가장 강력한 선택지입니다. AILuminate Multimodal은 안전성 테스트를 위해 만들어졌습니다. CityBench는 도시 추론에 적합합니다. 그리고 헬스케어 프레임워크는 임상 검증에 초점을 둡니다.

트레이드오프는 이들 모두에서 동일하게 유지됩니다: 폭넓은 커버리지는 확장하기 더 쉽지만, 전문화된 벤치마크는 고위험 실패를 더 잘 잡아냅니다.

실용적인 구성은 간단합니다:

• 회귀 추적에는 하나의 범용 벤치마크를 사용
• 릴리스 게이팅에는 하나의 도메인 특화 벤치마크를 사용

최선의 구성은 잡아내야 할 실패 유형에 벤치마크를 맞추는 데 달려 있습니다.

자주 묻는 질문

범용 벤치마크와 도메인 특화 벤치마크 중 어떻게 선택하나요?

하나를 고르고 다른 하나를 무시하지 마세요 - 둘 다 사용하세요.

먼저 범용 벤치마크로 대상을 좁히고 기준선을 설정하세요. 첫 번째 검토로 좋습니다.

그런 다음 자체 데이터를 사용해 맞춤형 평가 세트를 구축하세요. 전문화된 워크플로의 경우, 특히 엣지 케이스와 실패 유형을 포함할 때 그 테스트 세트는 벤치마크 점수만으로는 알 수 없는, 모델이 프로덕션에서 어떻게 작동할지에 대한 훨씬 더 나은 판단을 제공합니다.

심사자 기반 검토 대신 수치 채점을 언제 사용해야 하나요?

자동화된 파이프라인에서 빠르고 반복 가능한 시스템이 필요할 때 수치 채점을 사용하세요. 인간 검토를 위해 멈추지 않고 통과/실패 판단을 내릴 수 있으므로 CI/CD 게이팅에 잘 맞습니다. 이 접근법은 정확도를 명확하고 객관적인 방식으로 측정할 수 있는 의미론적 정렬과 표준 벤치마크에 가장 적합합니다.

미묘한 차이에 의존하는 작업에는 심사자 기반 검토를 사용하세요. 여기에는 심미성, 어조, 또는 전문가의 판단이 여전히 중요한 의료, 법률, 금융의 도메인 특화 의사결정 같은 것이 포함됩니다.

오디오 지원 멀티모달 모델을 테스트하기에 가장 좋은 프레임워크는 무엇인가요?

무엇을 테스트하느냐에 따라 다릅니다.

AU-Harness는 대형 오디오 언어 모델(Large Audio Language Models)에서 오디오-투-텍스트 평가에 더 적합합니다. lmms-eval은 더 폭넓은 선택지입니다. 오디오, 텍스트, 이미지, 비디오 과제를 지원하므로, 테스트가 오디오만을 넘어설 때 유용합니다.

오디오-비주얼 추론의 경우, AVI-Bench와 MAVERIX는 모델이 소리와 시각 입력을 얼마나 잘 결합하는지 점검하도록 만들어졌습니다. 이러한 모델들을 테스트 구성에 하나의 층으로 묶고 싶다면, APIMart가 파이프라인 전반에 걸쳐 접근을 통합하는 데 도움을 줄 수 있습니다.