이앤아이 CMS

{{SUBTITLE}}

안녕하세요. 디지털에이전시 이앤아이입니다. 요즘 생성형 AI를 업무에 붙여 써보신 분들은 공감하실 거예요. 보고서 형태로 길게 정리해주는 ‘딥 리서치 에이전트’가 정말 편하긴 한데, 막상 결과물을 받아보면 마음 한편이 찜찜합니다. 문장은 그럴듯한데 표의 숫자 하나가 다르거나, 이미지에서 읽어야 할 핵심이 엉뚱하게 해석되거나, 출처 링크를 달아놓고도 실제 근거와 연결이 약한 경우가 종종 나오니까요.

이런 상황에서 오하이오주립대와 아마존 연구진이 멀티모달 딥 리서치 에이전트를 제대로 비교할 수 있는 새 벤치마크 ‘MMDR-벤치(MMDeepResearch-Bench)’를 공개했습니다. 텍스트만 잘 요약하는 수준을 넘어, 이미지·도표·수식 같은 시각 정보까지 이해하고, 그 근거를 보고서에 정확히 인용해 설득력 있게 엮는 능력을 평가하겠다는 취지입니다. 실제 현업에서 “보고서에 넣을 수 있느냐”를 묻는 기준에 더 가깝습니다.



MMDR-벤치는 21개 도메인에 걸친 140개 고난도 과제로 구성돼 있고, 결과를 하나의 점수로 뭉뚱그리지 않습니다. 대신 세 가지 지표로 촘촘히 뜯어봅니다. FLAE는 문장 구성, 통찰, 구조 완성도 같은 ‘보고서 품질’을 봅니다. TRACE는 인용이 근거와 정확히 연결되는지, 즉 “출처가 진짜로 받쳐주느냐”를 검증합니다. MOSAIC은 텍스트 주장과 함께 제시된 시각 자료가 서로 모순 없이 일관되는지 점검합니다. 특히 종합 점수에서 인용 정확도(TRACE)에 가장 큰 가중치(50%)를 둔 점이 눈에 띕니다. 이제는 ‘잘 쓴 글’보다 ‘증거가 탄탄한 글’이 더 높은 평가를 받는다는 뜻이니까요.

25개 최신 모델을 평가한 결과도 흥미롭습니다. ‘제미나이 딥 리서치’가 1위(49.41점), ‘제미나이 3 프로’와 ‘제미나이 3 플래시’가 2~3위를 차지하며 상위권을 형성했습니다. 뒤이어 ‘딥시크-V3.2’, ‘GPT-5 미니’가 순위에 올랐습니다. 다만 연구진은 비전(Vision)을 활성화하면 맥락 이해는 좋아지지만, 작은 숫자나 표의 세부 값을 잘못 읽는 ‘세부 기록 오류(DTE)’가 늘 수 있다고 지적했습니다. 또 리서치 과정이 길어질수록, 초반에 맞게 파악한 정보가 마지막 단계에서 엉뚱한 출처와 결합되는 ‘증거-개체 연결 오류(EMI)’도 빈번해졌다고 합니다.

이 결과는 실무자에게 꽤 실용적인 힌트를 줍니다. 딥 리서치 AI를 쓸 때는 첫째, 표·그래프·이미지에서 가져온 수치는 반드시 원문과 대조해야 하고, 둘째, 인용 링크가 달려 있어도 “해당 문장을 정말 뒷받침하는 출처인지”까지 확인하는 습관이 필요합니다. 셋째, 작업이 길어질수록 오류가 누적될 수 있으니, 중간 산출물을 나눠 검토하고 근거를 고정시키는 방식이 안전합니다. 결국 AI는 ‘초안 생산’에는 강하지만, ‘최종 책임’은 아직 사람의 체크리스트가 받쳐줘야 한다는 얘기죠.

메타 설명: MMDR-벤치(MMDeepResearch-Bench)는 멀티모달 딥 리서치 AI 에이전트가 이미지·도표·수식을 이해하고 정확한 인용 기반 보고서를 작성하는 능력을 평가하는 새 벤치마크로, 신뢰 가능한 근거와 일관성을 핵심 기준으로 삼는다.

이앤아이와 함께 더 나은 웹 환경을 만들어 나가요!

#MMDR벤치 #딥리서치에이전트 #멀티모달AI #AI벤치마크 #근거기반보고서 #인용검증 #제미나이3 #오픈AI리서치 #기업AI도입 #데이터신뢰성 #이앤아이 #디지털에이전시 #대학교홈페이지 #병원홈페이지 #AI전문기업