바이두, 시각 벤치마크서 GPT-5·제미나이 앞선다는 오픈소스 멀티모달 AI 공개

멀티모달 AI의 새로운 오픈소스 도전자

바이두가 이미지, 동영상, 문서, 텍스트를 처리하는 280억 개 매개변수 규모의 멀티모달 모델 ERNIE 4.5 VL 28B A3B Thinking을 오픈소스로 공개했다. 회사 측은 이 모델이 자원을 더 적게 쓰면서도 시각 중심 벤치마크에서 주요 폐쇄형 모델을 앞선다고 밝혔다. 라이선스는 상업적 용도에 제한이 없는 Apache 2.0이다. 독립 평가에서도 성능이 입증된다면, 바이두는 접근성 높은 하드웨어에서 구동되는 기업용 시각 추론 모델의 핵심 공급자로 자리매김할 수 있다.

ERNIE 4.5 VL 28B A3B Thinking은 전문가 혼합(Mixture of Experts) 설계를 활용해 토큰당 약 30억 개의 매개변수를 활성화한다. 전체 매개변수 중 일부만 사용하며, 입력마다 가장 관련성이 높은 전문가 네트워크로 처리 경로를 지정한다. 선택적 활성화는 훨씬 큰 모델의 성능을 유지하면서 연산량과 메모리 사용량을 줄인다. 바이두는 이 모델이 단일 80GB GPU에서 추론을 실행하면서도 문서 이해, 차트 해석, 복잡한 시각 추론에서 높은 성능을 낼 수 있다고 밝혔다.

핵심 기능은 바이두가 ‘이미지와 함께 생각하기(Thinking with Images)’라고 부르는 기능이다. 모델은 추론 과정에서 이미지를 확대하거나 축소하고, 단서를 찾기 위해 작은 영역을 살핀 뒤, 국소적인 발견을 전체 장면과 결합할 수 있다. 이는 사람이 시각 문제를 푸는 방식과 유사하며, 복잡한 기술 도면 읽기, 생산 라인의 결함 발견, ‘두 번째 볼트 아래 파란색 커넥터’와 같은 참조 대상 확인 작업을 개선한다.

바이두는 더 정밀해진 시각적 그라운딩, 이미지 작업에서의 향상된 지시 이행, 이미지 검색을 포함한 도구 사용, 시간 흐름을 파악하는 견고한 동영상 이해 기능도 강조했다. 이 모델은 Transformers, vLLM, FastDeploy와 연동되는 통합 키트와 ERNIEKit이라는 학습·미세조정 도구 모음과 함께 제공된다. 대부분의 최고 수준 시각 언어 시스템이 여전히 폐쇄형인 가운데, 이번 공개로 개발자와 기업은 기업 친화적 라이선스를 갖춘 새로운 오픈 모델을 사용할 수 있게 됐다.

모델이 할 수 있다고 밝힌 기능

바이두는 모델의 기능을 시각 추론, STEM 문제 해결, 시각적 그라운딩, 도구 통합, 동영상 이해, 동적 이미지 분석 등 여섯 가지로 분류한다. 실제로는 청구서나 재무제표를 읽고 요약하며, 차트와 표를 분석하고, 회로도와 기하학 문제를 추론할 수 있다. 요청에 따라 이미지 속 특정 물체나 영역을 정확히 짚고, 외부 도구를 호출해 참고 이미지를 가져오며, 동영상 구간을 넘나들며 사건을 추적할 수도 있다.

바이두 문서에 소개된 리더보드에서 이 모델은 시각 중심 테스트 일부에서 OpenAI GPT-5 High 및 Google Gemini 2.5 Pro와 대등하거나 더 나은 성능을 보이는 것으로 제시됐다. 여기에는 차트 질의응답, 문서 이해, 다단계 시각 추론 벤치마크가 포함된다. 회사는 비슷한 정확도를 유지하면서 추론 속도가 비교 모델보다 2~3배 빠르다고 주장하며 속도 이점도 강조했다.

독립 연구기관들은 아직 이 결과를 검증하지 않았다. 벤치마크는 실제 배포 환경에서의 신뢰성보다 패턴 기억, 프롬프트 형식, 특정 유형의 요령에 유리한 경우가 많다. ERNIE 4.5 VL 28B A3B Thinking을 평가하는 기업은 실제 운영을 결정하기 전에 자체 문서와 조명 조건, 카메라 각도, 보안 정책을 반영한 표적 파일럿 테스트를 수행해야 한다.

이런 점을 감안하더라도 지원하는 작업의 범위는 넓다. 추론, 그라운딩, 도구 사용이 결합된 이 모델은 보험 청구 건을 접수해 읽거나, 창고 운영의 이상 징후를 표시하거나, 주석이 달린 사진과 짧은 동영상으로 기술자의 장비 문제 해결을 돕는 에이전트형 워크플로에 활용될 수 있다.

280억 매개변수 모델이 80GB GPU 한 대에서 구동되는 방식

핵심은 전문가 혼합(Mixture of Experts)이다. 여러 전문 하위 네트워크를 라우터 뒤에 두는 설계로, 라우터는 각 토큰이나 이미지 패치마다 활성화할 전문가 일부를 선택한다. 선택된 전문가만 연산하므로 각 단계에서는 작은 모델처럼 작동하지만, 여러 단계와 작업을 종합하면 전체 전문가 풀을 통해 더 큰 용량을 발휘한다. 한 번의 작업에서 대부분의 매개변수가 비활성 상태이기 때문에 처리량을 높일 수 있다.

선택적 활성화는 메모리 요구량과 연산 비용을 줄인다. 조밀한 구조의 280억 매개변수 모델을 유용한 속도로 구동하려면 훨씬 강력한 하드웨어가 필요하다. 토큰당 약 30억 개의 매개변수만 활성화함으로써 바이두는 시각 언어 모델을 GPU 한 대에서 추론할 수 있다고 밝힐 수 있으며, 이는 더 많은 연구기관이 모델을 시험하도록 문턱을 낮춘다. 다만 그 대가로 복잡성이 늘어난다. 엔지니어는 빠르고 균형 잡힌 라우터를 구축하고, 부하를 신중하게 분산하며, 소수의 전문가만 모든 작업을 맡지 않도록 안정적인 학습 기법을 적용해야 한다.

이미지와 함께 생각하기와 정밀한 그라운딩

기존 시각 언어 모델은 해상도가 고정된 이미지를 입력받아 텍스트 답변을 생성한다. ‘이미지와 함께 생각하기’는 여기에 계획 수립 과정을 추가한다. 모델은 질문을 단계별로 나누고, 다음에 살펴볼 영역을 정한 뒤, 해당 부분을 고해상도로 잘라낸다. 이어 그 영역의 텍스트를 읽거나 도형을 측정하고 계획을 갱신한다. 충분한 근거를 모을 때까지 이 과정을 반복한다. 대상을 가리키라는 작업에서는 반대로 단어를 픽셀 좌표에 대응시켜 상자나 마스크를 그릴 수도 있다.

이미지가 복잡하거나 기술적인 경우에는 정확한 그라운딩이 중요하다. 제조 현장에서는 확대하기 전까지 거의 똑같아 보이는 부품도 있다. 엔지니어링 도면에서는 표기 몇 픽셀의 차이가 기호의 의미를 바꾼다. 의료 영상에서는 작은 인공물이 진단을 좌우할 수 있다. 장면 전체의 맥락과 세부 정보를 오가며 자신이 거친 단계를 설명할 수 있는 시스템은 작업자에게 더 명확한 감사 추적을 제공하고 오류를 바로잡을 방법도 마련해 준다.

벤치마크와 실제 작업 환경

기업이 공개하는 차트는 흔히 여러 평가 결과를 합산한다. 일부 벤치마크는 이미지가 깔끔하고 잘라낸 영역도 정확하다. 다른 벤치마크에서는 학습 데이터에 이미 포함된 질문을 사용하기도 한다. 실제 배포 환경에는 눈부심, 흔들림, 특이한 글꼴, 가림 현상, 다국어 라벨이 존재한다. 입력이 학습 데이터 분포를 벗어나면 성능이 달라질 수 있다. 따라서 일부 테스트에서 GPT-5나 Gemini를 앞선다는 핵심 주장은 결론이 아니라 출발점으로 받아들여야 한다.

보다 신뢰할 수 있는 접근 방식은 작업별 평가다. 문서 작업의 경우 대표 문서 수백 건을 모아 사람이 검수한 정답과 대조해 정확한 필드 추출률을 측정할 수 있다. 시각 작업에서는 실제 생산 환경을 모사한 뒤 상자나 마스크의 정밀도와 재현율을 추적할 수 있다. 차트 작업은 로그 축이나 누적 계열처럼 까다로운 사례를 포함한 합성 그래프를 만들 수 있다. 이런 평가를 통해 모델의 동작과 실패 유형을 더 분명히 파악할 수 있다.

학습 방식과 개발자 도구

ERNIE 4.5 모델은 전통적인 지도 학습과 멀티모달 작업에 대한 강화 학습을 결합한 학습 과정을 거친다. 문서에는 MoE 학습에서 라우터를 안정화하고 보상 설계를 개선하기 위한 GSPO 및 IcePop이라는 기법이 언급돼 있다. 모델이 발전함에 따라 더 어려운 사례를 접하도록 동적 난이도 샘플링도 적용한다. 그 결과 한 번에 답을 추측하는 대신 이미지, 차트, 동영상에 대해 다단계 추론을 계획할 수 있는 시스템을 구현했다.

모델 제품군은 텍스트 전용 모델과 시각 언어 모델을 아우르며, 아주 작은 조밀 모델부터 총 매개변수가 수천억 개에 달하는 대규모 MoE 시스템까지 포함한다. 바이두는 이 아키텍처가 여러 모달리티 간 매개변수 공유를 지원해 언어 품질을 떨어뜨리지 않고도 텍스트와 시각 구성 요소가 서로의 이점을 활용할 수 있다고 설명한다. 학습과 추론은 바이두의 PaddlePaddle 플랫폼에서 이뤄지며, 개발팀은 대규모 환경에서 하드웨어 활용률이 높다고 밝혔다.

바이두는 개발자를 위한 여러 도구도 제공한다. ERNIEKit은 자원 효율적인 배포를 위해 미세조정, 선호도 최적화, 양자화를 지원한다. 시각 언어 모델은 Transformers와 vLLM 같은 일반적인 스택을 통해 서비스할 수 있으며, 운영 환경의 추론에는 FastDeploy를 사용할 수 있다. Apache 2.0 라이선스는 상업적 활용에 따르는 여러 제약을 없앤다. 공식 모델 페이지는 Hugging Face에서 볼 수 있고, 코드와 레시피는 바이두 GitHub 저장소에 공개돼 있다.

기업에 주는 의미

오픈 라이선스와 GPU 한 대에서 가능한 추론은 데이터를 클라우드 제공업체에 보내지 않고 자체 구축 환경에서 시각 AI를 운용하려는 팀에 매력적이다. 문서 업무가 많은 업종은 계약서, 청구서, 보험 청구 건의 지능형 접수 처리를 시험할 수 있다. 제조업체는 시각 정보와 언어 안내를 결합해 생산 라인 작업자를 돕는 품질 검사 시스템을 구축할 수 있다. 소매 및 물류팀은 그라운딩을 활용해 창고에서 물품을 찾고 라벨을 확인할 수 있다. 고객 서비스 조직은 이미지에 삽입된 차트나 스크린샷을 읽어 채팅 답변을 보강할 수 있다.

비용도 중요하다. 많은 조직은 한 가지 애플리케이션을 위해 H100급 GPU 클러스터를 따로 확보할 수 없다. 80GB 카드 한 장에서 구동되는 시스템은 파일럿과 초기 배포의 진입 장벽을 낮춘다. 그라운딩, 도구 사용, 동영상 이해가 결합돼 있어 모델이 여러 단계에 걸쳐 읽고, 검색하고, 클릭하고, 추론해 작업을 완수하는 에이전트형 워크플로에도 적합하다. 이는 맞춤형 API 대신 표준 인터페이스를 조작하는 컴퓨터 사용 에이전트로의 전환 흐름과도 맞닿아 있다.

더 넓은 경쟁: 오픈 모델과 폐쇄형 서비스

이번 공개는 오픈 모델 경쟁이 치열한 한 해에 이뤄졌다. 딥시크는 총 매개변수가 수천억 개지만 토큰당 활성화되는 매개변수는 수백억 개에 그치는 대규모 MoE 언어 모델을 선보였으며, 폐쇄형 시스템의 학습 비용보다 훨씬 적은 비용으로 일반 벤치마크에서 높은 점수를 거뒀다고 밝혔다. 알리바바 Marco o1은 사고 과정 연쇄 미세조정과 검색 기반 계획 같은 기법을 활용해 명확한 수치 보상이 없는 개방형 작업의 추론 능력을 높였다.

바이두와 알리바바를 비롯한 중국 연구소들은 허용 범위가 넓은 라이선스로 성능 높은 모델을 잇달아 공개하고 있다. 오픈 액세스를 통해 각 지역 개발자는 독점 서비스에 대한 의존을 줄이며 제품을 만들 수 있다. 동시에 글로벌 사업자들은 신뢰성, 도구, 통합 기능에서 뚜렷한 이점을 제공해 프리미엄 가격을 정당화해야 하는 압박을 받는다. 특히 차트 분석과 문서 추출 같은 특화 작업에서는 오픈 모델과 폐쇄형 모델 간 성능 격차가 여러 분야에서 좁혀졌다.

한계와 남은 질문

여러 제약도 있다. 최상의 결과를 얻으려면 시각 언어 모델에 여전히 80GB GPU가 필요해 많은 소비자용 기기에서는 사용할 수 없다. 컨텍스트 창은 12만8000토큰으로 제시돼 긴 PDF를 처리하는 데 도움이 되지만, 이미지 여러 장과 OCR 텍스트, 지시문을 함께 다룰 때는 여전히 한계가 있다. MoE 라우팅은 규모가 커질수록 배포를 복잡하게 만들 수 있다. 엔지니어는 전문가 간 부하 균형을 점검하고, 특정 라우팅 경로에 요청이 몰려 지연 시간이 급증하지 않도록 해야 한다.

안전성도 중요한 과제로 남아 있다. 이미지 시스템은 적대적 패턴이나 잘못된 상관관계에 속을 수 있다. 능동적으로 이미지를 자르고 확대하는 모델은 잘못된 영역을 계속 들여다보는 확증 편향을 피해야 한다. 기업은 모델이 사고 모드로 작동할 때 사고 과정의 각 단계를 명확히 기록하거나, 적어도 도구 호출과 경계 상자를 구조화된 추적 기록으로 남길 수 있기를 기대할 것이다. 바이두는 이 모델이 멀티모달 강화 학습과 그라운딩 정렬을 거쳤다고 밝혔지만, 신뢰를 쌓으려면 폭넓은 제3자 평가가 필요하다.

핵심 내용

• 바이두가 상업적으로 이용할 수 있는 Apache 2.0 라이선스의 오픈소스 멀티모달 모델 ERNIE 4.5 VL 28B A3B Thinking을 공개했다.
• 독립 검증을 거쳐야 하지만, 이 모델은 시각 중심 벤치마크에서 GPT-5 High와 Gemini 2.5 Pro를 앞선다고 주장한다.
• 전문가 혼합(Mixture of Experts) 설계를 사용해 토큰당 280억 개 매개변수 중 약 30억 개를 활성화함으로써 연산량과 메모리 사용량을 줄인다.
• 80GB GPU 한 대에서 추론을 실행할 수 있어 파일럿과 자체 구축 환경 테스트의 진입 장벽을 낮춘다.
• 주요 기능은 확대·세부 확인 작업을 위한 ‘이미지와 함께 생각하기’, 향상된 시각적 그라운딩, 동영상 이해 등이다.
• 시각 추론, STEM 작업, 그라운딩, 도구 사용, 동영상 분석, 동적 이미지 계획 등 여섯 가지 핵심 기능을 지원한다.
• 학습에는 MoE 안정화를 위한 GSPO와 IcePop을 활용한 멀티모달 강화 학습과 동적 난이도 샘플링이 포함된다.
• 개발자 도구로 ERNIEKit, Transformers·vLLM·FastDeploy 호환 기능, 공개 모델 페이지와 코드 저장소를 제공한다.
• 문서 처리, 제조 품질 관리, 창고 운영, 고객 지원 등에서 활용할 수 있다.
• 80GB GPU 요구 사양, 12만8000토큰 컨텍스트 창, MoE 라우팅의 복잡성, 견고성과 안전성에 관한 미해결 과제가 한계로 꼽힌다.