알리바바, 오픈소스 멀티모달 AI 모델 Qwen3 Omni 공개

멀티모달 AI의 새로운 오픈소스 강자

알리바바가 텍스트를 읽고, 이미지를 보고, 오디오를 듣고, 동영상을 분석할 수 있는 광범위한 멀티모달 모델 Qwen3 Omni를 선보였다. 이 모델은 텍스트와 자연스러운 음성으로 응답한다. 알리바바는 이를 처음부터 끝까지 통합된 네이티브 옴니 모델로 소개한다. 즉, 음성이나 시각 기능을 나중에 덧붙이는 대신, 처음부터 여러 입력을 함께 처리하도록 설계했다는 뜻이다. 여러 기관이 오픈소스 모델과 GPT 4o, Gemini 2.5 Pro 같은 독점 시스템 사이에서 비용과 제어권을 저울질하는 가운데 출시됐다. 가장 큰 차이는 접근성이다. Qwen3 Omni는 상업적 무료 이용, 수정, 재배포를 허용하는 관대한 라이선스인 Apache 2.0으로 공개됐다. 이에 따라 좌석당 요금이나 공급업체 종속 없이 자체 호스팅하거나 제품을 출시하려는 팀의 진입 장벽이 낮아진다.

Qwen3 Omni는 텍스트, 이미지, 오디오라는 일반적인 세 가지 입력 범위를 넘어 동영상도 분석한다. 이 기능은 지금까지 주로 폐쇄형 플랫폼에서만 제공됐다. 이 모델은 텍스트 119개 언어, 음성 입력 19개 언어, 음성 출력 10개 언어를 지원하며, 주요 언어와 광둥어 같은 일부 방언을 포괄한다. 초기 공개 자료는 일괄 처리보다 대화에 가까운 스트리밍 응답성을 강조한다. 첫 오디오 패킷은 약 4분의 1초, 동영상 패킷은 약 2분의 1초 만에 생성된다. 이는 고객 지원 통화나 모바일 안내처럼 실시간으로 대화가 오가며 끼어들고, 확인 질문을 하고, 빠르게 다른 담당자에게 넘겨야 하는 환경에서 중요한 기준점이다.

이번 출시에는 서로 다른 용도에 맞춰 조정된 세 가지 버전이 포함됐다. Instruct는 모든 기능을 갖춘 대화형 모델이고, Thinking은 텍스트 출력으로 복잡한 추론과 긴 사고 과정을 처리하는 데 초점을 맞춘다. Captioner는 환각률이 낮아야 하는 오디오 캡션 생성에 특화됐다. 개발자는 주요 모델 허브에서 가중치를 내려받거나, 더 빠른 Flash 옵션이 포함된 API를 이용하거나, 특정 분야에 맞게 미세 조정해 제어력과 스타일을 맞출 수 있다. 알리바바가 공개한 벤치마크에서는 음성, 오디오, 동영상 작업에서 강한 성능을 보였으며 텍스트와 시각 처리 성능도 주요 시스템과 경쟁력을 유지했다.

Qwen3 Omni의 차별점

몇 가지 기술적 선택이 Qwen3 Omni를 차별화한다. 첫째, 학습 파이프라인은 처음부터 단일 모달 데이터와 모달 간 데이터를 함께 사용하고, 사전 학습과 사후 학습 과정에서 규모를 계속 키운다. 둘째, 모델은 토큰마다 일부 파라미터만 활성화하는 전문가 혼합(Mixture of Experts) 아키텍처를 사용한다. 이를 통해 처리량을 높이고 추론 비용을 줄일 수 있어 실시간 애플리케이션과 하드웨어 제약이 있는 환경에 중요하다. 셋째, 시스템은 추론과 음성을 Thinker와 Talker라는 두 개의 협력 구성 요소로 분리한다. Thinker는 멀티모달 이해와 추론의 핵심 작업을 맡고, Talker는 고수준 표현을 타이밍과 특성을 살린 음성으로 변환한다.

서로 다른 요구에 맞춘 세 가지 모델

알리바바 클라우드는 팀이 적합한 모델을 선택할 수 있도록 Qwen3 Omni 30B A3B 계열의 세 가지 옵션을 출시했다:

• Instruct는 Thinker와 Talker를 결합해 텍스트, 이미지, 오디오, 동영상 입력을 처리하고 텍스트와 음성으로 모두 출력한다.
• Thinking은 심층 추론과 긴 사고 과정에 초점을 맞추며, 동일한 멀티모달 입력을 받지만 텍스트만 출력한다.
• Captioner는 환각률이 낮은 오디오 캡션과 설명을 생성하는 모델로, 미디어 분석, 접근성 지원, 콘텐츠 관리 작업에 유용하다.

API에는 지연 시간을 줄이고 동시 처리량을 높인 Flash 버전도 추가됐다. 답변을 늦추지 않고 급증하는 트래픽을 처리해야 하는 콜센터 도우미나 쇼핑 안내 서비스를 구축할 때 유용할 수 있다.

Thinker와 Talker 아키텍처의 내부

Qwen3 Omni는 추론의 유연성을 유지하면서 음성을 자연스럽게 구현하기 위해 역할을 분리한다. Thinker는 핵심 멀티모달 모델이다. 텍스트, 이미지, 오디오, 동영상 특징을 정렬하고 결합한 뒤 응답을 이끄는 토큰 단위 표현을 생성한다. Talker는 전용 음성 생성기다. Thinker의 출력을 텍스트로 받아 처리하는 대신 오디오와 시각 특징을 직접 조건으로 삼는다. 이 설계는 Talker가 본 것과 들은 것에 맞춰 운율과 음색을 조정하도록 해, 속도 조절, 강조, 감정 표현 같은 번역 및 음성 연기 특성을 개선한다.

음성 지연 시간을 줄이기 위해 Talker는 이산 음향 토큰을 예측하는 다중 코드북 자기회귀 방식을 사용한다. 그런 다음 경량 Code2Wav 합성곱 신경망이 이 토큰을 파형으로 변환한다. Talker는 Thinker의 텍스트 출력과 분리돼 있어, 외부 모듈이 음성 출력 전에 Thinker의 결과에 영향을 주거나 이를 필터링할 수 있다. 이를 통해 추론과 발화 사이에 정책 검사와 검색 단계를 실행할 수 있어 안전성 관련 절차를 더욱 실용적으로 구현할 수 있다. 스트리밍 성능은 핵심 요소다. 알리바바가 제시한 수치에 따르면 첫 오디오 패킷은 약 234밀리초, 첫 동영상 패킷은 약 547밀리초 만에 생성된다. 시스템은 실시간 처리 배수(real time factor) 1 미만을 유지한다. 즉 여러 요청을 처리하는 동안에도 재생 시간보다 빠르게 오디오를 생성할 수 있다.

Thinker와 Talker 모두 전문가 혼합 아키텍처를 사용한다. 전문가 혼합 모델은 여러 개의 소규모 전문가 신경망과 게이팅 네트워크로 구성되며, 게이팅 네트워크가 각 토큰을 일부 전문가에게 전달한다. 토큰마다 전체 파라미터 중 작은 일부만 실행되므로 높은 동시 처리량을 지원하고 추론 응답성을 유지하는 데 도움이 된다. 개발자 입장에서는 어시스턴트가 대화에 끼어들고 상호작용하는지, 아니면 발화 차례가 올 때까지 기다리는 봇인지의 차이를 만들 수 있다.

개발 방식과 지원 기능

오디오 성능은 인코더에서 시작된다. Qwen3 Omni는 처음부터 새로 구축해 약 2,000만 시간의 지도 데이터로 학습한 Audio Transformer를 도입했다. 학습 데이터는 중국어와 영어 자동 음성 인식 자료가 대부분이며, 오디오 이해 중심의 다른 언어 및 작업 데이터도 추가됐다. 인코더는 약 6억 개의 파라미터를 갖고, 저지연 스트리밍 캐시를 지원하며 장시간 녹음 분석 같은 작업에는 오프라인으로 실행할 수도 있다. 이 인코더의 출력은 정렬 단계를 거쳐 멀티모달 핵심 모델에 전달되므로, 모델이 여러 형식에 걸쳐 추론할 수 있다.

사전 학습은 세 단계로 진행됐다. 인코더 정렬 단계에서는 언어 모델을 고정한 상태로 시각 및 오디오 인코더를 학습하고 정렬했다. 일반 학습 단계에서는 텍스트, 오디오, 이미지, 일부 동영상 및 오디오·동영상 쌍을 포함해 약 2조 개 토큰으로 규모를 키웠다. 장문맥 학습 단계에서는 장시간 오디오와 동영상 시퀀스를 더 많이 포함하면서 최대 토큰 길이를 8,192개에서 32,768개로 확장했다. 사후 학습에는 지도 미세 조정, 더 강력한 교사 모델의 지식 증류, Thinker를 위한 규칙 및 모델 판단 기반의 정책 최적화가 포함됐다. Talker는 환각을 줄이고 음질을 개선하기 위해 수억 개의 멀티모달 음성 샘플과 지속적 사전 학습을 결합한 4단계 학습 과정을 거쳤다.

300억 파라미터 계열 모델치고는 다양한 기능을 지원하지만 한계도 있다. Qwen3 Omni는 텍스트 119개 언어, 음성 입력 19개 언어, 음성 출력 10개 언어를 지원한다. Thinking Mode의 컨텍스트 창은 65,536토큰, Non Thinking Mode는 49,152토큰이며, 입력은 최대 16,384토큰, 출력도 최대 16,384토큰까지 지원한다. 가장 긴 사고 과정은 32,768토큰에 이를 수 있다. 이러한 규모는 긴 회의록이나 복잡한 녹취록, 코드베이스와 문서를 청크로 나누지 않고 처리하는 데 도움이 된다.

벤치마크와 강점, 결과를 읽는 방법

알리바바는 36개 벤치마크에서 Qwen3 Omni가 22개 항목에서 최고 점수를 얻었고, 오픈소스 모델 가운데 32개 항목에서 선두를 기록했다고 밝혔다. 텍스트 및 추론 성능에서는 AIME25에서 65.0점을 기록해 GPT 4o가 공개한 26.7점보다 크게 높았고, ZebraLogic에서는 76.0점으로 Gemini 2.5 Flash가 발표한 57.9점을 앞섰다. WritingBench 점수는 82.6점으로 GPT 4o의 75.5점보다 높았다. 음성 및 오디오 부문에서 Wenetspeech의 단어 오류율(WER)은 두 가지 일반적인 테스트 분할 기준으로 각각 4.69와 5.89를 기록해, GPT 4o가 보고한 15.30과 32.27보다 크게 앞섰다. Librispeech other의 WER은 2.48로 낮은 편에 속한다.

이미지 및 시각 처리 결과는 HallusionBench 59.7점, MMMU pro 57.0점, MathVision full 56.3점으로, 알리바바 보고서에서 모두 GPT 4o를 앞섰다. 동영상 이해에서는 MLVU에서 75.2점을 기록해 Gemini 2.0 Flash의 71.0점과 GPT 4o의 64.6점을 넘어섰다. 음악 작업에서도 GTZAN 93.0점, RUL MuchoMusic 52.0점으로 개선된 성능을 보였다. 이 수치들은 설계의 초점과 일치하는 모습을 보여준다. Qwen3 Omni는 오디오와 시청각 이해에서 높은 기준을 세우면서 텍스트와 이미지 처리 능력도 강하게 유지한다.

벤치마크는 유용하지만 통제된 테스트일 뿐이다. 데이터셋과 채점 방식이 특정 학습 데이터 구성에 유리하게 작용할 수 있다. 실제 배포 환경에서는 소음이 섞인 마이크, 억양, 흔들리는 휴대전화 카메라, 빠른 맥락 전환 등 새로운 부담이 드러난다. 멀티모달 모델에는 또 다른 일반적인 절충점도 있다. 여러 모달리티에 걸쳐 폭넓게 학습하면 텍스트 중심으로 학습한 대형 모델에 비해 텍스트만 처리하는 성능이 소폭 낮아질 수 있다. 각 팀은 자체 데이터로 집중적인 시범 운영을 진행하고, 필요하다면 여러 모델을 조합하는 전략을 선택해야 한다. 많은 기업은 듣고 보는 소형 멀티모달 모델과 보고서나 이메일을 작성하는 대형 텍스트 모델을 함께 사용한다. Apache 라이선스는 조달 과정의 마찰 없이 이런 방식의 조율을 쉽게 해준다.

GPT 4o, Gemini 2.5 Pro, Gemma 3n과 비교

OpenAI는 텍스트, 이미지, 오디오를 긴밀하게 결합하고 자연스러운 음성을 구현한 GPT 4o로 기대치를 높였다. Qwen3 Omni는 입력 목록에 동영상 분석을 추가했다. Google은 Gemini 2.5 Pro에서 동영상 분석을 제공하지만, 여전히 독점 모델이다. Google은 오픈 모델 Gemma 3n도 제공한다. 이 모델은 텍스트, 이미지, 오디오, 동영상 입력을 받지만 텍스트만 출력한다. Qwen3 Omni는 텍스트와 음성을 모두 출력해 실시간 번역이나 콜센터 상담원 연결 같은 대화형 활용 범위를 넓힌다.

또 다른 차별점은 라이선스다. Qwen3 Omni는 특허 라이선스가 포함된 Apache 2.0으로 공개돼, 기업이 소스 공개를 강제당하거나 실행 요금을 내지 않고 제품을 사용·수정·출시할 수 있다. 폐쇄형 모델은 유료 접근이 필요하고 특정 제공업체의 플랫폼에 사용이 종속된다. 최신 오픈 모델을 둘러싼 일반적인 고려 사항도 있다. 가중치와 사용 코드는 공개되지만, 엄선된 학습 데이터를 포함해 처음부터 모델을 재구축하는 전체 방법은 보통 공개되지 않는다. 많은 도입 기업의 주된 목표는 모델을 실행하고, 미세 조정하고, 실제 서비스에 통합하는 것이며, 이 모델은 그러한 활용을 허용한다.

지연 시간도 경쟁력이 있다. 알리바바가 밝힌 첫 오디오 패킷 생성 시간은 약 234밀리초, 동영상은 약 547밀리초다. 대화형 시스템 가운데 최고 수준의 제품들과 비슷한 범주다. 기업은 첫 패킷 생성 시간을 넘어 안정적인 콘텐츠가 나오기까지 걸리는 시간과 긴 답변의 전체 응답 시간 등 서비스 수준 목표를 평가해야 한다. Qwen3 Omni는 다른 생태계의 속도 중시 요금제와 비슷한 취지의 API Flash 버전도 제공해 더욱 빠른 응답을 지원한다.

접근 방법, 가격, 무료 할당량

개발자는 여러 방법으로 Qwen3 Omni를 사용해 볼 수 있다. 가중치는 주요 모델 허브에서 이용할 수 있다. API는 활성화 후 90일 동안 모든 모달리티를 합산해 100만 토큰을 무료로 제공하는 온디맨드 접근을 지원한다. 요금은 1,000토큰당 부과된다. 텍스트 입력은 0.00025달러, 오디오 입력은 0.00221달러, 이미지 및 동영상 입력은 0.00046달러다. 텍스트 출력은 입력이 텍스트뿐이면 1,000토큰당 0.00096달러, 이미지나 오디오가 입력에 포함되면 0.00178달러다. 텍스트와 오디오 출력을 함께 요청하면 오디오 부분은 1,000토큰당 0.00876달러이고 텍스트 부분은 무료다.

이 요금은 많은 폐쇄형 서비스보다 낮아 큰 비용 부담 없이 실험할 수 있다. 알리바바에 따르면 Thinking Mode와 Non Thinking Mode의 요금은 같다. 오디오 출력은 Non Thinking Mode에서만 지원된다. 플랫폼의 Model Studio에서는 컨텍스트 한도와 모델 옵션도 확인할 수 있으며, 기업은 속도, 품질, 비용을 기준으로 모델을 선택할 수 있다. 공식 정보는 알리바바 클라우드 Model Studio 페이지의 이 링크에서 확인할 수 있다.

고객 지원부터 미디어 도구까지, 활용 사례

Qwen3 Omni는 보고 듣고 말하는 기능이 중요한 작업을 겨냥한다. 몇 가지 사례를 통해 활용 범위를 살펴볼 수 있다:

• 실시간 기술 지원. 어시스턴트가 고객의 말을 들으면서 휴대전화 카메라 화면을 확인하고 자연스러운 음성으로 단계별 안내를 제공할 수 있다.
• 다국어 녹취 및 번역. 여러 언어로 진행되는 회의, 통화, 강의를 받아 적은 뒤 영어 요약을 만들거나 다른 언어로 답변을 말해줄 수 있다.
• 오디오 캡션 및 음악 태깅. Captioner 버전은 배경음과 음악적 특징을 포함해 환각률이 낮은 오디오 설명을 작성하므로 검색과 저작권 관리에 유용하다.
• 동영상 이해. 동영상에서 어떤 일이 있었는지 질문에 답하고, 사건을 추적하고, 장면을 요약할 수 있다.
• OCR 및 문서 접수. 시각 정보와 언어를 결합해 양식이나 영수증에서 항목을 추출한 뒤 맥락에 따라 유효성을 확인할 수 있다.
• 소비자용 어시스턴트. 웨어러블 기기나 휴대전화에서 메뉴 번역, 랜드마크 식별, 주변 환경 설명과 같은 접근성 기능에 활용할 수 있다.

개발자는 시스템 프롬프트를 통해 대화 스타일과 페르소나를 미세 조정할 수 있다. 검색, 계산, 데이터베이스 조회를 위해 외부 서비스를 호출하는 도구 사용도 지원한다. 이를 통해 모델이 계획을 세우고 도구를 호출한 뒤 음성으로 결과를 전달하는 에이전트형 활용 방식을 구현할 수 있다.

라이선스와 기업에 미치는 영향

Apache 2.0 라이선스는 이 모델을 둘러싼 이야기의 중요한 부분이다. 상업적 이용, 수정, 재배포를 허용하며, 특허 라이선스도 포함돼 모델을 독점 시스템에 통합할 때의 법적 위험을 줄여준다. 기업은 공급업체에 요금을 내지 않고 Qwen3 Omni를 제품이나 내부 업무 흐름에 포함할 수 있으며, 변경 사항을 오픈소스로 공개할 필요도 없다. 데이터 경로와 로그 기록에 대한 통제가 필요한 규제 산업에서 특히 매력적이다. 가중치가 공개돼 있어 자체 설비에 배포하거나 신뢰할 수 있는 클라우드에서 호스팅할 수도 있다.

오픈소스 공개가 모든 우려를 자동으로 해결해 주는 것은 아니다. 학습 데이터와 전체 학습 코드는 보통 포함되지 않으므로 커뮤니티가 모델 구축 과정을 온전히 재현할 수는 없다. 많은 기업은 모델 실행, 맞춤화, 서비스 수준 목표 달성에 초점을 두기 때문에 이를 수용할 수 있다. 이번 출시는 여러 모델을 함께 쓰는 구조의 필요성을 강화한다. 팀은 적절한 경우 빠른 오픈 멀티모달 모델과 더 큰 독점 모델을 조합하거나, 플랫폼 제약을 피하기 위해 모든 것을 오픈 모델로 구성할 수 있다. 어느 쪽이든 동영상을 이해하고 음성으로 응답하는 모델을 관대한 라이선스로 이용할 수 있게 되면서 긴 협상 없이 만들 수 있는 것들이 늘어났다.

위험 요소와 보호 장치, 다음 평가 과제

멀티모달 모델은 텍스트만 다룰 때보다 폭넓은 보안 및 안전성 문제를 일으킨다. 오디오와 동영상 입력에는 민감한 정보가 담길 수 있고, 음성 출력은 근거를 확보하거나 필터링하지 않으면 오해를 불러일으킬 수 있다. 알리바바는 Talker가 음성을 출력하기 전에 외부 모듈이 Thinker의 결과를 가로채는 게이트 단계를 설명한다. 이 설계는 정책 검사, 검색, 레드팀 필터링을 지원한다. 그래도 기업은 자체 환경과 지역에 맞춰 콘텐츠 안전성을 검증해야 하며, 프롬프트 인젝션 방어, 개인정보 보호 통제, 녹음 또는 분석에 대한 동의도 확인해야 한다.

성능 주장은 실제 데이터로 검증해야 한다. 억양, 전문 분야 용어, 배경 소음은 자동 음성 인식 품질을 떨어뜨릴 수 있다. 어두운 조명이나 흔들림으로 인한 흐림은 시각 이해 성능을 저하시킬 수 있다. 도구 사용과 에이전트 조율은 잘못된 도구 호출이나 반복 실행 같은 새로운 실패 유형을 낳는다. 로그 기록, 사람의 검토, 롤백을 위한 거버넌스 정책도 필요하다. 마지막으로 인프라도 중요하다. 실시간 음성을 대규모로 실행하려면 처리량, GPU 메모리, 부하 조절을 세심하게 계획해야 한다. 전문가 혼합 구조가 효율성에 도움을 주지만, 급증하는 요청과 긴 컨텍스트에 대비해 클러스터와 캐시 규모를 적절히 설정해야 한다.

핵심 내용

• 알리바바는 텍스트, 이미지, 오디오, 동영상 입력과 텍스트 및 음성 출력을 지원하는 Qwen3 Omni를 Apache 2.0 기반 오픈 모델로 공개했다.
• 시스템은 Thinker와 Talker 구조에 전문가 혼합 아키텍처를 결합해 동시 처리와 저지연 스트리밍 음성을 지원한다.
• 공개된 첫 패킷 생성 시간은 오디오 약 234밀리초, 동영상 약 547밀리초이며, 실시간 처리 배수는 1 미만이다.
• 세 가지 모델 버전이 제공된다. Instruct는 전반적인 상호작용, Thinking은 텍스트 기반 심층 추론, Captioner는 오디오 캡션 생성에 초점을 맞춘다.
• 학습에는 약 2,000만 시간의 데이터로 훈련한 맞춤형 Audio Transformer와 약 2조 토큰 규모의 멀티모달 말뭉치가 포함됐다.
• 알리바바가 공개한 벤치마크에서 Qwen3 Omni는 다양한 오디오, 동영상, 추론 테스트를 선도하면서 텍스트와 시각 처리에서도 경쟁력을 유지했다.
• 1,000토큰당 요금이 낮고 API에서 90일간 100만 토큰 무료 할당량을 제공하며, 가중치를 내려받아 자체 호스팅할 수도 있다.
• Apache 2.0 라이선스는 특허 사용권과 함께 상업적 이용, 수정, 재배포를 허용해 공급업체 종속을 줄여준다.
• 기업은 실제 데이터로 안전성, 지연 시간, 정확도를 테스트하고 실시간 작업을 뒷받침할 거버넌스와 인프라를 계획해야 한다.