알리바바, 오픈소스 멀티모달 AI 모델 Qwen3 Omni 출시

이번 출시가 지금 중요한 이유

알리바바가 텍스트, 이미지, 오디오, 동영상을 하나의 시스템에서 처리하는 멀티모달 인공지능 모델 Qwen3 Omni를 출시했다. 글로벌 AI 경쟁이 격화되는 가운데 나온 발표다. 이 모델은 Apache 2.0 라이선스에 따라 내려받아 사용할 수 있으며, 기업은 상업용 제품에서 기술을 실행하고 수정해 배포할 폭넓은 권리를 갖는다. 다양한 입력 방식을 지원하면서 허용 범위가 넓은 라이선스까지 제공해 미국 선도 기업들의 폐쇄형 시스템에 직접적인 압박을 가하고 있다.

출시 시점도 주목할 만하다. 서구 기업들이 독점 AI와 이를 뒷받침하는 인프라에 계속 막대한 자금을 쏟아붓는 동안, 중국 연구진은 개방형 모델로 개발자들을 끌어들이고 있다. Qwen3 Omni는 Hugging Face 커뮤니티 인기 순위에서 빠르게 상위권에 올랐다. 개발자층이 큰 규모로 이 모델에 관심을 보이고 있다는 신호다. 이번 출시는 중국 최대 클라우드 사업자인 알리바바가 연구 분야의 인지도 확보에 그치지 않고 글로벌 AI 작업 시장에서도 경쟁하겠다는 의지를 보여준다.

이 모델이 내세우는 장점은 단순하다. 언어, 사진, 오디오, 동영상을 입력받아 텍스트나 자연스러운 음성으로 실시간에 가깝게 답하는 단일 파운데이션 모델이다. 알리바바가 발표한 성능이 일반적인 사용 환경에서도 유지된다면, 기업은 폐쇄형 플랫폼에 사용료를 내지 않고도 어시스턴트, 전사 서비스, 분석 도구를 구축할 수 있다. 데이터 유형마다 별도의 모델을 연결할 필요도 없다.

Qwen3 Omni란 무엇이며 어떤 기능을 하나

Qwen3 Omni는 멀티모달 상호작용에 맞춰 설계된 파운데이션 모델이다. 텍스트, 이미지, 오디오, 동영상 등 네 가지 유형의 입력을 받고, 텍스트와 음성 두 가지 형태로 출력한다. 응답은 거의 실시간으로 스트리밍될 수 있어, 사용자가 시스템과 대화하거나 카메라를 장면에 비추면 모델이 프레임을 처리하는 동안 답변을 들을 수 있다.

알리바바는 팀이 사용 사례에 맞춰 기능을 선택할 수 있도록 세 가지 버전을 제공한다. 각 버전은 추론 과정에서 전문가 모듈을 선택적으로 활성화해 효율을 높이는 300억 파라미터 백본을 기반으로 한다. 구성은 다음과 같다.

• Instruct: 오디오, 동영상, 텍스트 입력을 처리하고 텍스트와 음성을 모두 생성하는 완전한 대화형 모델.
• Thinking: 긴 사고 과정을 거치는 추론에 초점을 맞춘 모델. 같은 입력을 받지만 텍스트만 출력한다.
• Captioner: 소리의 출처와 사건을 설명할 때 환각을 최소화하는 것을 목표로 하는 상세 오디오 캡션용 미세 조정 버전.

개발자는 GitHub와 Hugging Face에서 가중치를 내려받을 수 있다. 알리바바 API의 관리형 엔드포인트를 호출하는 방법도 있으며, 이 API는 지연 시간에 민감한 용도를 위한 더 빠른 Flash 버전도 제공한다.

Thinker와 Talker 설계의 내부 구조

이 시스템은 알리바바가 Thinker와 Talker라고 부르는 두 구성요소 아키텍처를 따른다. Thinker는 여러 양식에 걸친 추론을 담당한다. 텍스트, 시각 인코더, 오디오 인코더의 정보를 융합한 뒤 계획을 세우고 의도한 답변이나 동작을 나타내는 텍스트 토큰을 생성한다. Talker는 그 계획을 자연스러운 음성으로 바꾸면서 시각·오디오 맥락에 맞춰 타이밍과 억양을 조정한다.

두 구성요소 모두 전문가 혼합(Mixture of Experts) 방식을 사용한다. 단계마다 일부 파라미터만 활성화해 작업을 여러 전문가에 분산하고, 요청이 한꺼번에 많이 들어올 때 처리량을 높인다. 이 설계는 동시 접속 사용자를 지원하면서도 지연 시간을 낮게 유지하는 데 도움을 준다.

Talker는 Thinker의 내부 텍스트 표현에 의존하지 않는다. 오디오와 시각 특징을 직접 조건으로 삼을 수 있다. 덕분에 번역이나 실시간 지원에서 장면에 어울리는 운율과 음색을 살려 더 자연스럽게 말할 수 있다. 역할을 분리하면 운영상의 이점도 있다. 검색 시스템이나 안전 필터 같은 외부 모듈이 Talker가 음성을 생성하기 전에 Thinker가 제안한 텍스트를 검토하고 조정할 수 있다.

빠르고 명료한 음성 출력을 위해 Talker는 다중 코드북 시퀀스를 자기회귀 방식으로 예측하고, 경량 Code2Wav 네트워크를 사용해 오디오 프레임을 즉석에서 합성한다. 음성 품질의 세부 묘사를 유지하면서 지연 시간을 줄이는 방식이다.

속도, 규모, 언어

음성·영상 상호작용에서는 지연 시간이 중요하다. Qwen3 Omni가 밝힌 첫 패킷 지연 시간은 오디오에서 약 234밀리초, 동영상에서 약 547밀리초다. 여러 요청을 동시에 처리할 때도 종단 간 응답성은 실시간 계수 1 이내를 유지해 대화가 끊김 없이 이어지도록 한다.

지원 언어의 범위도 넓다. 텍스트는 119개 언어를 지원한다. 음성 입력은 19개 언어를 이해하고, 10개 언어로 말할 수 있다. 주요 세계 언어와 광둥어 같은 방언도 포함된다. 제품 개발팀은 지역별로 모델을 바꾸지 않고도 전 세계 사용자를 위한 어시스턴트를 구축할 수 있다.

긴 세션을 고려해 컨텍스트 창도 설계됐다. Thinking 모드는 65,536토큰, Non Thinking 모드는 49,152토큰을 제공한다. 입력과 출력의 최대 길이는 각각 16,384토큰이며, 지원되는 가장 긴 추론 체인은 32,768토큰이다. 약 30분 길이의 오디오 클립도 분석하고 요약할 수 있다.

알리바바의 모델 학습 방식

오디오 이해의 기반은 알리바바가 처음부터 학습시킨 맞춤형 오디오 트랜스포머 AuT다. 알리바바는 약 2,000만 시간 분량의 라벨링된 오디오로 AuT를 학습했다. 대부분은 중국어와 영어 자동 음성 인식에 초점을 맞추며, 나머지 일부는 다른 언어와 폭넓은 오디오 이해를 위한 작업으로 구성됐다. AuT는 약 6억 개의 파라미터를 갖췄고, 스트리밍 캐시와 오프라인 작업 모두에 맞춰 조정됐다.

사전 학습은 세 단계로 진행됐다. 인코더 정렬 단계에서는 언어 백본을 고정한 채 시각·오디오 인코더를 학습해 인식 품질을 유지하도록 했다. 이어 텍스트, 오디오, 이미지로 구성된 약 2조 토큰 규모의 데이터셋에 동영상과 오디오·동영상 데이터 일부를 더해 일반 학습을 진행했다. 마지막 장문 컨텍스트 단계에서는 시퀀스 길이를 8,192토큰에서 32,768토큰으로 늘리고 더 긴 오디오와 동영상을 혼합해 모델이 긴 시퀀스를 따라갈 수 있도록 했다.

후속 학습에서는 지시 수행 능력과 안전성을 조정했다. Thinker에는 지도 미세 조정, 강한 모델에서 약한 모델로의 증류, 규칙과 LLM 평가자 피드백을 결합한 GSPO 최적화를 적용했다. Talker는 수억 개의 멀티모달 음성 샘플과 엄선한 데이터의 지속적 사전 학습을 결합한 4단계 과정을 거쳤다. 목표는 환각을 줄이는 동시에 음성의 명료성과 표현력을 높이는 것이었다.

벤치마크, 강점과 한계

텍스트, 음성, 시각, 동영상을 다루는 공개 벤치마크 36개에서 Qwen3 Omni가 22개에서 1위를 차지하고, 개방형 모델 가운데 32개에서 선두를 기록했다고 알리바바는 밝혔다. 오디오 비중이 높은 작업에서 강력한 성능을 보였고, 텍스트와 시각 분야에서도 경쟁력 있는 결과를 냈다는 설명이다.

추론과 글쓰기: AIME25에서 65.0점을 기록해 GPT 4o의 2024년 당시 점수인 26.7을 크게 앞섰다. ZebraLogic에서는 76.0점으로 Gemini 2.5 Flash의 57.9점을 웃돌았다. WritingBench 점수는 82.6으로 GPT 4o의 75.5보다 높았다.

음성과 오디오: Wenetspeech 평가군에서 보고된 단어 오류율은 4.69와 5.89로, GPT 4o의 15.30과 32.27보다 크게 낮았다. LibriSpeech other에서는 오류율이 2.48로 떨어졌다. 음악 분류에서도 강점을 보였다. GTZAN에서 93.0점, RUL MuchoMusic에서 52.0점을 기록해 두 항목 모두 GPT 4o를 앞섰다.

시각과 동영상: HallusionBench에서 59.7점, MMMU pro에서 57.0점, MathVision full에서 56.3점을 기록해 같은 평가 결과의 GPT 4o보다 모두 높았다. MLVU 동영상 이해 평가에서는 75.2점으로 Gemini 2.0 Flash의 71.0점과 GPT 4o의 64.6점을 앞섰다.

수치가 강력하지만 팀은 맥락을 고려해 살펴봐야 한다. 알리바바는 음성과 멀티모달 상호작용에서 강점을 보이면서 텍스트와 시각 품질도 유지하도록 시스템을 조정했다. 초기 평가자들은 같은 계열의 텍스트 전용 모델이 순수 언어 작업 일부에서는 여전히 앞설 수 있다고 지적한다. 단일 양식 학습에서 폭넓은 멀티모달 모델로 옮겨갈 때 나타날 수 있는 일반적인 상충 관계다. 실제 시험대는 일상적인 운영 환경에서의 성능이다.

오픈 라이선스, 접근성, 가격

Qwen3 Omni는 Apache 2.0 라이선스로 공개됐다. 이 라이선스는 상업적 이용과 수정, 재배포를 허용하며 특허 사용권도 포함한다. 기업은 모델을 제품에 통합하거나 자체 하드웨어 또는 신뢰할 수 있는 클라우드에서 배포하고, 독점적인 변경 사항을 공개하지 않은 채 폐쇄형 제품으로 출시할 수 있다. 이 라이선스는 규제가 엄격한 환경에서 고급 모델을 도입하는 데 걸림돌이 되는 가장 흔한 법적 문제를 해소한다.

모델 제품군은 GitHub와 Hugging Face에서 내려받을 수 있다. 관리형 서비스를 선호하는 팀은 더 빠른 응답을 위한 Flash 옵션도 제공하는 알리바바 API를 이용할 수 있다. 알리바바는 기능을 평가한 뒤 유료로 전환할 수 있도록 활성화 후 90일 동안 여러 양식에 걸쳐 100만 토큰을 무료로 제공한다.

토큰 가격 책정 방식

요금은 토큰 1,000개 단위로 부과된다. 토큰은 텍스트의 작은 단위 또는 다른 미디어를 잘게 나눈 표현 단위이며, 여러 양식의 연산 비용을 비교하는 공통 기준이다. 알리바바는 Thinking 모드와 Non Thinking 모드에 동일한 토큰별 가격을 적용한다. 단, 오디오 출력은 Non Thinking 모드에서만 이용할 수 있다.

입력 비용: 텍스트 입력은 토큰 1,000개당 0.00025달러로, 100만 토큰당 약 25센트다. 오디오 입력은 토큰 1,000개당 0.00221달러로, 100만 토큰당 약 2.21달러다. 이미지와 동영상 입력은 토큰 1,000개당 0.00046달러로, 100만 토큰당 약 46센트다.

출력 비용: 프롬프트가 텍스트만으로 이뤄진 경우 텍스트 출력은 토큰 1,000개당 0.00096달러다. 입력에 이미지나 오디오가 포함되면 텍스트 출력은 토큰 1,000개당 0.00178달러다. 텍스트와 오디오를 함께 출력하도록 요청하면 오디오 부분은 토큰 1,000개당 0.00876달러다. 이 경우 텍스트 부분은 무료다.

당장 활용할 수 있는 사례

오디오와 동영상 중심의 애플리케이션이 이점을 얻을 수 있다. 고객 지원과 미디어 현지화를 위한 다국어 전사·번역을 하나의 모델로 처리할 수 있다. 모델이 듣고 맥락을 이해한 뒤 음성으로 응답하는 방식이다. Captioner 버전은 오디오 설명에 초점을 맞춰 미디어 태깅, 방송 모니터링, 음악 정보 검색에 유용하다.

광학 문자 인식, 객체 위치 파악, 이미지·동영상 질의응답 같은 시각 작업에도 적합하다. 예를 들어 고객 지원 상담원이 노트북을 비추는 실시간 휴대전화 카메라 화면을 보고 점검해야 할 케이블을 설명한 뒤, 자연스러운 속도로 해결 단계를 안내할 수 있다. 알리바바는 웨어러블 기기를 통해 식당 메뉴를 실시간 번역하는 기능도 시연했다. 이런 사례는 스트리밍 지연 시간과 음성 품질이 중요한 이유를 보여준다.

Qwen3 Omni는 시청각 대화도 지원한다. 들은 내용과 본 장면을 함께 참조해 대화를 이어가고, 긴 세션의 맥락을 유지하며, 도구와 연결되면 관련 외부 지식을 제시할 수 있다. 개발자는 시스템 프롬프트로 어조와 행동을 조정하고, 특정 분야에 맞는 어시스턴트를 구축할 수 있다. 음성을 생성하기 전 Thinker의 출력을 자체 안전 필터로 보내는 것도 가능하다.

GPT 4o, Gemini 2.5, Gemma 3n과 비교

Qwen3 Omni는 여러 유형의 데이터를 하나의 엔진으로 처리하려는 옴니 모델 대열에 합류했다. OpenAI의 GPT 4o는 텍스트, 이미지, 오디오 입력을 지원하지만 폐쇄형 서비스로 제공된다. 구글의 Gemini 2.5 Pro도 동영상 분석을 처리하지만 폐쇄형이다. 구글의 Gemma 3n은 오픈 라이선스를 적용하고 텍스트, 이미지, 오디오, 동영상을 입력으로 받지만 텍스트만 생성한다. 알리바바 모델은 같은 네 가지 입력을 받고 음성 출력까지 지원한다. 이는 어시스턴트와 실시간 번역에서 중요한 차이다.

개방성은 실질적인 차이를 만든다. Qwen3 Omni의 가중치는 Apache 2.0 라이선스로 제공되므로 기업은 모델을 로컬에서 실행하고 업계 규제에 맞게 조정하며 데이터 흐름을 통제할 수 있다. 일부 고난도 작업에서는 여전히 폐쇄형 모델이 우세하지만, 라이선스와 데이터 거주 요건이 민감한 분야의 배포를 제한할 수 있다. 많은 조직은 비용과 통제력을 위해 개방형 모델을 쓰고, 성능을 따라잡기 어려운 분야에서는 유료 서비스를 활용하는 혼합형 구성을 택할 전망이다.

또 다른 차이는 실제 운영 측면에 있다. 알리바바는 수백 종의 모델을 포함한 폭넓은 Qwen 제품군을 구축했고, 개발자들의 활발한 채택을 보고하고 있다. Qwen3 Omni의 실시간 음성·동영상 상호작용이 일상적인 사용에서도 벤치마크 수준을 유지한다면, 자체 호스팅이 가능한 다국어 저지연 어시스턴트가 필요한 팀에 신뢰할 만한 대안이 될 수 있다.

도입 현황과 시장 신호

개발자들의 관심은 뚜렷하다. Qwen3 Omni는 Hugging Face 인기 순위 상위권에 올랐고, 알리바바의 다른 모델도 상위권 여러 자리를 차지하고 있다. 중국 연구소의 개방형 모델이 글로벌 커뮤니티에서 입지를 넓히는 흐름이 반영됐다.

알리바바 클라우드는 Qwen 제품군의 전 세계 누적 다운로드가 4억 회를 넘었으며, 제품군을 시작한 이후 300개가 넘는 모델을 출시했다고 밝혔다. 투자자들도 긍정적인 반응을 보였다. Qwen3 Omni가 커뮤니티 순위 정상에 오른 날 홍콩 증시에서 알리바바 주가는 4% 넘게 상승했다. 시장이 회사의 AI 발전을 주시하고 있다는 신호다.

‘오픈’의 의미를 둘러싼 논쟁도 있다. 모델은 Apache 2.0으로 제공되고 가중치도 공개됐지만, 원시 데이터부터 학습을 재현하는 전체 절차는 공개되지 않았다. 엄격한 의미에서는 오픈 가중치 모델이라고 부를 수 있다. 대다수 기업에 중요한 것은 라이선스 조건이며, 이 조건은 사용자나 좌석 수에 따른 요금 없이 제품을 출시할 수 있도록 한다.

안전과 거버넌스에서 주목할 점

기업들은 보고된 벤치마크 성과가 부하가 걸린 상황에서도 예측 가능하고 안전한 행동으로 이어지는지 확인하려 할 것이다. 음성 시스템에는 명령을 잘못 알아듣는 문제부터 그럴듯한 음성 합성까지 고유한 위험이 따른다. 팀은 신원 확인, 콘텐츠 필터링, 데이터 보존에 관한 보호 장치를 마련해야 한다. Thinker와 Talker의 분리는 이런 통제를 뒷받침한다. 음성을 생성하기 전에 안전 계층이 텍스트를 가로채 검토할 수 있기 때문이다.

운영 준비도 중요해질 전망이다. 개방형 모델을 대규모로 도입하는 조직은 대개 MLOps, 미세 조정 파이프라인, 평가 체계에 투자한다. Qwen3 Omni는 텍스트, 오디오, 이미지, 동영상을 한곳에서 처리해 여러 모델을 따로 관리해야 할 필요를 줄인다. 특히 지역 규정을 준수해야 하는 온프레미스나 주권 클라우드 배포에서 인프라를 단순화하고 제품 출시 주기를 앞당길 수 있다.

알리바바는 다중 화자 인식 개선, 동영상 텍스트 인식, 오디오와 동영상을 결합한 학습 강화, 더 유능한 자율 에이전트 개발 등을 다음 단계로 제시했다. 고객들이 시범 운영에서 실제 서비스로 전환하면서 우선적으로 모델에 요구할 분야와 맞닿은 목표다.

핵심 요점

• Qwen3 Omni는 텍스트, 이미지, 오디오, 동영상을 입력받고 텍스트와 음성을 스트리밍 방식으로 출력하는 단일 모델이다.
• 알리바바는 특허 사용권과 함께 상업적 이용, 수정, 재배포를 허용하는 Apache 2.0 라이선스로 가중치를 공개했다.
• 현재 세 가지 버전을 제공한다. 완전한 상호작용을 위한 Instruct, 텍스트를 출력하며 장시간 추론하는 Thinking, 오디오 설명의 환각을 줄이는 Captioner다.
• Thinker와 Talker가 추론과 음성 생성을 분담하며, 전문가 혼합 방식을 사용해 동시 부하에서 지연 시간을 낮게 유지한다.
• 보고된 첫 패킷 지연 시간은 오디오에서 약 234밀리초, 동영상에서 약 547밀리초이며 실시간 계수 1 이내다.
• 텍스트 119개 언어를 지원하고, 19개 언어의 음성을 이해하며 10개 언어로 말할 수 있다. 광둥어 같은 방언도 지원한다.
• 약 2,000만 시간의 오디오로 학습한 6억 파라미터 오디오 인코더 AuT가 음성 이해의 기반이다.
• 벤치마크 36개 중 22개에서 1위를 기록하고 개방형 모델 가운데 32개에서 선두를 차지했다. 음성, 음악, 시각, 동영상 분야에서 강한 성과를 보였다.
• API 요금은 텍스트 입력 토큰 1,000개당 0.00025달러, 텍스트 출력 토큰 1,000개당 0.00096달러부터 시작한다. 90일간 100만 토큰을 무료로 이용할 수 있다.
• Hugging Face에서 빠르게 채택되고 있으며, 알리바바는 Qwen 모델의 누적 다운로드가 수억 회에 이른다고 밝혔다. 기업들은 운영 환경에서 사용할 개방형 모델을 평가하고 있다.