알리바바, 오픈소스 멀티모달 AI 모델 Qwen3-Omni 공개

지금 주목해야 하는 이유: 오픈 멀티모달 AI의 대중화

알리바바가 텍스트, 이미지, 오디오, 동영상을 입력으로 받아 실시간으로 텍스트나 자연스러운 음성으로 응답하는 무료 멀티모달 인공지능 모델 Qwen3-Omni를 공개했다. 알리바바는 입력 네 가지를 사후에 덧붙이는 대신 단일 모델 안에 통합한 최초의 네이티브 엔드투엔드 옴니모달 시스템이라고 소개했다. OpenAI와 구글의 주요 시스템이 여전히 독점형인 시장에서 이번 출시로 누구나 아파치 2.0 라이선스에 따라 내려받고, 수정하고, 배포할 수 있는 오픈소스 대안과 폐쇄형 플랫폼의 뚜렷한 대비가 형성됐다.

기대 효과는 분명하다. 기업과 개발자는 낮은 지연 시간, 폭넓은 언어 지원, 응답을 조정할 수 있는 도구를 갖춘 멀티모달 모델을 이용할 수 있다. 그 영향은 기술 벤치마크를 넘어선다. 기업 친화적인 오픈 라이선스는 특정 공급업체에 대한 종속을 없애고, 조직이 자체 인프라에서 모델을 실행할 수 있게 한다. 많은 기업이 AI 시스템에서 비용, 통제력, 성능의 균형을 찾는 지금 이는 의미 있는 차이다.

Qwen3-Omni는 일련의 옴니 모델 출시 이후 등장했다. OpenAI의 GPT-4o는 텍스트, 이미지, 오디오를 결합했고, 구글의 Gemini 2.5 Pro는 동영상 분석을 추가했다. 이들 시스템은 여전히 유료 폐쇄형 모델이다. Qwen3-Omni는 동영상 이해, 음성 입력, 음성 출력을 하나의 패키지로 제공하며, 커뮤니티가 내부를 살펴보고 이를 기반으로 개발할 수 있도록 했다. 이번 출시는 개발자 플랫폼에서 높은 채택률을 보이며 경쟁 구도를 바꾸고 있는 중국 오픈 AI 프로젝트의 부상도 보여준다.

Qwen3-Omni의 개요와 작동 방식

Qwen3-Omni는 파이프라인의 서로 다른 단계를 맡도록 각각 최적화된 Thinker와 Talker라는 두 부분으로 구성된다. Thinker는 멀티모달 이해와 추론, 텍스트 생성을 담당한다. Talker는 승인된 출력을 음성으로 바꾸고 음성과 시각 정보를 조율한다. 두 구성 요소 모두 Mixture of Experts 아키텍처를 사용한다. 이는 모델의 파라미터를 전문화된 그룹으로 나누고 필요한 경우에만 활성화하는 방식이다. 요청마다 모든 파라미터를 실행할 필요가 없어 추론 속도가 빨라지고 확장성도 높아진다.

Thinker와 Talker의 역할

Qwen3-Omni에서 Thinker는 입력을 받아 텍스트, 이미지, 오디오, 동영상의 신호를 통합하고 핵심 응답을 텍스트 형태로 생성한다. 긴 맥락 추론, 도구 사용, 검색, 안전 필터가 작동하는 단계다. 중요한 점은 Talker가 Thinker의 텍스트 토큰에 의존하도록 강제되지 않는다는 것이다. 대신 오디오와 시각 특성에 직접 조건화된다. 이 설계 덕분에 번역할 때 원래 화자의 말하는 속도와 강조를 반영하는 음성을 생성하거나, 화면에 나타나는 내용에 맞춰 말하는 속도를 조절할 수 있다. 또한 외부 모듈이 Talker가 이를 오디오로 변환하기 전에 Thinker의 출력을 검토하거나 조정할 수 있어 작업 흐름을 제어하기도 쉽다.

음성 생성에는 멀티 코드북 자기회귀 방식을 사용한다. 간결한 음향 토큰을 예측한 뒤 경량 Code2Wav 네트워크로 파형을 생성한다. 이 설계는 음성의 세부 정보를 유지하면서 지연 시간을 줄인다. Audio Transformer라고 불리는 오디오 인코더는 스트리밍과 오프라인 사용을 모두 지원하도록 처음부터 학습됐다.

저지연 스트리밍을 위한 설계

Qwen3-Omni는 실시간 대화형 사용을 겨냥한다. 시스템이 보고한 엔드투엔드 첫 패킷 지연 시간은 오디오 약 234밀리초, 동영상 약 547밀리초다. 실시간 배율 1 미만을 유지한다. 즉 입력이 들어오는 속도와 같거나 그보다 빠르게 출력을 생성할 수 있다. 이는 음성 에이전트, 콜센터 코파일럿, 회의록 작성처럼 지연이 흐름을 끊는 상황에서 중요하다.

언어 지원과 컨텍스트 한도

이 모델은 텍스트 119개 언어, 음성 입력 19개 언어, 음성 출력 10개 언어를 지원한다. 긴 대화도 처리할 수 있다. Thinking Mode의 컨텍스트 창은 65,536토큰이며, 최대 추론 체인은 32,768토큰이다. Non Thinking Mode의 컨텍스트는 49,152토큰이다. 입력과 출력 한도는 각각 16,384토큰이다. 이 한도는 한 세션에서 모델이 받아들이고 생성할 수 있는 콘텐츠의 양을 정하며, 특히 동영상 대본이나 긴 문서를 다룰 때 중요하다.

버전과 배포 옵션

알리바바는 각각 다른 용도에 맞춰 조정된 Qwen3-Omni-30B-A3B 세 가지 버전을 출시한다.

Instruct 모델은 Thinker와 Talker를 결합했다. 텍스트, 이미지, 오디오, 동영상을 입력받아 텍스트와 음성으로 응답한다. Thinking 모델은 추론과 긴 사고 과정이 필요한 작업에 초점을 둔다. 같은 입력을 받지만 텍스트만 출력한다. 음성보다 상세한 서면 응답이 중요한 상황에 적합하다. Captioner 모델은 오디오 캡션 생성에 맞춰 미세 조정됐으며, 환각을 줄이는 데 중점을 두고 상세한 텍스트 설명을 생성한다. 세 모델을 함께 활용하면 폭넓은 멀티모달 상호작용, 심층 추론, 특화된 오디오 이해를 아우를 수 있다.

Qwen3-Omni는 로컬에서 사용하거나 클라우드로 이용할 수 있다. 개발자는 공식 저장소와 커뮤니티 허브에서 가중치를 내려받거나, 알리바바 API를 통해 더 빠른 Flash 버전을 호출할 수 있다. 빠른 시작 안내서, 음성 인식, 번역, 음악 분석, OCR, 시청각 대화 등의 작업을 위한 쿡북, Docker 배포 안내가 프로젝트 문서에 제공된다. GitHub 저장소는 다음과 같다: https://github.com/QwenLM/Qwen3-Omni.

호스팅 API를 시험하는 팀에는 활성화 후 90일 동안 유효한 멀티모달 통합 무료 할당량 100만 토큰이 제공된다. API 사용 시 오디오 출력은 Non Thinking Mode에서만 가능하다. 초기 실험을 계획하고 비용을 추산할 때 고려해야 할 사항이다.

학습 파이프라인 한눈에 보기

Qwen3-Omni는 대규모 사전 학습과 목표 중심의 사후 학습을 결합한 다단계 과정으로 학습됐다. 약 6억 개의 파라미터를 가진 Audio Transformer가 오디오 인코더 역할을 한다. 이 인코더는 지도 학습 오디오 2,000만 시간을 바탕으로 학습됐다. 데이터 구성은 중국어와 영어 음성 인식이 약 80%, 기타 언어 음성 인식이 10%, 오디오 이해 작업이 10%였다. 실시간 캐싱과 오프라인 처리를 모두 지원하도록 설계됐다.

사전 학습은 세 단계로 진행됐다. 첫 단계인 인코더 정렬에서는 언어 모델의 핵심부를 고정한 상태로 비전 및 오디오 인코더를 학습했다. 초기 융합 과정에서 모델의 지각 능력이 저하되는 것을 막기 위해서다. 두 번째 일반 학습 단계에서는 텍스트, 오디오, 이미지와 더 적은 비중의 동영상 및 시청각 샘플을 포함한 약 2조 토큰 규모의 데이터셋을 사용했다. 세 번째 단계에서는 최대 토큰 길이를 8,192개에서 32,768개로 늘리고 긴 오디오와 동영상 콘텐츠를 더해 긴 시퀀스 처리 능력을 강화했다.

사후 학습은 추론과 음성 품질을 모두 다뤘다. Thinker에는 지도 미세 조정, 강한 모델에서 약한 모델로의 증류, 규칙 기반 피드백과 모델 심판 평가를 혼합한 GSPO 최적화를 적용했다. Talker는 수억 개의 멀티모달 음성 샘플과 선별된 데이터에 대한 지속적 사전 학습을 포함한 4단계 과정을 거쳤다. 목표는 환각률을 낮추고 음성의 자연스러움을 높이는 것이었다.

성능과 강점

알리바바가 공개한 벤치마크 결과에 따르면 Qwen3-Omni는 텍스트와 비전에서도 높은 점수를 유지하면서 음성, 오디오, 동영상 이해에서 강한 성능을 보인다. 다수의 오픈 리더보드에서 선두를 차지하고 폐쇄형 시스템과 견줄 만한 결과를 기록했다.

텍스트와 추론 부문에서 이 모델은 AIME25 65.0점, ZebraLogic 76.0점을 기록했다. WritingBench에서는 82.6점이다. 음성과 오디오 부문에서는 Wenetspeech에서 단어 오류율 4.69와 5.89, Librispeech other에서 2.48을 기록했다. 음악 작업에서도 GTZAN 93.0점, RUL MuchoMusic 52.0점으로 강점을 보였다. 이미지와 비전 부문에서는 HallusionBench 59.7점, MMMU pro 57.0점, MathVision full 56.3점이다. 동영상에서는 MLVU 75.2점을 기록했다. 외부 평가에서도 재현된다면 이 수치는 전통적인 텍스트 작업과 고급 오디오·동영상 이해를 균형 있게 수행하는 모델임을 보여준다.

두 가지 유의할 점이 있다. 첫째, 많은 결과가 자체 보고된 것이다. 더 폭넓은 테스트에서 독립적으로 재현돼야 일상적인 성능을 온전히 파악할 수 있다. 둘째, 입력 유형 네 가지를 하나의 모델이 다루면 상충 관계가 생길 수 있다. 알리바바 자료는 모달리티 간 성능 균형을 강조하지만, 일부 커뮤니티 리뷰어는 이전의 텍스트 우선 Qwen 모델이 특정 작업에서 순수 텍스트 출력이 약간 더 강한 경우를 관찰했다. 이는 전문 모델과 범용 모델 사이에서 흔히 나타나는 긴장이다. 이번 모델은 그 격차를 줄이는 한편, 전문 모델로는 구현할 수 없는 크로스모달 기능을 제공한다.

가격, 할당량, 사용 한도

Qwen3-Omni는 아파치 2.0 라이선스에 따라 로컬에 배포할 수 있는 오픈소스 모델이다. 알리바바 API를 통한 관리형 서비스는 토큰 단위로 요금이 부과된다. Thinking Mode와 Non Thinking Mode의 토큰당 요금은 같다. 오디오 출력은 Non Thinking Mode에서만 제공된다.

입력 비용: 토큰 1,000개당

• 텍스트 입력: 0.00025 미국 달러
• 오디오 입력: 0.00221 미국 달러
• 이미지 또는 동영상 입력: 0.00046 미국 달러

출력 비용: 토큰 1,000개당

• 텍스트만 입력했을 때 텍스트 출력: 0.00096 미국 달러
• 이미지나 오디오가 입력에 포함된 경우 텍스트 출력: 0.00178 미국 달러
• 텍스트와 오디오 출력: 오디오 부분은 0.00876 미국 달러, 텍스트는 무료

무료 이용량은 멀티모달 통합 100만 토큰이며 활성화 후 90일 동안 유효하다. 컨텍스트 한도는 Thinking Mode에서 65,536토큰, Non Thinking Mode에서 49,152토큰으로 넉넉하다. 단일 입력은 최대 16,384토큰, 출력도 최대 16,384토큰이다. 가장 긴 추론 체인은 32,768토큰이다. 실제 운영 시 긴 미디어와 문서를 나누는 기준으로 이러한 한도를 고려해야 한다.

기업에 중요한 이유

라이선스는 이 소식의 핵심이다. 아파치 2.0은 상업적 사용, 수정, 재배포 권한을 부여한다. 특허 라이선스도 포함돼 모델을 독점 시스템에 통합할 때 법적 위험을 낮춘다. 파생 작업물을 공개해야 할 의무가 없어 미세 조정한 모델을 비공개로 유지해야 하는 기업도 도입하기 쉽다. 비용과 이용률 한도, 모델 동작이 별다른 대응 수단 없이 바뀔 수 있는 공급업체 통제형 블랙박스와는 정반대다.

이번 출시는 아키텍처 선택에도 영향을 준다. 많은 조직이 여러 모델을 조합하는 방식으로 옮겨가고 있다. 작업별로 오픈 모델과 폐쇄형 모델을 혼합하고, 일상 업무에는 빠르고 작은 모델을, 복잡한 추론에는 대형 모델을 쓰며, 데이터 통제를 위해 일부 작업은 사내에서 처리한다. Qwen3-Omni는 음성 사용이 많은 상황, 다국어 환경, 동영상 중심 업무 흐름에 적합한 후보가 될 수 있다. 여러 모달리티를 하나의 모델로 처리하면 별도로 학습하고 유지 관리해야 하는 시스템 수를 줄일 수 있다.

성공적으로 배포하려면 여전히 철저한 준비가 필요하다. 보안 검토, 개인정보 보호 통제, 평가 프레임워크, 미세 조정 파이프라인은 기본적으로 갖춰야 한다. 모델을 개방해 감사와 최적화를 쉽게 하지만 안전과 규정 준수의 책임은 도입 기업에 있다. MLOps, 도구 사용, 안전장치에 투자하는 팀이 가장 큰 가치를 얻을 수 있다.

활용 사례: 고객센터부터 현장 서비스까지

알리바바는 모델의 강점을 살릴 수 있는 다양한 활용 사례를 제시한다. 다국어 음성 인식과 번역을 저지연 음성 출력과 결합해 실시간 대화에 활용할 수 있다. 오디오 캡션은 미디어 제작과 콘텐츠 접근성 향상에 도움이 된다. OCR과 문서 이해 기능은 양식, 영수증, 도표 이미지까지 지원한다. 음악 태깅과 음향 분석은 미디어 라이브러리와 창작 도구에 유용하다. 동영상 이해 기능으로 교육 영상이나 장비 사용 안내 영상을 색인하고 탐색하거나 지시에 따라 처리할 수 있다.

한 가지 사례는 기술 지원이다. 고객이 휴대전화로 동영상을 스트리밍하면 모델은 화면의 텍스트를 읽고 주변 오디오를 들은 뒤 음성으로 단계별 안내를 제공할 수 있다. 또 다른 사례는 메뉴나 표지판을 실시간으로 번역하는 웨어러블 보조 도구다. 개발자는 시스템 프롬프트로 말투, 페르소나, 담당 영역을 설정해 동작을 조정할 수 있고, 검색, 계산기, 타사 도구를 연결해 기능을 확장할 수도 있다.

도입 신호와 글로벌 동향

초기 반응은 개발자 커뮤니티의 높은 관심을 시사한다. Qwen3-Omni 파생 모델이 인기 AI 허브의 인기 모델 목록 상위권에 올랐고, 다른 Qwen 모델도 상위권에 추가로 진입했다. 이러한 급증은 중국 팀이 만든 오픈 시스템이 서구 기존 업체와 정면으로 경쟁하는 더 큰 흐름을 보여준다. 시장에서는 이번 출시가 큰 주목을 받은 날 알리바바의 홍콩 주가가 4% 넘게 올랐다.

이 오픈 대안은 특히 오디오와 동영상 사용량이 많은 분야에서 폐쇄형 시스템의 가격 및 제품 전략에 압박을 가할 것으로 보인다. 긴 조달 절차 없이 아이디어를 시험해야 하는 기업은 이제 적은 비용으로 옴니모달 모델을 운영할 수 있다. 실제 성능이 보고된 벤치마크와 비슷하다면 이번 출시는 고객센터, 미디어 제작, 교육, 의료 녹취, 산업 유지보수 전반에서 멀티모달 보조 도구의 도입을 앞당길 수 있다.

핵심 요약

• Qwen3-Omni는 텍스트, 이미지, 오디오, 동영상을 입력받아 텍스트와 음성으로 응답하며 실시간 사용에 최적화된 오픈소스 모델이다.
• 속도와 확장성을 위한 Mixture of Experts와 Thinker·Talker 아키텍처, 자체 Audio Transformer 및 Code2Wav 렌더러를 사용한다.
• 스트리밍 시 오디오 지연 시간은 약 234밀리초, 동영상은 약 547밀리초이며 실시간 배율 1 미만을 목표로 한다.
• 텍스트 119개, 음성 입력 19개, 음성 출력 10개 언어를 지원하고 컨텍스트 창은 최대 65,536토큰이다.
• 세 가지 버전을 제공한다. 전체 멀티모달 입출력을 지원하는 Instruct, 텍스트 전용 추론용 Thinking, 상세한 오디오 캡션 생성용 Captioner다.
• 아파치 2.0 기반 오픈소스이며 API 시험용 무료 할당량 100만 토큰과 호스팅 서비스의 토큰 단위 요금을 제공한다.
• 알리바바가 보고한 벤치마크에서 음성, 오디오, 동영상, 텍스트 전반에 강한 성능을 보였으며 여러 항목에서 최고 수준의 점수를 기록했다.
• 기업은 평가와 안전에 투자하는 조건으로 공급업체 종속 없이 멀티모달 AI를 배포하고 맞춤화해 운영할 수 있는 저비용 경로를 확보한다.
• 개발자 플랫폼에서 Qwen 모델이 인기를 끌며 중국 오픈 AI 시스템에 대한 관심과 커뮤니티 도입이 빠르게 늘고 있다.