네이티브 멀티모달 모델, 오픈소스로 출시
알리바바 클라우드가 텍스트, 이미지, 오디오, 비디오를 하나의 시스템에 네이티브 방식으로 통합한 멀티모달 AI 모델 Qwen3-Omni를 공개했다. 이번 출시는 폭넓은 기능과 기업 친화적인 오픈소스 라이선스를 결합해 실시간 어시스턴트 경쟁을 새로운 영역으로 이끌고 있다. 모델은 네 가지 모달리티의 입력을 모두 받아 텍스트 또는 자연스러운 음성으로 응답한다. 특허 허여 조항을 포함한 허용적 라이선스인 Apache 2.0에 따라 무료로 다운로드하고 수정해 상업적으로 배포할 수 있다. 이번 행보로 알리바바는 OpenAI와 구글의 독점 모델에 대한 유력한 대안으로 자리매김하는 한편, 개발자에게 모델의 실행 방식과 위치를 완전히 통제할 수 있는 권한을 제공한다.
목차
Qwen3-Omni는 꾸준히 범위를 넓혀온 Qwen 모델 시리즈의 일부로 출시됐다. 개발팀에 따르면 새 모델은 대규모 텍스트 코퍼스와 방대한 오디오·시각 데이터로 학습한 뒤, 실시간 대화에 민첩하게 대응하도록 정교화됐다. 일반적인 요구에 맞춘 세 가지 핵심 버전으로 제공된다. Instruct 모델은 여러 유형의 입력을 처리하고 답변을 음성으로 말할 수 있다. Thinking 모델은 긴 문맥을 활용한 난도 높은 추론에 초점을 맞췄다. Captioner는 환각을 줄인 오디오 캡션 생성에 특화됐다. 공식 GitHub 저장소와 Hugging Face 같은 모델 허브, 더 빠른 Flash 서빙 옵션을 제공하는 호스팅 API를 통해 배포된다. 심야에 이뤄진 출시에는 새로운 Qwen3 TTS 시스템과 이미지 편집 모델도 포함돼 멀티모달 상호작용을 위한 풀스택 구축에 나선다는 점을 보여줬다.
이번 출시가 중요한 이유
멀티모달 어시스턴트는 데모 단계를 넘어 실제 운영 환경으로 이동하고 있다. 기업들은 듣고, 보고, 읽고, 실시간으로 추론한 뒤 자연스러운 리듬으로 답하는 단일 모델을 원한다. Qwen3-Omni는 바로 이 용도를 겨냥한다. 폭넓은 음성·오디오·이미지·비디오 테스트에서 최첨단 성능을 달성했다는 주장과 오픈 액세스를 결합한 이번 발표는 유연성, 비용 통제, 온프레미스 배포가 필요한 구매자에게 의미가 크다.
Qwen3-Omni와 GPT-4o, Gemini의 차별점
경쟁사들은 보고 듣고 말할 수 있는 옴니 모델이라는 개념을 대중화했다. OpenAI는 GPT-4o에서 텍스트, 이미지, 오디오를 하나로 통합했다. 구글은 일부 제품 등급에서 Gemini 2.5의 분석 기능을 비디오로 확장했다. Qwen3-Omni는 네 가지 입력 유형을 모두 처리하는 단일 엔드투엔드 스택으로 처음부터 구축됐다. 장면 감지와 이벤트 추적 같은 비디오 이해를 지원하고, OCR 및 그라운딩을 위해 정지 이미지와 문서를 처리하며, 음성을 듣고 텍스트를 읽는다. 응답은 텍스트나 음성으로 제공돼 실시간 상호작용에서 출력 형식을 단순하게 유지하고 이미지·비디오 생성의 복잡성은 피한다.
핵심적인 차이점은 이용 가능성이다. Qwen3-Omni는 Apache 2.0 라이선스로 공개돼 기업이 가중치를 다운로드해 자체 인프라에서 실행하고, 라이선스 협상 없이 특정 업종에 맞게 동작을 미세 조정할 수 있다. 독점 모델은 자체 호스팅을 제한하거나 모든 상호작용에 토큰당 요금을 부과한다. 구글의 또 다른 오픈 모델 계열인 Gemma는 여전히 텍스트 전용이어서 같은 범위의 멀티모달 기능을 제공하지 않는다. 음성, 비전, 텍스트 작업 전반에 오픈 모델을 표준화하려는 팀에 Qwen3-Omni는 부족했던 선택지를 제공한다.
실시간 대화를 위한 속도
알리바바가 공개한 이론상 첫 패킷 지연 시간은 오디오에서 약 234밀리초, 비디오에서 약 547밀리초다. 이 수준은 대화 차례를 주고받는 데 대한 사람의 기대에 부합하며, 효율적인 스트리밍과 결합하면 여러 지역에서 실시간 사용이 가능할 것으로 보인다. 공개된 수치는 내부 시스템에서 측정한 것으로, 실제 운영 결과는 하드웨어, 동시 접속 수, 네트워크 상태에 따라 달라질 수 있다. 그럼에도 부하 상태에서 실시간 처리 속도보다 낮은 지연 시간은 실용적인 배포에 맞춰 설계됐음을 시사한다.
아키텍처 들여다보기
모델은 개발팀이 Thinker와 Talker라고 부르는 두 부분으로 구성된다. Thinker는 멀티모달 이해와 추론을 담당한다. 텍스트를 읽고 픽셀을 살펴보며 오디오 특징을 듣고, 콘텐츠를 계획하고 구성한다. Talker는 음성에 집중해 상위 수준의 표현을 스트리밍 응답용 자연스러운 음성으로 변환한다. 역할을 분리하면 언어 모델이 다음 응답을 미리 생각하는 동안 음성 스택은 자체 속도에 맞춰 작동할 수 있다.
두 구성 요소 모두 전문가 혼합(Mixture of Experts) 방식을 사용한다. 여러 전문 하위 네트워크를 학습시키고 각 토큰마다 일부만 활성화하는 기법이다. 매 단계에서 모든 매개변수를 활성화하지 않고도 동시 접속이 많은 환경에서 처리량을 높인다. 음성 파이프라인은 오디오를 이산 코드로 압축하는 다중 코드북 자기회귀 방식을 사용한다. 경량 Code2Wav 합성곱 신경망이 이 코드를 파형으로 변환한다. 이 방식은 음색과 운율을 보존하면서 지연을 줄여, 낮은 지연 시간에서도 음성이 덜 기계적으로 들리게 한다.
Talker는 Thinker의 텍스트 표현과 분리돼 오디오 및 시각 특징을 직접 조건으로 사용한다. 덕분에 시청각 상호작용에서 화면의 상황에 맞춰 음성을 생성할 수 있다. 인식 측면에서는 약 2천만 시간 분량의 지도 오디오 데이터로 Audio Transformer 인코더를 학습했다. 사전 학습은 여러 단계로 진행된다. 인코더를 정렬하고 텍스트, 오디오, 이미지, 비디오를 아우르는 약 2조 개 토큰으로 학습한 다음 장시간 세션을 위해 문맥 길이를 확장한다. 사후 학습에서는 지도 미세 조정과 증류, Thinker 및 Talker를 위한 최적화 단계를 추가한다.
버전, 언어, 문맥 한도
Qwen3-Omni는 Qwen3-Omni-30B-A3B라는 이름으로 세 가지 공개 버전을 제공한다. Instruct 모델은 오디오, 비디오, 텍스트 입력을 받아 텍스트와 음성으로 출력한다. Thinking 모델은 텍스트 출력으로 까다로운 추론과 수학적 풀이 단계, 계획 수립을 지원한다. Captioner는 세밀한 오디오 캡션 생성에 맞춰 조정됐다. 호스팅형 Flash 옵션은 알리바바 클라우드를 통해 더 빠른 상호작용을 제공하는 것을 목표로 한다.
다국어 지원도 중점 사항이다. 기본 모델은 텍스트 119개 언어, 음성 입력 19개 언어, 음성 출력 10개 언어를 지원하며 광둥어처럼 널리 쓰이는 방언도 포함한다. 이러한 지원 범위는 음성 경험을 현지 억양과 문자 체계에 맞춰야 하는 글로벌 배포를 간소화할 수 있다.
긴 세션도 처리할 수 있다. Thinking Mode는 최대 65,536토큰의 문맥 창을 제공한다. Non Thinking Mode에서는 최대 49,152토큰을 지원한다. 입력과 출력의 최대 길이는 각각 16,384토큰으로 설정됐다. 복잡한 추론에서는 최장 추론 체인이 32,768토큰까지 이어질 수 있다. API 요금은 1,000토큰당 부과되며 텍스트, 오디오, 이미지·비디오 입력과 텍스트·오디오 출력에 각각 다른 요율이 적용된다. 신규 계정에는 활성화 후 90일 동안 모든 모달리티에 사용할 수 있는 100만 토큰 무료 할당량이 제공된다.
벤치마크와 결과 해석
알리바바는 텍스트·추론, 음성·오디오, 이미지·비전, 시청각 비디오 작업을 다루는 36개 벤치마크 결과를 공개했다. 회사에 따르면 Qwen3-Omni는 22개 테스트에서 최첨단 점수를 기록했고, 오픈소스 모델 가운데 32개 테스트에서 앞섰다. 개발팀은 여러 오디오 및 시청각 평가에서 GPT-4o와 Gemini 2.5 Pro보다 우수한 성능을 보였다고도 밝혔다. 평가 항목에는 음성 인식, 오디오 이해, 시청각 질의응답, 비디오 설명, 음성 생성이 포함된다. 텍스트 비중이 높은 작업에서는 Qwen 텍스트 모델 계열과 비슷한 성능을 보인 것으로 알려졌다.
벤치마크는 참고 자료이지 성능을 보장하지는 않는다. 테스트 세트마다 범위와 지시 형식, 채점 방식이 다르다. 업체는 공개할 지표를 선택하며 평가 실행에 따라 특정 아키텍처나 학습 데이터에 유리한 결과가 나올 수 있다. 실제 운영 환경에는 잡음이 섞인 오디오, 다양한 마이크, 빠른 장면 전환, 여러 억양이 존재한다. 각 팀은 자체 샘플로 평가하고, 압박 상황에서 환각이 발생하는지 스트레스 테스트하며, 처리량 대비 비용을 측정해야 한다. 그렇더라도 공개된 결과가 다양한 작업을 아우른다는 점은 멀티모달 기능을 어댑터로 나중에 추가한 것이 아니라 핵심 목표로 삼아 학습했음을 보여준다.
공식 문서에서 Qwen 팀은 Qwen3-Omni를 텍스트, 이미지, 오디오, 비디오를 처리하고 텍스트와 음성으로 스트리밍 응답을 제공하는 네이티브 다국어 모델로 설명한다. 이 설계는 언어 모델이 다음 단계를 계획하는 동안에도 자연스러운 음성을 유지하는 것을 목표로 한다.
개발자가 지금 만들 수 있는 것
저장소와 데모에는 복잡한 맞춤 설정 없이도 잘 작동하는 일반적인 작업용 쿡북이 포함돼 있다. 팀은 간단한 예제로 시작해 자신감이 쌓이면 이를 실제 운영 기능으로 확장할 수 있다.
일반적인 활용 사례
다음은 인식, 추론, 음성 기능이라는 모델의 강점에 잘 맞는 활용 사례다:
시스템 프롬프트를 통해 페르소나와 어조, 형식을 설정해 모델의 동작을 조정할 수 있다. 모델은 실시간 스트리밍을 지원해 추론이 계속되는 동안 부분 답변을 제공할 수 있다. 짧은 멈춤과 빠른 확인 질문이 긴 침묵보다 나은 음성 어시스턴트에서는 이런 방식이 더 자연스럽게 느껴진다. 민감한 환경에 배포할 때는 프롬프트 강화, 텍스트·오디오 콘텐츠 필터, 문맥과 의사결정을 기록하는 정책 엔진을 포함한 안전 장치를 구축하는 것이 도움이 된다.
기업의 비용·운영 판단과 라이선스
Apache 2.0으로 공개하기로 한 결정은 중요하다. 이 라이선스는 상업적 사용과 배포, 수정, 재라이선스를 허용한다. 모델을 제품에 포함할 때 법적 위험을 줄이는 특허 라이선스도 제공한다. 기업은 Qwen3-Omni를 사설 클러스터나 신뢰할 수 있는 클라우드에서 실행하고 자체 데이터에 맞춰 조정한 뒤, 공급업체에 사용료를 내지 않고 소프트웨어를 출시할 수 있다. 이러한 조합은 종속을 없애고 여러 팀에서 실험을 시작하는 장벽을 낮춘다.
알리바바는 Qwen 계열을 중심으로 확장 중인 생태계를 강조한다. 회사에 따르면 첫 Qwen 체크포인트를 선보인 이후 수백 개 모델을 출시했고 다운로드 수는 수억 건에 달했다. 개발자들은 공개 모델 허브에 수만 개의 파생 모델을 공개해 시제품에서 실제 제품으로 넘어가는 시간을 단축했다. 규제가 엄격한 산업에서는 자체 호스팅 멀티모달 스택을 통해 데이터 레지던시와 감사 요건을 충족하면서 추론 비용을 예측 가능하게 관리할 수 있다.
비용과 운영
멀티모달 모델을 실행하려면 사전 계획이 필요하다. GPU 메모리, 오디오·비디오 처리용 저장장치 대역폭, 스트리밍용 고속 네트워크가 모두 응답성에 영향을 준다. 토큰 기반 API를 이용하면 인프라팀이 클러스터 규모를 산정하는 동안 초기 작업을 간소화할 수 있다. 90일 동안 제공되는 100만 토큰 무료 할당량으로 타당성을 검증하고 프롬프트를 조정하며 내부 데이터에서 품질을 벤치마크할 수 있다. 작업 규모가 커지면 조직은 여러 모델을 함께 쓰는 경우가 많다. 오픈 모델로 일상적인 작업 대부분을 처리하고, 예외 상황이나 전문 기능에는 독점 API를 활용할 수 있다. 이러한 방식은 유연성을 유지하면서 비용을 줄인다.
위험과 책임 있는 배포
강력한 오디오·비디오 이해 기능은 매력적인 제품을 가능하게 한다. 동시에 오용 위험도 커진다. 음성 합성 기능은 기본 설정에서 특정 대상 음성을 출력하지 않더라도 특정 음성 스타일을 모방할 수 있다. 사용자를 보고 듣는 실시간 에이전트에는 명확한 동의 절차와 보안 저장, 삭제 정책이 필요하다. 법무팀은 데이터가 기기 내 수집 단계부터 서버와 로그로 어떻게 이동하는지 검토하고 규정에 맞는 보존 기간을 설정해야 한다.
기업은 환각과 편향, 유해 콘텐츠에 대한 모델의 대응을 철저히 시험해야 한다. 오디오 캡션은 소리가 뒤섞인 환경에서 음향을 잘못 해석할 수 있다. 비디오 설명은 장면 전환 사이의 맥락을 놓칠 수 있다. 긴 문맥에서는 지시에서 벗어나는 현상이 발생할 수 있다. 잘 설계된 평가 계획에는 적대적 프롬프트와 억양·방언 범위, 안전 경계에 대한 레드팀 테스트가 포함된다. 최종 사용자가 문제를 신고할 수 있는 피드백 루프는 배포의 책임성을 유지하면서 모델을 개선하는 데 도움이 된다.
시작하는 방법
개발자는 공식 Qwen3-Omni GitHub 저장소에서 가중치와 예제를 내려받을 수 있다. 빠른 시작 가이드에서는 Transformers와 vLLM 같은 인기 라이브러리로 모델을 실행하는 방법을 보여준다. 신속한 시험을 위한 Docker 이미지와 웹 UI 데모도 제공된다. 알리바바 API를 통한 호스팅 액세스는 인프라를 도입하기 전에 스트리밍 음성으로 시제품을 만들려는 팀에 적합하다. 모델 허브에서는 바로 사용할 수 있는 체크포인트와 미세 조정 및 평가를 위한 커뮤니티 가이드를 제공한다.
핵심 내용
- 알리바바는 특허 허여 조항을 포함한 Apache 2.0 오픈소스 라이선스로 Qwen3-Omni를 공개해 상업적 사용과 재배포를 무료로 허용했다.
- 모델은 텍스트, 이미지, 오디오, 비디오를 입력으로 받아 실시간 스트리밍으로 텍스트나 자연스러운 음성으로 응답한다.
- 멀티모달 상호작용용 Instruct, 복잡한 추론용 Thinking, 오디오 캡션 생성용 Captioner 등 세 가지 버전을 제공한다.
- 보고된 지연 시간은 오디오 약 234ms, 비디오 약 547ms로, 자연스러운 대화 순서 전환을 지원하도록 설계됐다.
- 광둥어를 포함해 텍스트 119개 언어, 음성 입력 19개 언어, 음성 출력 10개 언어를 지원한다.
- 알리바바는 36개 테스트 가운데 22개에서 최첨단 성능을, 32개에서 오픈 모델 중 선두 성능을 기록했으며 오디오와 비디오 평가에서도 강점을 보였다고 밝혔다.
- Thinking Mode의 문맥 창은 최대 65,536토큰이며 입력 또는 출력 한도는 16,384토큰이다.
- API는 모든 모달리티에서 1,000토큰당 요금을 부과하며 90일 동안 100만 토큰을 무료로 제공한다.
- 전사, 번역, OCR, 음악 태깅, 비디오 이해, 실시간 어시스턴트 등에 활용할 수 있다.
- 기업은 보안·개인정보 보호·규정 준수 장치를 적용하면서 Qwen3-Omni를 자체 호스팅하고 미세 조정해 통합할 수 있다.
