네이티브 멀티모달 도전자의 오픈소스 공개
알리바바가 텍스트, 이미지, 오디오, 동영상을 입력으로 받고 텍스트나 합성 음성으로 응답하는 네이티브 멀티모달 인공지능 모델 Qwen3-Omni를 공개했다. 이 모델은 상업적 이용과 수정, 재배포를 허용하고 특허 사용권을 부여하는 아파치 2.0 라이선스로 오픈소스 공개됐다. 폭넓은 기능과 허용적인 라이선스가 결합된 Qwen3-Omni는 미국의 주요 폐쇄형 시스템과 직접 경쟁하는 동시에 스타트업, 연구자, 대기업의 도입 장벽을 낮춘다.
목차
Qwen3-Omni는 실시간으로 여러 모달리티를 이해하고 처리하도록 설계된 시스템인 옴니 모델로 향하는 업계 흐름을 따른다. 알리바바에 따르면 Qwen3-Omni는 텍스트 모델 위에 음성이나 시각 기능을 덧붙인 구조와 달리 처음부터 종단 간 멀티모달 시스템으로 개발됐다. 추론 과정에서 오디오와 동영상을 직접 처리하고 전용 음성 모듈로 음성을 생성해, 파일 전체가 처리될 때까지 기다리지 않고 대화의 리듬과 어조, 맥락을 유지할 수 있다.
첫 공개 버전은 추론 속도와 확장성을 높이기 위해 전문가 혼합(Mixture of Experts) 설계를 적용한 300억 매개변수 모델군을 중심으로 한다. 알리바바는 오디오에서 첫 패킷 지연 시간이 최저 234밀리초, 동영상에서는 547밀리초이며, 동시 처리 상황에서도 실시간 계수(RTF)가 1 미만이라고 밝혔다. 텍스트는 119개 언어, 음성 입력은 19개 언어, 음성 출력은 10개 언어를 지원해 다국어 비서와 콜센터, 실시간 번역 등에 활용할 수 있다.
이번 출시는 알리바바가 클라우드 사업을 풀스택 AI 제공업체로 자리매김하고 중국 오픈 모델이 개발자 플랫폼에서 빠르게 주목받는 가운데 이뤄졌다. 며칠 만에 Qwen3-Omni 변형 모델들이 허깅페이스 인기 순위 상위권에 오르며 전 세계 개발자들의 높은 관심을 보여줬다. 알리바바는 더 빠른 API 버전도 제공하며, 모델 가중치를 직접 내려받아 로컬 환경에 배포할 수 있도록 호스팅하고 있다.
Qwen3-Omni의 차별점
Qwen3-Omni는 생각과 발화를 병렬로 수행하도록 설계됐다. 싱커(Thinker) 구성 요소는 멀티모달 추론을 담당한다. 토커(Talker) 구성 요소는 오디오와 시각 특징을 직접 반영해 싱커의 출력을 자연스러운 음성으로 바꾼다. 이처럼 역할을 나누면 개발자는 음성이 나오기 전에 싱커 단계에 검색 증강, 안전성 점검, 업무 로직을 삽입할 수 있어 규제 대상 업무 흐름에 유용하다.
싱커와 토커
싱커는 텍스트, 음성, 이미지, 동영상 데이터를 약 2조 개 토큰으로 학습한 대규모 언어 모델이다. 전문가 혼합 라우팅을 사용해 토큰마다 매개변수 중 일부만 활성화한다. 이를 통해 연산 비용을 줄이고 처리량을 높인다. 토커는 음색과 운율을 보존하는 다중 코드북 자기회귀 방식을 사용하는 경량 음성 생성기이며, 압축형 Code2Wav 네트워크로 오디오를 빠르게 렌더링한다.
실시간 스트리밍과 캐싱
대화에서는 지연 시간이 중요하다. 알리바바는 오디오 맥락에서는 약 0.25초, 동영상 맥락에서는 약 0.5초 만에 첫 음성 토큰이 나오는 스트리밍 성능을 보고했다. 오디오 스택에는 감독형 오디오 데이터 2,000만 시간으로 학습한 새로운 오디오 트랜스포머 인코더가 포함됐다. 대부분은 중국어와 영어 음성인식 데이터이며, 다른 언어도 전 세계적으로 폭넓게 포함됐다. 이 인코더는 실시간 통화에 쓰이는 온라인 캐싱과 일괄 작업용 오프라인 인코딩을 모두 지원한다.
언어와 긴 문맥
개발자는 긴 프롬프트와 녹취록을 입력할 수 있다. 사고 모드는 최대 65,536토큰의 문맥을 지원하며 추론 체인은 최대 32,768토큰까지 처리할 수 있다. 비사고 모드는 최대 49,152토큰을 지원한다. 모델은 입력 토큰을 최대 16,384개까지 받고 텍스트를 최대 16,384토큰까지 생성할 수 있다. 음성 시스템은 현재 출력 언어 10개를 지원해 고객 지원과 현장 서비스 분야의 글로벌 시범 운영에 실용적인 범위를 제공한다.
모델, 모드, 가격
알리바바는 팀들이 각기 다른 요구에 맞춰 조정할 수 있도록 300억 매개변수 모델군의 세 가지 변형을 공개한다. 인스트럭트(Instruct) 모델은 싱커와 토커 전체 스택을 결합해 오디오, 동영상, 텍스트 입력을 처리하고 텍스트와 음성으로 출력한다. 싱킹(Thinking) 모델은 복잡한 추론과 긴 사고 연쇄에 초점을 둔다. 같은 멀티모달 입력을 사용하지만 텍스트만 출력해 연구와 분석, 규정 준수 기록에 적합하다. 캡셔너(Captioner) 모델은 오디오 캡션을 위한 미세 조정 전문 모델이다. 환각률을 낮추면서 음악, 음성, 혼합 오디오를 정확하게 묘사하는 것을 목표로 한다.
Qwen3-Omni는 모델 허브에서 내려받을 수 있고, 코드와 가중치는 깃허브에서 이용할 수 있으며, 더 빠른 플래시(Flash) 옵션을 포함한 API 형태로 알리바바 클라우드에서도 제공된다. 신규 사용자는 활성화 후 90일 동안 사용할 수 있는 무료 토큰 100만 개를 받는다. 유료 사용은 토큰 1,000개당 과금된다. 텍스트 입력은 0.00025달러, 이미지 또는 동영상 입력은 0.00046달러, 오디오 입력은 0.00221달러다. 출력의 경우 입력이 텍스트뿐이면 텍스트 출력 비용은 0.00096달러이며, 입력에 이미지나 오디오가 포함되면 0.00178달러로 오른다. 개발자가 텍스트와 오디오 출력을 모두 요청하면 오디오 부분은 토큰 1,000개당 0.00876달러이고 텍스트 부분은 무료다.
API를 통한 오디오 출력은 비사고 모드에서만 이용할 수 있다. 이 방식은 스트리밍 음성의 처리 일정을 단순화하고 장시간 구조화 추론과의 충돌을 방지한다. 풍부한 사고 연쇄가 필요한 팀은 싱킹 모델로 계획을 세우거나 정보를 검색한 뒤, 최종 응답을 음성 렌더러나 인스트럭트 모델에 넘겨 음성으로 출력할 수 있다.
벤치마크와 해석 방법
알리바바는 공개 테스트 36개 전반에서 우수한 결과를 냈으며, 22개 테스트에서 최고 수준 점수를, 오픈 모델 가운데 32개 테스트에서 선두 성적을 기록했다고 밝혔다. 수치는 텍스트와 시각 처리 품질을 유지하면서 음성 성능을 끌어올린 균형 잡힌 시스템임을 시사한다. 주요 결과를 보면 추론 과제에서 Qwen3-Omni는 AIME25 65.0점, ZebraLogic 76.0점을 기록했다. WritingBench 점수는 82.6점이다. 오디오 전사에서는 Wenetspeech에서 단어 오류율 4.69와 5.89를, Librispeech other에서 2.48을 기록했으며, 이는 해당 데이터셋에서 매우 낮은 수준이다. GTZAN 93.0점, RUL-MuchoMusic 52.0점 등 음악 태깅 및 분류 점수는 장르와 오디오 특징을 잘 파악하는 능력을 보여준다.
시각 및 수학 벤치마크에서도 강점을 보였다. HallusionBench는 59.7점, MMMU_pro는 57.0점, MathVision_full은 56.3점이다. 동영상 이해에서는 Qwen3-Omni가 MLVU 75.2점을 기록했다. 알리바바가 공개한 수치를 기준으로 보면, 이런 특정 테스트에서 GPT 4o와 Gemini 2.0 Flash를 비롯한 여러 폐쇄형 모델보다 높은 성적이다.
벤치마크만으로는 사용자가 실제로 마주하는 모든 상황을 담을 수 없다. 실제 대화에는 잡음이 더 많고 억양은 다양하며 조명도 달라진다. 업무에서는 여러 도구를 연쇄적으로 사용하는 경우도 많다. 초기 독립 평가에서는 소형 모델들이 정제된 테스트에서 좋은 성과를 내더라도 그 밖의 상황에서는 어려움을 겪을 수 있다는 지적이 나온다. 개발자는 특히 분야별 전문 용어, 특수 도표, 여러 화자의 발화가 겹치는 경우 등 예외 상황을 고려해 자체 데이터로 개념 검증 시험을 진행해야 한다.
GPT 4o, Gemini, Gemma와 비교
Qwen3-Omni는 OpenAI의 GPT 4o와 구글의 Gemini 2.5를 비롯한 경쟁 모델들과 맞붙게 된다. 이들 시스템은 성능이 뛰어나며 대규모 플랫폼에 이미 통합돼 있지만, 소스가 공개되지 않았다. 사용자는 호출마다 비용을 내야 하고 기본 모델을 법적으로 수정하거나 재배포할 수 없다. Qwen3-Omni는 상업적 이용과 코드 및 가중치 수정, 재배포를 허용하는 포괄적 라이선스인 아파치 2.0으로 공개됐다. 특허 사용권도 포함한다. 이런 조합은 AI를 제품이나 사내 인프라에 직접 통합하려는 기업의 법적 위험을 낮춘다.
기능 면에서 Qwen3-Omni는 텍스트, 이미지, 오디오, 동영상을 입력받고 텍스트나 음성으로 답할 수 있다. GPT 4o는 텍스트, 이미지, 오디오 입력을 받고 텍스트와 음성으로 응답하지만, 기본 구성에서는 동영상 클립을 입력으로 받지 않는다. Gemini 2.5 Pro는 동영상 입력을 분석할 수 있으며 구글 서비스를 통해 텍스트와 음성 응답을 제공한다. 알리바바는 Qwen3-Omni를 음성과 시각 기능을 텍스트 중심 모델 위에 얹은 부가 기능이 아닌 핵심 요소로 갖춘 네이티브 멀티모달 시스템으로 내세우고 있다.
구글은 아파치 2.0으로 오픈소스 공개한 Gemma 3n도 제공한다. Gemma 3n은 동영상, 오디오, 텍스트, 이미지를 입력받지만 텍스트만 출력한다. 실시간 음성 출력을 포함하는 완전한 오픈 스택을 원하는 팀에 현재로서는 허용적인 라이선스와 기본 탑재 음성 생성 기능을 갖춘 선택지가 Qwen3-Omni뿐일 수 있다.
도입 기업에 아파치 2.0이 중요한 이유라이선스는 모델을 어디에서 실행할 수 있는지, 제품화 방식이 어떤지 결정한다. 아파치 2.0은 파생 모델 공개를 강제하지 않으면서 미세 조정과 폐쇄형 재배포를 허용한다. 특허 사용권과 기여자 라이선스도 포함한다. 지식재산권을 면밀히 살피는 규제 산업에서는 이러한 조건이 통합 위험을 줄여준다. 기업은 Qwen3-Omni를 자체 서버나 원하는 클라우드, 엣지 환경에 배포하고 자체 개발한 모델을 비공개로 유지할 수 있다.
기업과 개발자의 활용 사례
Qwen3-Omni는 폭넓은 업무를 겨냥한다. 다국어 텍스트 및 음성 스택은 음성 입력 19개 언어, 출력 10개 언어를 지원해 콜센터 전사와 실시간 번역에 활용할 수 있다. 오디오 캡셔너는 편집자와 기록 보관 담당자, 보조 기술을 위한 음악, 주변 소리, 혼합 오디오 클립의 설명을 생성할 수 있다. 시각 처리 파이프라인은 스크린샷과 사진에서 OCR 및 레이아웃을 읽어 백오피스 업무 자동화와 고객 온보딩을 지원한다.
동영상 이해는 핵심 기능이다. 고객 지원 담당자는 휴대전화로 촬영한 짧은 영상을 분석해 오류 표시등이나 잘못 연결된 케이블을 식별할 수 있다. 유지보수 앱은 실시간 스트림을 살펴 밸브가 열렸는지 확인할 수 있다. 싱커와 토커가 병렬로 작동하므로 시스템은 들어오는 프레임을 계속 처리하면서 발화를 시작할 수 있어 핸즈프리 상황에서도 사람과 비슷한 속도로 대화할 수 있다.
생각과 발화를 명시적으로 분리하면 개발자가 더 많은 제어권을 갖는다. 검색 증강 시스템은 회사 문서를 가져올 수 있다. 정책 필터는 콘텐츠를 선별할 수 있다. 토커가 음성을 생성하기 전에 안전성 점검으로 추론 기록을 살펴볼 수 있다. 이런 방식은 브랜드 정체성을 지켜야 하는 소비자 비서, 데이터 유출을 피해야 하는 기업용 요약 도구, 단계별 안내가 필요한 현장 업무 도구에 적합하다.
도구 활용과 에이전트
Qwen3-Omni는 복잡한 업무를 위해 외부 도구 및 서비스와 연동할 수 있다. 검색 호출, 데이터베이스 조회, 업무 흐름 엔진 작동 등이 가능하다. 알리바바는 자사 클라우드 플랫폼에서 에이전트 프레임워크도 개발하고 있어 로코드 및 하이코드 개발팀이 도구를 조합하고 작업을 예약해 실제 서비스 환경에 배포할 수 있다. 비사고 모드에서 49,000개가 넘는 토큰 문맥 창을 지원하므로 모델은 여러 단계에 걸친 긴 세션을 유지하고 이전 작업을 기억할 수 있다.
도입, 시장, 전략
개발자들의 관심은 빠르게 커졌다. Qwen3 계열 변형 모델들이 주요 모델 허브의 인기 순위 여러 자리를 차지했으며, Qwen3-Omni-30B-A3B는 종종 1위에 올랐다. 이는 연구계와 산업계에서 주목받는 중국 오픈 모델의 전반적인 확산을 보여준다.
시장 신호도 같은 방향을 가리킨다. AI와 클라우드 사업 확장에 대한 신뢰가 커지고 애널리스트들의 새로운 투자 의견 상향과 글로벌 펀드의 관심이 되살아나면서 알리바바 주가가 상승했다. 회사는 중국 밖 고객을 지원하기 위해 브라질, 프랑스, 네덜란드에 신규 시설을 마련하고 다른 지역에서도 추가 용량을 계획하는 등 데이터센터를 확대하고 있다. 알리바바는 AI 인프라에도 대규모 투자를 이어가고 있으며, 향후 3년간 수백억 달러를 지출하겠다고 약속하고 전체 AI 자본 지출을 늘릴 방침을 밝혔다.
하드웨어 협력도 계획의 일부다. 알리바바는 학습, 시뮬레이션, 검증 등의 분야에서 AI 개발 도구를 통합하기 위해 엔비디아와 소프트웨어 협력을 발표했다. 또한 고급 코드 생성과 에이전트 동작을 위한 1조 개 이상의 매개변수를 갖춘 대형 Qwen3 Max 모델을 예고했다. 이는 Qwen3-Omni가 대화형 비서부터 대규모 연구 모델까지 아우르는 더 넓은 모델군의 일부임을 보여준다.
알리바바의 발언
알리바바그룹 최고경영자 에디 우는 항저우에서 열린 회사 연례 콘퍼런스에서 AI와 클라우드를 다음 성장 단계의 양대 동력으로 제시하며 방향을 밝혔다. 그는 국제 데이터센터를 확대하고 학습과 배포를 위한 협력을 강화할 계획도 설명했다.
우는 회사가 AI 투자를 늘리는 이유를 다음과 같이 설명했다.
AI와 클라우드는 전자상거래와 함께 알리바바의 성장 동력입니다. 글로벌 수요에 대응하기 위해 지출과 용량을 확대하겠습니다.
Qwen 팀 연구원 린쥔양은 기존 음성 및 시각 연구를 바탕으로 새 시스템을 구성한 과정을 설명했다.
기반이 되는 오디오 및 이미지 프로젝트를 결합해 Qwen3 Omni를 구축했습니다.
위험과 한계, 주목할 점
벤치마크에서 강한 성과를 거뒀더라도 실제 운영에서만 답할 수 있는 의문은 남는다. 실제 오디오에는 심한 배경 소음과 동시 발화, 드문 억양이 섞일 수 있다. 동영상에는 빛 반사와 움직임에 따른 흐림, 가림 현상이 자주 발생한다. 특수 도표에서 매우 높은 재현율이 필요하거나 특정 분야에서 규정 준수 수준의 전사가 필요하다면 데이터 정제와 분야별 미세 조정에 시간을 들여야 한다.
현재 출시 버전은 음성 출력 언어 10개를 지원해 이미 여러 시장을 포괄하지만, 사용 빈도가 낮은 언어까지 지원해야 하는 팀은 텍스트 출력이나 타사 음성 엔진이 필요하다. 싱커와 토커의 분리도 선택의 여지를 만든다. 일부 조직은 긴 추론은 텍스트로만 유지하고 최종 답변만 음성으로 합성하는 방식을 선호할 수 있다. 다른 조직은 더 빠른 음성 응답을 위해 출력 길이를 줄일 수도 있다. 이런 절충점은 사용자 경험 목표에 맞춰 시험해야 한다.
오픈소스 라이선스는 제품 개발자에게 강점이지만 누구나 모델을 수정할 수 있다는 뜻이기도 하다. 기업은 오용을 막기 위해 콘텐츠 필터와 악용 탐지, 사용 모니터링을 적용해야 한다. 반면 아파치 2.0에는 도입 기업의 지식재산권 위험을 낮추는 특허 사용권이 포함돼 있어 기업 규정 준수 담당자에게 중요한 요소다.
목표는 텍스트와 시각, 소리를 거의 사람과 같은 속도로 넘나들며 생각하는 멀티모달 비서다. Qwen3-Omni가 정제된 평가 환경 밖에서도 성능을 입증한다면, 로컬 제어권과 예측 가능한 비용, 폭넓은 개발자 커뮤니티를 원하는 팀의 기본 선택지가 될 수 있다.
핵심 내용
- Qwen3-Omni는 텍스트, 이미지, 오디오, 동영상을 입력받고 텍스트와 음성으로 출력한다.
- 특허 사용권이 포함된 아파치 2.0으로 오픈소스 공개돼 상업적 이용이 가능하다.
- 싱커는 추론을, 토커는 음성 생성을 담당하며, 두 구성 요소 모두 속도를 높이기 위해 전문가 혼합 방식을 사용한다.
- 보고된 첫 패킷 지연 시간은 오디오에서 234밀리초, 동영상에서 547밀리초다.
- 텍스트 119개 언어, 음성 입력 19개 언어, 음성 출력 10개 언어를 지원한다.
- 인스트럭트, 싱킹, 캡셔너 등 세 가지 변형 모델을 제공한다.
- API 가격은 텍스트 토큰 1,000개당 0.00025달러부터 시작하며 무료 체험으로 토큰 100만 개를 제공한다.
- 벤치마크에서 여러 음성, 동영상, 추론 테스트의 선두권 성적을 기록했다.
- 허깅페이스 순위와 투자자 관심은 빠른 도입을 보여준다.
- 알리바바는 데이터센터를 확대하고 엔비디아와의 협력을 강화하는 한편 Qwen3 계열을 키우고 있다.
