개발자와 기업을 겨냥한 더 빠르고 저렴한 모델
알리바바 클라우드가 Qwen3-Next라는 새로운 아키텍처를 적용한 대규모 언어 모델 제품군을 오픈소스로 공개했다. 대표 모델인 Qwen3-Next-80B-A3B는 매개변수 800억 개를 갖췄지만, 이전 Qwen 모델보다 훨씬 빠르고 저렴하게 실행할 수 있도록 설계됐다. 알리바바에 따르면 새 기본 모델을 학습하는 데는 4월 출시된 밀집형 이전 모델 Qwen3-32B에 사용된 연산 자원의 10분의 1도 들지 않았다. 새 제품군은 여러 작업에서 회사의 대형 모델 Qwen3-235B와 비슷한 품질을 보인다.
목차
알리바바는 개발자들이 모델을 내려받고 주요 모델 허브와 자사 클라우드를 통해 API를 이용할 수 있도록 오픈소스로 공개했다. 회사는 Qwen을 빠르게 성장하는 개발자 생태계로 육성하고 있다. 이는 다른 이들이 살펴보고 기반으로 활용할 수 있는 고품질 모델을 공개해 대규모 중앙집중식 인프라에 의존하지 않고도 도입을 확대하려는 중국 AI 기업들의 폭넓은 움직임과 맞닿아 있다.
학습 효율성뿐 아니라 Qwen3-Next는 추론 시점의 속도와 긴 컨텍스트 처리 성능도 겨냥한다. 알리바바가 공개한 테스트 결과에 따르면 이 아키텍처는 프롬프트 길이가 3만2000토큰을 넘을 때 이전 Qwen 모델보다 처리량이 10배 이상 높다. 컨텍스트 창은 25만6000토큰이며, 일부 설정에서는 100만 토큰까지 확장할 수 있다. 이에 따라 책 한 권 분량의 문서, 대규모 코드 저장소와 그 밖의 방대한 입력도 더 수월하게 처리할 수 있다.
Qwen3-Next의 내부 설계 변화
이번 세대에는 고도화된 AI에 표준 도구로 자리 잡아가는 여러 요소가 도입됐다. 핵심은 희소 혼합 전문가(MoE) 구조다. 여러 개의 소규모 전문가 네트워크를 학습한 뒤 각 토큰마다 그중 일부만 사용하는 설계다. Qwen3-Next는 여기에 긴 시퀀스를 처리하는 하이브리드 어텐션 메커니즘, 생성을 가속하는 다중 토큰 예측, 강화학습(RL)의 불안정성을 줄이는 학습 개선 기법을 결합했다. Qwen3-Next-80B-A3B-Base 모델은 전체 매개변수가 800억 개지만 각 단계에서 활성화되는 매개변수는 약 30억 개에 불과하다.
알리바바에 따르면 기본 모델은 밀집형 Qwen3-32B보다 적은 GPU 학습 시간으로 학습하면서 비슷하거나 때로는 더 나은 품질을 구현한다. 추론 과정에서도 연산량을 낮게 유지하면서 용량은 보존한다. 이에 따라 긴 컨텍스트에서 속도가 크게 향상되고 클라우드와 소비자용 하드웨어 모두에서 비용 효율성이 개선됐다고 개발팀은 밝혔다.
쉽게 풀어본 혼합 전문가 구조
혼합 전문가 구조에서 네트워크는 전문가라 불리는 여러 전문화된 하위 모델을 학습한다. 가벼운 게이팅 모듈이 토큰마다 어떤 전문가를 호출할지 결정한다. Qwen3-Next는 희소성을 높게 설정해 한 번에 활성화되는 전문가가 일부에 그친다. 일부 레이어에서는 전문가 512개 가운데 토큰당 10개가 활성화된다는 보고도 있다. 이에 따라 각 순전파 단계의 연산량과 메모리 부담은 훨씬 작은 밀집형 네트워크 수준으로 낮추면서, 전체 전문가 집합을 통해 큰 총용량을 확보한다.
대신 학습 과정이 복잡해지고 전문가 간 작업량 균형을 맞추기 위한 스케줄링이 필요하다. 알리바바는 희소 MoE와 RL 방식의 미세조정을 결합할 때 흔히 나타나는 안정성 문제를 해결했다고 밝혔다. 개발자에게 중요한 점은 실행 비용이 전체 매개변수 수가 아니라 활성 매개변수 수에 따라 달라진다는 것이다.
하이브리드 어텐션과 긴 컨텍스트
어텐션 레이어는 모델이 입력 토큰을 살펴보고 무엇이 중요한지 판단하도록 하는 트랜스포머의 구성 요소다. 표준 어텐션은 입력이 길어질수록 비용이 시퀀스 길이의 제곱에 비례해 증가한다. Qwen3-Next는 표준 어텐션과 컨텍스트를 더 효율적으로 근사하는 기법을 혼합한다. 개발팀은 이를 Gated DeltaNet과 기존 어텐션의 결합이라고 설명했다. 그 결과 긴 입력에서 처리량이 높아지고 프롬프트가 길어져도 속도 저하가 줄어든다. 알리바바는 컨텍스트 길이가 3만2000토큰을 넘으면 처리량이 10배 이상 높아지고, 기본 컨텍스트 창은 25만6000토큰이며, 특수한 경우 100만 토큰까지 확장할 수 있다고 밝혔다. 일부 조건에서는 규모가 커질수록 거의 선형적인 성능 향상이 나타나며, 짧은 컨텍스트에서는 프리필이 최대 약 7배, 디코딩이 약 4배 빨라진다고 개발팀은 덧붙였다.
다중 토큰 예측과 디코딩
다중 토큰 예측은 다음 토큰 여러 개를 한 번에 추측한 뒤, 추측이 틀리면 이를 수정하는 방식이다. 추측 디코딩과 결합하면 응답을 스트리밍하는 데 필요한 고비용 순전파 횟수를 줄일 수 있다. Qwen3-Next는 이 방식을 지원하고 SGLang과 vLLM 같은 인기 추론 스택과 통합돼 프로덕션 서비스의 지연 시간을 낮추는 데 도움이 된다. 개발팀은 학습을 안정화하는 Zero Centered RMSNorm 등 여러 최적화 기법도 언급했다. 희소 MoE와 결합하면 품질 저하를 크게 일으키지 않으면서 생성 속도를 높일 수 있다.
지시 수행과 추론을 위한 두 가지 모델
알리바바는 출시와 함께 기본 네트워크를 기반으로 사후 학습한 모델 두 가지를 제공했다. Qwen3-Next-80B-A3B-Instruct는 일상적인 지시 수행, 대화, 도구 사용을 겨냥한다. 회사 내부 테스트에서 여러 일반 작업에 대해 매개변수 2350억 개의 플래그십 모델에 근접한 성능을 보였고, 최대 25만6000토큰의 매우 긴 컨텍스트가 포함된 프롬프트에서도 강점을 나타냈다.
Qwen3-Next-80B-A3B-Thinking은 복잡한 추론에 맞춰 조정됐다. 알리바바는 자사 중급 Qwen3 모델을 웃돌고 평가용으로 선정한 여러 벤치마크에서 비공개 모델 Gemini 2.5 Flash Thinking을 능가한 점수를 강조했다. 회사가 제시한 SuperGPQA 점수는 60.8%로, 난도가 높은 대학원 수준 시험 세트다. 벤치마크는 유용한 참고 지표지만, 구매자는 코딩, 검색 증강 생성, 수학, 다단계 계획 등 해당 분야의 실제 작업으로 직접 시험해야 한다.
속도, 비용, 하드웨어 규모
주요 개선점은 비용과 시간 모두에 있다. 알리바바는 기본 모델 학습에 Qwen3-32B 연산량의 10% 미만이 들었다고 밝혔다. 추론 시 토큰당 활성화되는 매개변수가 약 30억 개에 불과해 GPU 메모리 부담과 에너지 소비를 줄이면서 응답할 수 있다. 이에 따라 같은 수준의 서비스를 더 작은 하드웨어 구성으로 제공하거나 기존 장비에서 더 많은 요청을 처리할 수 있다.
이 아키텍처는 긴 프롬프트에서 특히 강점을 보인다. 알리바바는 입력이 3만2000토큰을 넘으면 처리량이 한 자릿수 배가량 증가하고, 더 짧은 시퀀스에서도 상당한 개선이 나타난다고 밝혔다. 일부 테스트에서는 프리필이 약 7배, 디코딩이 약 4배 빨라졌다. 컨텍스트 창이 25만6000토큰인 만큼 분석가는 계약서 전체, 녹취록, 대규모 코드 파일을 한 번의 요청으로 입력한 뒤 요약이나 비교, 수정안 생성을 요청할 수 있다. 회사는 새 제품군이 소비자용 하드웨어에서도 잘 작동하도록 조정돼 고도화된 시제품 개발에 더 이상 대규모 클러스터가 필요하지 않다고 강조했다.
이용 및 접근
Qwen3-Next 모델은 폭넓게 이용할 수 있도록 공개됐다. Hugging Face와 ModelScope 같은 주요 모델 허브에 등록됐으며, 관리형 배포를 위한 Alibaba Cloud Model Studio에서도 이용할 수 있다. 사용자는 호스팅 엔드포인트를 호출하거나 가중치를 내려받아 로컬에서 추론을 실행할 수 있다. 제품군은 NVIDIA API Catalog에서도 제공되며, 일부 모델은 더 쉽게 실험할 수 있도록 Kaggle에도 미러링돼 있다.
이번 공개는 팀 설명에 따르면 주요 언어 11개를 지원하는 음성 전사 구성요소 Qwen3-ASR-Flash 같은 도구와 함께 이뤄졌다. 알리바바는 개발자들에게 특히 트래픽이 많거나 상업적으로 이용할 때 모델별 라이선스 조건을 확인하고, 자체 데이터 세트와 작업으로 테스트할 것을 권고한다. SGLang과 vLLM 같은 추론 프레임워크 지원, 하드웨어 효율적인 활성화 패턴을 바탕으로 시연용 모델을 신뢰할 수 있는 서비스로 전환하는 시간이 단축될 전망이다.
AI 경쟁 구도를 바꾸는 방식
이번 움직임은 강력한 모델을 더 낮은 비용으로 널리 이용할 수 있게 하려는 글로벌 연구소 간 경쟁이 확대되고 있음을 보여준다. 중국 기업들은 도입을 확산하고 성능 면에서 서방 경쟁사를 따라잡기 위한 방안으로 오픈소스 AI를 적극 추진하고 있다. 알리바바는 Qwen 생태계가 개발자를 위한 최대 규모의 오픈소스 커뮤니티 중 하나로 성장했다고 밝혔다. 연구진이 운영하는 챗봇 순위표 LMArena에서 최근 6위를 기록한 매개변수 1조 개 이상의 모델 Qwen3-Max도 함께 예고했다. 알리바바 외에도 DeepSeek와 메이퇀 같은 기업이 경쟁력 있는 모델과 서비스를 내놓고 있다.
연산 자원이 부족하고 비싼 만큼 더 저렴하고 빠른 기본 모델은 중요하다. 첨단 칩 수출 제한은 중국의 부담을 키우고 있으며, 미국과 유럽에서도 많은 팀이 GPU 부족을 겪고 있다. 추론 중 대부분의 매개변수를 비활성 상태로 유지하는 아키텍처는 소규모 연구소, 스타트업, 대학도 보급형 서버에서 고품질 모델을 실행할 수 있는 길을 연다. 알리바바가 클라우드와 AI에 다시 집중하면서 올해 주가 흐름이 개선되는 등 투자자들도 주목하고 있다. 더 많은 조직이 일상 업무에 오픈소스 AI를 도입하면 경쟁 구도에도 변화가 확산될 전망이다.
벤치마크, 투명성, 신중한 평가
모델 순위표는 유용하지만 상충 관계를 감출 수 있다. 속도 수치는 배치 크기, 프레임워크, 양자화, 하드웨어에 따라 달라진다. 정확도는 분야, 프롬프트 방식, 코드 인터프리터나 검색 같은 도구 사용 여부에 따라 달라진다. 공급업체는 자체 평가 항목을 선정하기도 한다. 커뮤니티 단체와 고객의 독립적인 테스트가 강점과 부족한 점을 더 온전히 보여주는 경우가 많다.
Qwen3-Next를 평가하는 팀은 단일 벤치마크 점수 이상을 확인해야 한다. 긴 컨텍스트에서의 정확도, 도구 사용, 수학과 코드의 신뢰성, 안전 제약 아래에서의 모델 동작을 측정해야 한다. 실제로 필요한 컨텍스트 길이에서 메모리 사용량과 처리량도 추적해야 한다. 근거에 기반한 답변이 필요한 애플리케이션이라면 모델을 검색과 결합하고 근거 추적을 확인해야 한다. 일관된 사고 과정이 필요하다면 Thinking 모델을 현재 사용 중인 시스템과 비교해야 한다.
도입 효과가 기대되는 분야와 활용 사례
Qwen3-Next는 긴 컨텍스트, 빠른 응답, 엄격한 비용 통제가 필요한 애플리케이션에 적합해 보인다. 법률·금융팀은 대규모 문서 모음을 분석하고 인용을 보존한 맞춤형 요약을 만들 수 있다. 고객 지원 책임자는 지식 기반과 긴 문제 해결 안내서를 통합해 수천 페이지에 걸쳐 추론하는 단일 어시스턴트를 구축할 수 있다. 소프트웨어팀은 코드 검토, 리팩터링, 테스트 생성에 활용하도록 코드 저장소와 로그를 입력할 수 있다.
연구자는 긴 논문과 데이터 세트를 업로드해 연구 방법과 결과를 비교할 수 있다. 미디어·교육 제공업체는 Qwen3-ASR-Flash로 음성을 전사·번역한 다음, 언어 모델을 활용해 학습 안내서나 콘텐츠 개요를 만들 수 있다. 온프레미스 배포가 필요한 정부기관과 규제 산업은 소비자용 서버에서 성능이 뛰어난 모델을 실행하고 모니터링, 감사 로그 기록, 콘텐츠 필터를 세심하게 적용할 수 있다는 점에서 이점을 얻는다.
핵심 내용
- 알리바바가 Qwen3-Next를 출시하고 Qwen3-Next-80B-A3B 제품군을 오픈소스로 공개했다.
- Qwen3-32B 연산량의 10% 미만으로 학습하면서 테스트에서 동등하거나 더 나은 성능을 보였다.
- 희소 혼합 전문가 구조 덕분에 매개변수 800억 개 중 토큰당 약 30억 개만 활성화된다.
- 3만2000토큰을 넘는 프롬프트에서 처리량이 10배 이상 향상되며, 컨텍스트 창은 25만6000토큰이다.
- 일부 설정에서는 100만 토큰까지 확장할 수 있고, 더 짧은 컨텍스트에서 프리필과 디코딩 속도도 향상된 것으로 보고됐다.
- 사후 학습 모델 두 가지가 지시 수행과 복잡한 추론을 맡으며, 회사 테스트에서 일부 비공개 경쟁 모델보다 앞섰다.
- Hugging Face, ModelScope, Alibaba Cloud Model Studio, NVIDIA API Catalog에서 모델을 이용할 수 있다.
- 오픈소스 접근과 낮은 하드웨어 요구 사항은 스타트업, 기업, 연구기관 전반의 도입을 확대한다.
