샤오미 MiMo, 맞춤형 칩 없이 범용 GPU에서 초당 1,000토큰 돌파

인공지능 속도 신기록

2026년 6월 8일, 샤오미는 추론 모드인 MiMo V2.5 Pro UltraSpeed를 출시했다. 이 모드는 표준 클라우드 그래픽 처리 장치에서 1조 개 매개변수 언어 모델의 생성 속도를 초당 1,000토큰 이상으로 끌어올린다. 맞춤형 실리콘이나 특수 하드웨어에 의존하지 않고 이 규모의 모델이 해당 기준을 넘어선 것은 이번이 처음이다. 내부 시연에서는 GPU 8개를 탑재한 단일 범용 노드에서 초당 최대 약 1,200토큰의 처리량을 지속적으로 기록했다.

이 성과의 의미를 알려면 현재 공개된 벤치마크와 비교해 보면 된다. OpenAI의 GPT 5.5는 초당 약 68토큰을 생성한다. Claude Opus 4.6은 초당 약 71토큰, Google Gemini Flash는 초당 192토큰에 이른다. 샤오미의 UltraSpeed 모드는 표준 ChatGPT 경험보다 출력 속도가 약 15배 빠르며, 소프트웨어 엔지니어링 평가에서 이미 최첨단 시스템들과 경쟁하는 모델에서 이 속도를 구현했다.

이 속도의 기반이 되는 모델은 MiMo V2.5 Pro다. 매개변수 1조 200억 개를 갖춘 전문가 혼합(Mixture of Experts) 아키텍처로, 컨텍스트 창은 100만 토큰이다. 많은 경쟁 모델과 달리 텍스트, 이미지, 오디오, 비디오를 하나의 모델 안에서 기본적으로 처리한다. 샤오미는 기반 체크포인트를 MIT 오픈소스 라이선스로 공개해 개발자들이 라이선스 비용 없이 직접 호스팅하고, 미세 조정하고, 상업적으로 배포할 수 있도록 했다.

인공지능 분야에서 샤오미의 예상 밖 도약

대부분의 소비자는 샤오미를 저렴한 스마트폰과 전동 킥보드, 그리고 점차 전기차를 만드는 기업으로 알고 있다. 샤오미는 2026년 1분기에 스마트폰 3,380만 대를 출하했고, 5월 한 달에만 전기차 3만 대 이상을 인도했다. 하지만 이런 소비자 제품의 이면에는 2025년 4월 매개변수 70억 개의 소형 추론 모델을 출시한 뒤 대규모 언어 모델을 개발해 온 전담 인공지능 부문이 있다.

그로부터 14개월 동안 MiMo 제품군은 출시된 오픈 웨이트 모델 가운데 경쟁력 있는 제품군으로 성장했다. 현재 주력 모델인 MiMo V2.5 Pro는 2026년 4월 22일 공개됐다. 소프트웨어 엔지니어링 과제에서는 Claude Opus 4.6에 근접한 벤치마크 결과를 내면서 토큰당 비용은 약 8분의 1 수준이다. 기본 모델의 표준 요금은 캐시 적중 시 토큰 100만 개당 0.025위안, 입력 캐시 미스 시 100만 개당 3위안, 출력은 100만 개당 6위안이다.

6월 8일 발표된 UltraSpeed는 기존 모델에 고성능 서빙 모드를 추가한 것이다. 모델 가중치나 아키텍처를 바꾸는 대신, 속도 향상은 전적으로 추론 최적화에서 나온다. 이는 범용 하드웨어의 성능에 대한 기존 통념에 도전하는 소프트웨어 기술의 성과다.

현대 AI에서 속도의 대가

추론 속도는 대규모 언어 모델 경쟁의 핵심 전장이 됐다. 시스템이 토큰을 생성하는 속도는 사용자가 얼마나 빨리 답을 받는지뿐 아니라 어떤 애플리케이션이 경제적으로나 기술적으로 실현 가능한지도 좌우한다. 초당 68토큰을 생성하는 모델은 사람이 자신의 속도로 답을 읽는 채팅 인터페이스에서는 잘 작동한다. 하지만 실시간 사기 탐지, 고빈도 매매 신호, 몇 초 안에 여러 추론 단계를 반복해야 하는 자율 코딩 에이전트처럼 지연 시간에 민감한 작업에는 적합하지 않다.

이 병목을 인식한 여러 스타트업은 맞춤형 실리콘을 중심으로 사업을 구축했다. Cerebras는 저녁 접시 크기의 웨이퍼 규모 칩을 설계하고, 칩 내부에 44기가바이트 메모리를 집적해 기존 GPU 추론의 속도를 늦추는 대역폭 제약을 없앴다. 이 시스템은 Meta의 Llama 3.1 405B에서 초당 약 969토큰을 기록했다. 이 모델의 매개변수 수는 MiMo V2.5 Pro의 절반에도 못 미친다. Groq는 모델에 따라 초당 300~750토큰을 처리할 수 있는 맞춤형 언어 처리 장치(Language Processing Unit) 아키텍처를 개발했다. 두 플랫폼 모두 일반적인 클라우드 대여 서비스에서 이용 가능한 하드웨어로 구동되지 않는다.

샤오미의 접근법은 이런 하드웨어 군비 경쟁을 거부한다. 소프트웨어와 모델 설계를 함께 최적화해 대여 가능한 범용 GPU에서 비슷한 속도를 구현했다. 표준 GPU 8개 노드를 이용할 수 있는 개발자라면 누구나 이 결과를 재현할 수 있는 셈이다. 이는 경쟁 우위를 특수 칩 제조사에서 알고리즘 혁신 쪽으로 옮길 가능성이 있다.

FP4 양자화로 지능 압축

UltraSpeed의 첫 번째 핵심 기술은 FP4 양자화라는 공격적인 수치 압축 방식이다. 일반적인 모델 추론은 가중치를 16비트 또는 8비트 정밀도로 저장한다. 매개변수마다 일정량의 메모리 대역폭이 필요하고, 매개변수가 1조 개 규모에 이르면 가중치를 메모리에서 처리 코어로 옮기는 작업만으로도 병목이 생겨 생성 속도가 제한된다.

샤오미는 일부에 4비트 정밀도를 적용하는 방식으로 문제를 해결했다. 전문가 혼합 아키텍처에는 대부분의 매개변수를 담고 있으며 정밀도 저하에 비교적 잘 견디는 전문가 레이어가 다수 포함돼 있다. 샤오미는 이 전문가 레이어만 MXFP4 형식으로 압축하고, 다른 모델 모듈은 FP8로 보고된 더 높은 정밀도를 유지했다. 양자화 인식 학습(Quantization Aware Training)이 압축을 모델 학습 과정에 통합했기 때문에, 이 선택적 접근법은 출력 품질을 떨어뜨리지 않으면서 메모리 사용량을 줄인다. 벤치마크에 따르면 양자화 모델은 원본 전체 정밀도 버전과 사실상 동등한 성능을 낸다.

전문가 레이어가 모델의 대부분을 차지하므로, 이런 선택적 압축은 각 생성 단계에서 메모리를 통해 이동해야 하는 데이터량을 크게 줄인다. 대역폭 절감은 곧바로 처리량 증가로 이어진다.

DFlash 추측 디코딩으로 병렬 예측

두 번째 핵심 기술은 언어 생성의 순차적 특성을 해결한다. 일반적으로 모델은 토큰을 하나씩 생성하며, 새 토큰은 이전 토큰 전체에 의존한다. 추측 디코딩은 지름길을 제공한다. 작은 초안 모델이 다음에 나올 토큰 여러 개를 빠르게 예측하고, 큰 대상 모델이 그 예측을 한꺼번에 검증한다. 예측이 일치하면 시간을 절약할 수 있다. 하지만 기존 추측 디코딩에서는 초안 모델이 여전히 예측 토큰을 순차적으로 생성해야 해 효과가 제한된다.

샤오미가 개선한 연구 커뮤니티의 기법인 DFlash는 이런 순차적 제약을 완전히 없앤다. 토큰을 하나씩 예측하는 대신 초안 모델이 한 번의 순전파 과정에서 마스킹된 위치가 있는 블록 전체를 채운다. 샤오미는 Muon 2차 최적화기와 모델 자체 증류를 이용해 이 과정을 조정했다. 초안 모델은 슬라이딩 윈도 어텐션만 사용하므로 대화가 길어져도 예측당 연산 비용이 일정하게 유지된다.

코딩 작업에서 시스템은 최대 블록 크기 8개 가운데 검증 라운드당 평균 6.3토큰을 수용한다. 즉 큰 모델은 토큰을 하나씩 생성하는 대신 한 단계에서 6~7개 토큰을 확인한다. 거부 샘플링을 통해 유효한 토큰만 통과시키므로 출력은 표준 디코딩과 수학적으로 동일하다. 품질 손실 없이 속도를 높인 것이다.

TileRT로 마이크로초 단위 간극 제거

세 번째 핵심 기술은 극한의 속도에서만 드러나는 보이지 않는 병목을 해결한다. 추론 속도가 초당 1,000토큰을 넘으면 각 수학 연산자는 불과 몇 마이크로초 동안 실행된다. 기존 서빙 시스템은 연산자를 하나씩 실행하고 각 실행 사이에 짧은 간극이 생긴다. 일반적인 속도에서는 이 간극이 무시할 만하지만, UltraSpeed 수준에서는 실행 흐름이 끊기며 주요 병목으로 떠오른다.

추론 파트너사 TileRT와 공동 개발한 TileRT는 GPU 안에 계속 상주하는 지속형 엔진 커널(Persistent Engine Kernel)로 이 문제를 해결한다. 커널은 연산을 시작하고 멈추는 대신 워프 특수화(Warp Specialization)를 이용해 특정 하드웨어 스레드에 데이터 이동, 연산, 통신 역할을 조정해 할당한다. 보통 마이크로초 단위 지연을 일으키는 RMSNorm, 회전 위치 임베딩, KV 캐시 쓰기 같은 작은 연산도 중단 없이 실행된다.

이 시스템은 FP4와 DFlash를 선택한 뒤 덧붙인 것이 아니라, 두 기술과 함께 설계됐다. 모델과 시스템의 극한 공동 설계로 세 계층이 긴밀하게 맞물린다. 샤오미는 세 기술 중 어느 하나만으로는 초당 1,000토큰에 도달할 수 없다고 명시했다. 세 기술을 결합해 실행해야만 기록적인 결과가 나온다.

실제 영향과 사업 맥락

토큰 1,000개 기준을 넘어서면 최첨단 모델에 적합한 애플리케이션의 범위가 달라진다. 병렬 추론이 실용화돼 느린 모델이 한 번의 추론 경로를 처리하는 데 걸리는 시간 안에 수십 개의 Best of N 또는 트리 탐색 추론 경로를 실행할 수 있다. 생성 속도가 빨라지면 자율 단계 사이의 대기 시간이 줄어 코딩 에이전트에도 도움이 된다. 지연 시간이 사람의 지각 한계 아래로 떨어지면 매매 신호 생성, 사기 차단, 실시간 대화 시스템의 의사결정 루프도 실현 가능해진다.

샤오미는 공개 시연을 통해 실제 효과를 보여줬다. 완전히 작동하는 스네이크 게임을 약 10초 만에 생성했고, macOS 인터페이스 시제품은 약 1분 만에 선보였다. 모두 원시 토큰 생성 속도가 주요 제약 조건인 작업이다.

UltraSpeed는 2026년 6월 9일부터 23일까지 신청 기반의 제한된 API 시험을 통해 이용할 수 있다. 요금은 MiMo V2.5 Pro 표준 요금의 3배로, 현재 환율 계산 기준 입력 토큰 100만 개당 약 1.29달러, 출력 토큰 100만 개당 약 2.61달러다. 샤오미는 이 요금으로 생성 속도를 약 10배 높인다고 밝혔다. Token Plan 구독 서비스는 UltraSpeed에 적용되지 않는다. 승인된 사용자는 일일 한도가 적용되는 2주간의 무료 Chat 이용권을 받는다. 계정당 대기열 등록은 10회, 세션은 최대 30분이며, 5분 동안 사용하지 않으면 리소스가 자동으로 해제된다.

이러한 기술적 성과에도 금융시장은 별다른 반응을 보이지 않았다. 샤오미 주가는 6월 11일 2.91유로로 마감해 52주 최저가보다 1.75% 높은 수준에 그쳤으며, 연초 이후 35% 하락했다. 샤오미는 사업 다각화를 이어가며 MiMo Code 어시스턴트 출시와 같은 날 인도에서 프리미엄 17T 스마트폰을 출시했고, 창춘시와 함께 전기차 사업 확장도 추진하고 있다. 사업 추진력이 주가 흐름을 반전시킬 수 있을지는 향후 실적 발표에 달려 있다.

오픈소스 공개와 검증 과제

샤오미는 양자화 가중치와 DFlash 매개변수를 포함한 MiMo V2.5 Pro FP4 DFlash 체크포인트를 Hugging Face에 오픈소스로 공개했다. TileRT는 일부 모듈을 GitHub에 공개했다. 이 같은 투명성은 독립적인 커뮤니티 검증을 가능하게 한다. 현재 속도 주장이 모두 샤오미 내부 벤치마크에서 나온 만큼, 독립 검증은 중요한 의미를 갖는다. 아직 제3자의 독립 검증 결과는 발표되지 않았다.

커뮤니티의 재현 검증을 통해 몇 가지 미해결 질문을 확인할 수 있다. 첫째, 샤오미가 통제하는 시험 환경 밖의 일반 GPU 인스턴스에서도 초당 1,000토큰이라는 수치가 유지되는지다. 둘째, 구조화된 코딩 작업보다 현재 추측 디코딩의 수용률이 낮은 개방형 대화 작업에서 품질 저하가 나타나는지다. 셋째, TileRT의 지속형 커널 방식이 실제 운영 환경에 이미 배포된 표준 서빙 스택과 통합될 수 있는지다.

독립 검증에서 주장이 확인된다면 샤오미는 경쟁사들이 맞춤형 실리콘에 수억 달러를 투입해 추구해 온 성능을 소프트웨어로 구현한 셈이 된다. 이는 알고리즘 공동 설계가 특수 하드웨어가 필요하다고 여겨진 성능 수준을 실현할 수 있음을 시사하며, 인공지능 업계 전반의 투자 흐름을 바꿀 가능성이 있다.

핵심 요점

• 샤오미의 MiMo V2.5 Pro UltraSpeed는 2026년 6월 8일 출시 당시 표준 범용 GPU에서 초당 1,000토큰을 넘긴 최초의 1조 매개변수 모델이 됐다.
• 속도 향상은 FP4 전문가 레이어 양자화, DFlash 블록 단위 추측 디코딩, TileRT 지속형 GPU 런타임이라는 세 가지 기술을 결합한 결과다.
• 기반 모델 MiMo V2.5 Pro는 코딩 작업에서 Claude Opus 4.6에 근접한 벤치마크 결과를 내면서 토큰당 비용은 약 8분의 1이다.
• Cerebras와 Groq 같은 경쟁사와 달리 샤오미는 맞춤형 실리콘 없이 클라우드 제공업체가 서비스하는 표준 GPU 8개 노드로 기록을 달성했다.
• MiMo V2.5 Pro FP4 DFlash 체크포인트는 MIT 오픈소스 라이선스로 Hugging Face에서, TileRT 모듈은 GitHub에서 이용할 수 있다.
• 제한된 API 시험은 2026년 6월 9일부터 23일까지 진행되며, 표준 요금의 3배를 내면 생성 속도를 약 10배 높일 수 있다.
• 2026년 6월 중순 기준 샤오미 주가는 연초 이후 35% 하락해 52주 최저가 부근에 머물고 있다.