샤오미, 표준 하드웨어에서 MiMo-V2.5-Pro-UltraSpeed로 AI 속도 장벽 돌파

AI 추론의 판도를 바꾼 스마트폰 제조사

월요일 아침, 기술 업계를 놀라게 한 소식이 전해졌다. 샤오미가 예상 밖의 일을 해냈다. 저렴한 스마트폰과 전동 킥보드, 가정용 공기청정기로 잘 알려진 이 회사가 인공지능 속도의 주요 장벽을 넘어섰다고 발표한 것이다. 새로운 MiMo-V2.5-Pro-UltraSpeed 서빙 모드는 1조 개 매개변수 모델에서 초당 1,000토큰 이상을 생성하며, 실시간 시연에서는 초당 약 1,200토큰까지 기록했다. 모델을 축소한 버전이 아니다. 코딩 벤치마크에서 Claude Opus에 필적하는 최첨단 AI 시스템인 정식 MiMo-V2.5-Pro 플래그십 모델이다.

이번 발표가 놀라운 이유는 속도만이 아니다. 그 속도를 구현한 하드웨어가 주목할 만하다. 샤오미는 주요 클라우드 제공업체라면 어디서든 구할 수 있는 장비, 즉 범용 GPU 8개를 탑재한 표준 노드 하나로 이 수치를 달성했다. 맞춤형 실리콘도, 접시만 한 특수 칩도 없다. 개발자들이 오늘 밤이라도 대여할 수 있는 하드웨어에서 소프트웨어 혁신만으로 이뤄낸 성과다.

매개변수는 AI 모델이 정보를 처리하는 방식을 규정하는 내부 수치 가중치다. 매개변수가 1조 개라는 것은 모델이 텍스트와 코드에서 매우 복잡한 패턴을 인식할 수 있다는 뜻이다. 토큰은 모델이 읽고 쓰는 텍스트 조각으로, 대략 단어 하나의 4분의 3에 해당한다. 초당 1,000개가 넘는 토큰을 생성한다는 것은 이 거대한 두뇌가 전용 하드웨어 없이는 불가능하다고 여겨졌던 속도로 작동한다는 의미다.

수년간 더 빠른 AI 추론을 둘러싼 경쟁은 맞춤형 실리콘을 설계하는 자금력 있는 칩 스타트업들이 주도해 왔다. 샤오미는 표준 장비에서의 정교한 엔지니어링만으로 이들을 모두 앞지를 수 있음을 입증했다. 이번 성과는 지능적인 소프트웨어 최적화로 쉽게 이용할 수 있는 인프라에서 더 나은 결과를 얻을 수 있다면, 비싼 특수 하드웨어가 꼭 필요한지라는 날카로운 질문을 던진다.

초당 1,000토큰이 실제로 의미하는 것

이 수치가 왜 중요한지 알려면 오늘날 일반 사용자가 체감하는 속도와 비교해 보면 된다. Artificial Analysis의 벤치마크 데이터에 따르면, 대부분의 ChatGPT 대화에 사용되는 모델인 GPT-5.5는 초당 약 68토큰을 생성한다. Claude Opus 4.6은 초당 약 71토큰, Anthropic의 경량 Haiku 모델은 초당 98토큰을 기록한다. Google의 Gemini Flash는 초당 192토큰으로 더 빠르다. MiMo-V2.5-Pro-UltraSpeed는 매개변수가 1조 개인 모델에서 초당 1,000토큰을 달성했다. 수백만 명이 매일 사용하는 챗봇보다 거의 15배 빠르다.

초당 68토큰과 1,000토큰의 차이는 단순한 점진적 향상이 아니다. 완전히 다른 성능 범주를 뜻한다. 현재 소비자용 서비스 속도에서는 문단 하나가 화면에 표시되기까지 몇 초를 기다려야 한다. 샤오미의 새 속도에서는 분석 자료 한 페이지가 거의 즉시 나타날 수 있다. 코딩 에이전트를 사용하는 개발자에게는 지연을 두고 주고받던 작업이 실시간 협업에 가까운 경험으로 바뀐다.

토큰은 대규모 언어 모델의 기본 단위다. 프롬프트를 입력하면 모델은 처리를 위해 텍스트를 토큰으로 나눈다. 답변할 때는 앞서 나온 모든 내용을 바탕으로 다음 토큰을 예측하며 하나씩 생성한다. 모델이 토큰을 더 빠르게 생성할수록 반응성이 높아지고 엄격한 시간 제한 안에 더 많은 작업을 완료할 수 있다. 속도는 서버가 동시에 처리할 수 있는 요청 수도 결정하므로 기업의 비용과 확장성에도 직접적인 영향을 준다.

MiMo-V2.5-Pro의 이전 Flash 모델도 이미 초당 150토큰, 즉 초당 약 110단어를 생성했다. 가장 빠른 사람의 읽기나 말하기 속도보다도 빠른 수치다. UltraSpeed는 그 한계를 크게 끌어올려 인간의 인지 속도를 앞지르는 생성률을 구현하고, 이전에는 불가능했던 기계 주도 워크플로를 가능하게 한다.

샤오미가 맞춤형 칩 선두 기업을 앞선 방법

AI 추론 속도의 병목 현상을 해소하기 위해 특수 하드웨어를 개발하는 기업들에 수억 달러가 투자됐다. 세레브라스는 웨이퍼 크기의 칩을 설계했다. 접시만 한 크기에 44GB의 온칩 메모리를 집적해 대역폭 제약을 없애는 방식이다. 이 설계는 초당 969토큰을 기록해 인상적인 성과를 냈지만, 대상은 매개변수가 4,050억 개인 Meta의 Llama 3.1 405B 모델이었다. MiMo-V2.5-Pro의 절반에도 못 미치는 규모다. Groq는 모델에 따라 초당 300~750토큰을 처리할 수 있는 맞춤형 언어처리장치(LPU) 아키텍처를 개발했다. 두 시스템 모두 개발자가 AWS 같은 제공업체에서 대여할 수 있는 표준 클라우드 하드웨어로는 구동되지 않는다.

샤오미의 접근 방식은 기존 모델을 완전히 뒤집는다. 추론 파트너인 TileRT와 협력해 AI 모델과 이를 서빙하는 소프트웨어 엔진을 함께 최적화하는 이른바 ‘극한 모델·시스템 공동 설계’를 통해 기록을 세웠다. 그 결과 1조 개 매개변수 모델이 범용 GPU에서 특수 실리콘보다 빠르게 작동한다. 독립 테스트에서도 이 벤치마크가 확인된다면, 많은 이들이 맞춤형 칩이 필요하다고 생각했던 하드웨어의 한계를 소프트웨어 혁신으로 극복할 수 있음을 보여주는 성과다.

이번 개발은 경제적으로도 실질적인 의미가 있다. 맞춤형 실리콘에는 막대한 자본 지출과 긴 설계 주기, 전문 제조 역량이 필요하다. 반면 범용 GPU는 규모의 경제와 폭넓은 공급망을 갖추고 있으며 NVIDIA를 비롯한 제조사들이 지속적으로 성능을 개선하고 있다. 소프트웨어로 추론 문제를 해결함으로써 샤오미는 이전까지 독점 하드웨어를 보유한 자금력 있는 연구소에만 허용됐던 속도를 더 많은 곳에서 활용할 수 있게 했을 가능성이 있다.

Hugging Face에 FP4-DFlash 체크포인트를 공개한 것도 접근성 확대에 기여한다. 이제 전 세계 연구자와 개발자는 독점 하드웨어를 구입하거나 기업용 라이선스를 확보하지 않고도 기반 모델을 살펴보고 테스트하고 조정할 수 있다. 이러한 기법이 다양한 모델과 활용 사례에 폭넓게 적용될 수 있는지는 커뮤니티의 검증을 통해 확인될 전망이다.

UltraSpeed를 뒷받침하는 세 가지 기술

이번 돌파구는 서로 맞물려 작동하는 세 가지 기술에 기반한다. 어느 하나만으로는 속도 기록을 세울 수 없지만, 함께 적용하면 초당 1,000토큰의 문턱을 넘어선다.

첫 번째 기술은 FP4 양자화다. 대부분의 대규모 모델은 16비트 또는 8비트 정밀도로 작동하며, 각 매개변수에 메모리 2바이트 또는 1바이트가 필요하다. 샤오미는 1조 개 매개변수의 대부분을 차지하는 전문가 계층을 4비트 정밀도로 압축한다. 이에 따라 메모리 사용량과 대역폭 부담이 줄어 데이터가 시스템을 더 빠르게 통과한다. 양자화의 위험은 정밀도가 낮아지면서 모델의 추론 능력이 저하될 수 있다는 점이다. 샤오미는 나머지 모델은 원래 정밀도를 유지하고 전문가 계층만 압축하는 방식으로 이를 해결했다. 회사는 이로 인한 품질 저하가 거의 없다고 설명한다.

두 번째 기술은 DFlash 추측 디코딩이다. 기존 추측 디코딩은 더 작은 초안 모델이 다음 토큰 몇 개를 빠르게 예측한 뒤, 대형 모델이 그 예측을 병렬로 검증한다. DFlash는 순차적인 초안 작성 단계를 아예 없앤다. 대신 한 번의 순전파로 마스킹된 위치의 블록 전체를 채운다. 코딩 작업에서 대형 모델은 검증 단계마다 제안된 토큰 8개 중 평균 6.3개를 수용한다. 한 번에 토큰 하나가 아니라 여섯 개가 진행되는 셈으로, 생성 속도를 크게 높인다.

세 번째 요소는 GPU 안에 전체 연산 파이프라인을 계속 상주시켜 작동하는 추론 엔진 TileRT다. 표준 서빙 시스템은 개별 연산자를 하나씩 실행하는 경우가 많아 처리 사이사이에 짧은 공백이 생긴다. TileRT는 연산자별 실행 오버헤드를 없애고 데이터 흐름을 끊김 없이 유지한다. 압축된 모델 가중치 및 고급 디코딩 전략과 결합하면 표준 하드웨어로는 이전까지 달성할 수 없었던 처리량을 지속적으로 낼 수 있다.

샤오미는 이 조합을 ‘극한 모델·시스템 공동 설계’라고 부른다. 적절한 표현이다. 각 최적화 계층이 서로를 강화해 개별 기술만으로는 낼 수 없는 성능을 만들어낸다.

속도가 열어주는 새로운 활용 분야

새로운 가능성으로 이어지지 않는다면 성능 벤치마크 수치는 의미가 없다. 초당 1,000토큰을 처리하는 MiMo-V2.5-Pro-UltraSpeed는 느린 시스템으로는 여전히 닫혀 있는 문을 연다.

개발자들이 현재 복잡한 작업에 대규모 언어 모델을 사용하는 방식을 생각해 보자. 어려운 코딩 문제를 만나면 보통 답변 하나를 기다린 뒤, 그 답이 맞기를 바란다. UltraSpeed를 사용하면 같은 실시간 시간대에 추론 경로 수십 개를 병렬로 실행하고, 백그라운드에서 자동 검증과 자체 수정을 할 수 있다. 모델은 하나의 사고 경로를 선택하는 대신 여러 해결책을 동시에 탐색할 수 있다. 이러한 능력은 AI를 순차적으로 답하는 도우미에서 병렬 문제 해결사로 근본적으로 바꾼다.

지연 시간이 엄격히 제한되는 산업은 즉각적인 이점을 얻을 수 있다. 사기 탐지 시스템은 밀리초 단위로 거래를 평가해야 한다. 실시간 거래 신호 생성은 몇 초씩 지체될 수 없다. AI 시스템이 빠른 주기로 상황을 관찰하고 판단하고 행동하는 자율 에이전트 루프에는 소비자용 챗봇이 제공할 수 없는 속도가 필요하다. 초당 68토큰으로는 이런 작업에 답답한 병목이 생긴다. 초당 1,000토큰이면 표준 클라우드 인프라에서도 실현 가능해진다.

일상적인 코딩 작업에서도 속도는 개발자의 작업 감각을 바꾼다. 이전에는 개발자들이 추론이 끝날 때까지 화면을 바라보며 기다렸다. 출력 속도가 초당 1,000토큰에 근접하거나 이를 넘어설 정도가 되면 대기 시간이 사실상 사라진다. 요청하고 기다리는 상호작용에서 AI 파트너와의 진정한 실시간 협업으로 전환된다. 환자 데이터를 신속하게 분석해야 하는 의료 애플리케이션과 실시간 시장 정보를 처리하는 투자 플랫폼 모두 이 수준의 반응성에서 실질적인 가치를 얻을 수 있다.

이용 방법, 가격, 오픈소스 공개

샤오미는 이 기술을 잠긴 문 뒤에 가둬두지 않았다. 회사는 2026년 6월 9일부터 23일까지 제한된 API 체험을 제공한다. 신청을 통해 이용할 수 있지만 승인이 보장되지는 않는다. 구체적인 사업 수요가 있는 기업 사용자와 전문 개발자에게 우선권이 주어진다. 고속 추론 자원이 제한돼 계정당 하루 최대 10회까지 대기열에 등록할 수 있으며, 세션당 이용 시간은 30분으로 제한된다. 5분 넘게 유휴 상태인 세션은 자동으로 종료된다.

가격은 프리미엄급 속도를 반영한다. UltraSpeed의 이용료는 표준 MiMo-V2.5-Pro 요금의 3배지만 생성 속도는 약 10배다. 참고로 표준 MiMo-V2.5-Pro도 이미 Claude Opus보다 훨씬 저렴하다. 입력 토큰 100만 개당 약 0.43달러, 출력 토큰 100만 개당 0.87달러를 받는 반면, Opus는 각각 5달러와 25달러다. 요금이 세 배로 올라가더라도 샤오미의 가속 서비스는 많은 경쟁 최첨단 모델보다 훨씬 저렴하다.

기술을 직접 시험하고 싶은 개발자를 위해 샤오미는 기반 모델인 MiMo-V2.5-Pro-FP4-DFlash 체크포인트를 Hugging Face에 오픈소스로 공개했다. TileRT도 일부 모듈을 GitHub에 공개했다. 이를 통해 전 세계 연구 커뮤니티가 벤치마크를 검증하고 아키텍처를 실험하며, 다른 모델에 적용할 가능성을 살펴볼 수 있다. 독립적인 제3자 검증 결과는 아직 널리 공개되지 않았다. 앞으로 몇 주 동안 이뤄질 오픈소스 공개물에 대한 커뮤니티 테스트가 실제 검증의 장이 될 전망이다.

AI 강자로 조용히 부상한 샤오미

대부분 소비자에게 샤오미는 저렴한 전자제품을 판매하는 브랜드다. 회사는 전 세계 시장에서 스마트폰과 전동 킥보드, 공기청정기를 수백만 대 판매해 왔다. 하지만 이런 소비자 브랜드 이미지 뒤에서는 인공지능 부문이 꾸준히 성장해 왔고, 지금까지 업계 대부분은 이를 주목하지 않았다.

MiMo-V2.5-Pro는 4월 출시 당시 이미 대부분의 코딩 벤치마크에서 Claude Opus와 대등한 성능을 보였다. UltraSpeed는 새 모델이나 성능을 낮춘 모델을 선보이는 것이 아니다. 최상위권에서 경쟁하던 바로 그 최첨단 지능의 작동 속도를 높인 것이다. 스마트폰 브랜드가 전용 연구소에 필적하는 AI 역량을 구축하면서도 가격은 한 자릿수 배가량 낮게 책정한 셈이다.

속도 주장이 독립적인 검증을 거쳐도 유효하다면, 샤오미는 세레브라스와 Groq 같은 기업이 맞춤형 실리콘에 투자한 수억 달러 없이도 놀라운 성과를 거둔 셈이다. 범용 하드웨어에서의 소프트웨어 최적화가 동급 최고 성능을 낼 수 있음을 보여준 것이다. 이는 AI 역량이 어디에서 비롯되는지, 또 누가 최첨단 경쟁에 참여할 수 있는지에 대한 기존 인식을 바꿀 수 있다. 베이징의 한 소비자 전자제품 대기업이 맞춤형 실리콘 대신 표준 GPU를 들고 AI 인프라 혁신의 최상위권에 합류했다.

핵심 요약

• 샤오미의 MiMo-V2.5-Pro-UltraSpeed는 맞춤형 실리콘 없이 표준 범용 GPU 8개만으로 매개변수가 1조 개인 모델에서 초당 1,000토큰 이상을 생성한다.
• GPT-5.5와 Claude Opus보다 약 15배 빠르며, FP4 양자화와 DFlash 추측 디코딩, TileRT 추론 엔진을 통해 이 속도를 구현했다.
• 제한된 API 체험은 2026년 6월 9일부터 23일까지 진행된다. 이용료는 표준 MiMo 요금의 3배로 생성 속도는 약 10배이며, 기업과 전문 개발자에게 우선권이 주어진다.
• 샤오미는 FP4-DFlash 체크포인트를 Hugging Face에 오픈소스로 공개해 커뮤니티의 검증과 기술 적용을 가능하게 했다.
• 독립 검증을 거쳐 성과가 확인된다면, 표준 클라우드 하드웨어의 소프트웨어 최적화가 전문 AI 하드웨어 기업의 고가 맞춤형 칩 솔루션보다 뛰어난 성능을 낼 수 있음을 시사한다.