AI 사용 늘고 가격 오르며 첫 응답까지 대기 시간도 길어져
중국의 인공지능 토큰 일일 소비량은 2026년 6월 약 500조 개에 달해 2025년 12월보다 거의 4배 늘었다고 중국정보통신연구원(CAICT)이 밝혔다. 수요 증가와 함께 가격도 올랐다. 비교를 위해 같은 기준으로 환산한 국내 평균 가격은 2025년 하반기 6.8위안에서 2026년 13.46위안으로 약 98% 상승했다.
목차
10월 23일 발표된 CAICT의 「대형 모델 토큰 서비스 성능 모니터링 보고서(2026)」에는 이용자가 체감할 수 있는 변화도 담겼다. 국내 모델의 텍스트 생성 속도는 8월 기준 2025년 평균의 약 2배로 빨라졌지만, 첫 토큰이 나오기까지 걸리는 시간은 길어졌다. 답변이 시작된 뒤에는 더 빨리 생성됐지만, 시작 전 대기 시간은 늘었다.
이번 조사 결과는 2년간의 가격 경쟁 이후 회복세를 보이는 시장과 빠르게 늘어나는 소비량, 훨씬 더 많은 정보를 처리할 수 있게 된 서비스를 함께 보여준다. 또한 AI 서비스를 고를 때 모델 이름만 확인해서는 안 되는 이유도 드러난다. 같은 모델을 운영하는 플랫폼 사이에서도 결과에 상당한 차이가 있었다.
중국에서 이처럼 대규모로 소비되는 것
토큰은 AI 모델이 처리하거나 생성하는 작은 정보 단위다. 텍스트에서는 단어 하나나 단어의 일부, 문장 부호가 토큰 하나가 될 수 있다. 토큰은 모델이 처리하는 작업량을 측정하는 공통 단위지만, 토큰과 단어의 관계는 언어와 시스템에 따라 다르다.
따라서 CAICT가 제시한 하루 약 500조 개라는 수치는 모델 활동량을 나타낸다. 2025년 12월 이후 거의 4배 늘어난 것은 약 300% 성장에 해당하며, 6월 수치가 이전 수준의 거의 4배라는 뜻이다.
현재 더 많은 사업자가 모델 서비스형(MaaS) 플랫폼을 통해 접근 서비스를 판매한다. 고객은 퍼블릭 클라우드 애플리케이션 프로그래밍 인터페이스(API)를 통해 요청을 보낸다. API는 한 소프트웨어가 다른 소프트웨어에 작업을 요청할 수 있도록 연결하는 방식이다. 기업은 이 경로를 이용해 기반 모델을 직접 운영하지 않고도 제품에 AI를 적용할 수 있다.
모니터링 조사 내용
CAICT 인공지능연구원은 공업정보화부의 대형 모델 및 하드웨어·소프트웨어 평가 중점실험실, 인공지능산업연맹과 함께 보고서를 발표했다. 모니터링 기간은 2026년 1월부터 8월까지다.
평가 항목은 요청 성공률, 출력 속도, 출력 시작 전 대기 시간, 안정성, 가격, 컨텍스트 창이다. 공식 모델 플랫폼과 DeepSeek, Qwen, GLM, Kimi 등 4개 오픈소스 모델 계열을 제공하는 제3자 서비스를 비교했다.
CAICT는 이용자가 토큰 서비스 성능을 쉽게 판단하기 어렵고 사업자를 선택하는 데도 어려움을 겪는다고 밝혔다. 이번 측정은 단일 가격이나 속도 수치만으로는 드러나지 않는 서비스의 여러 측면을 구분해 이런 실질적인 문제를 다룬다.
주요 일정은 다음과 같다.
- 2025년 12월: 이후 국내 토큰 일일 소비량이 거의 4배 증가한 것을 비교하는 기준 시점.
- 2026년 1~8월: 보고서의 모니터링 기간.
- 2026년 5월: 4개 오픈소스 모델 계열의 새 버전이 모니터링에 반영됨.
- 2026년 6월: 국내 토큰 일일 소비량이 약 500조 개에 도달.
- 2026년 8월: 국내 출력 속도가 초당 평균 78.23토큰을 기록.
- 2026년 10월 23일: 보고서 발표.
2년간의 인하 뒤 가격 반등
국내 모델 서비스는 2년간의 가격 경쟁을 거친 뒤 2026년을 맞았다. 6.8위안에서 13.46위안으로 오른 것은 CAICT의 환산 가격 기준으로 6.66위안 상승한 것으로, 이전 평균의 거의 두 배다.
환산은 서로 다른 가격 책정 방식을 공통 기준으로 바꿔 비교할 수 있게 하는 것이다. 다만 이 위안화 수치의 기준이 되는 과금 단위는 명시되지 않아, 고객은 보고서의 평균 가격을 특정 요청의 비용으로 바로 환산하기 어렵다.
2026년에 출시된 중국 외 지역의 대표 모델은 같은 환산 기준으로 평균 약 117.8위안을 기록했다. 이는 국내 평균 13.46위안의 약 8.8배다. 이 비교는 모니터링 대상 집단을 기준으로 한 것으로, 고객에게 적용되는 실제 가격은 모델과 플랫폼마다 다르다.
생성이 시작되면 답변은 더 빨리 도착
국내 모델의 8월 출력 속도는 초당 평균 78.23토큰으로, 2025년 평균 38.25토큰보다 빨랐다. 약 105% 증가해 출력 속도가 두 배를 조금 넘었다.
처리량 또는 초당 토큰 수(TPS)라고 부르는 이 지표는 서비스가 답변을 얼마나 빠르게 생성하는지 나타낸다. 수치가 높으면 생성이 시작된 뒤 긴 답변을 전달하는 데 걸리는 시간을 줄일 수 있다.
중국 외 지역의 대표 모델은 8월 초당 평균 112.82토큰을 생성해 국내 수치보다 약 44% 높았다. 이들 모델의 출력 속도도 크게 올라 2025년 12월 초당 51.35토큰에서 약 120% 증가했다.
비교 기준 기간은 서로 다르다. 국내 수치는 2025년 전체 평균과 비교했고, 해외 수치는 12월과 비교했다. 두 계열 모두 출력 속도가 크게 개선됐으며, 모니터링 대상 해외 모델은 8월 평균에서도 더 높은 속도를 유지했다.
첫 응답까지 시간이 더 걸리는 이유
국내 모델은 8월 첫 토큰을 생성하기까지 평균 1.26초가 걸렸다. 2025년 평균 0.78초에서 0.48초 늘어난 것으로 약 62% 증가한 수치다.
이 대기 시간은 첫 토큰까지 걸리는 시간(TTFT)이라고 한다. 챗봇 이용자 입장에서는 요청을 제출한 뒤 답변이 시작될 때까지 기다리는 시간이다. 처리량은 그 대기 시간 이후의 생성 속도를 측정하므로, 한 지표는 개선되면서 다른 지표는 느려질 수 있다.
중국 외 지역의 대표 모델은 8월 평균 2.08초 만에 응답을 시작했다. 4월의 1.04초보다 길어진 수치다. 따라서 8월 기준 국내 모델은 평균적으로 0.82초 더 빨리 출력을 시작했지만, 이후 출력 속도는 더 느렸다.
CAICT는 초기 대기 시간이 늘어난 원인으로 대형화된 모델, 길어진 컨텍스트, 증가한 요청량이 동시에 작용한 점을 들었다. 모델이 클수록 더 많은 연산이 필요하고, 컨텍스트가 길수록 처리할 정보가 늘며, 트래픽이 많아질수록 서비스에 부담이 커진다.
한 번에 처리할 수 있는 정보량 크게 늘어
모니터링 대상 모델 가운데 47.8%는 100만 토큰의 컨텍스트 창을 지원했다. 20만 토큰 이상을 처리할 수 있는 모델은 95.7%로, 2025년 말보다 76%포인트 넘게 늘었다.
컨텍스트 창은 모델이 요청을 처리하는 동안 다룰 수 있는 정보량이다. 지시 사항과 이전 대화, 분석을 위해 제출한 문서 등이 포함될 수 있다. 창이 클수록 정보를 여러 요청으로 나누지 않고 한 번에 더 많이 입력할 수 있다.
수치는 모니터링 대상 모델 전반에 긴 컨텍스트가 얼마나 빠르게 확산했는지 보여준다. 거의 절반이 100만 토큰 용량을 제공했고, 20만 토큰 미만인 모델은 4.3%에 그쳤다. 20만 토큰 이상을 지원하는 비율이 76%포인트 넘게 증가했다는 것은 2025년 말에는 그 비율이 19.7% 미만이었다는 뜻이다.
긴 문서를 처리하는 기업의 경우 늘어난 용량 덕분에 하나의 작업에 더 많은 내용을 담을 수 있다. 또한 보고서가 대기 시간과 함께 처리 용량을 살펴본 이유도 설명해준다. 첫 응답이 화면에 나타나기 전에 모델이 훨씬 더 많은 정보를 처리할 수 있기 때문이다.
같은 모델도 플랫폼에 따라 성능 차이
DeepSeek, Qwen, GLM, Kimi 서비스는 사업자에 따라 처리량, 초기 응답 시간, 요청 성공률에 차이를 보였다. 같은 모델을 놓고 비교했을 때 플랫폼 간 출력 속도 격차는 거의 2배에 달했다.
일부 제3자 서비스는 공식 플랫폼보다 성능이 좋았다. CAICT는 추론 가속화와 최적화 전략, 비용 관리 방식의 차이를 원인으로 꼽았다. 추론은 학습을 마친 모델이 답변을 생성하는 컴퓨팅 과정으로, 사업자마다 이 작업을 구성하고 최적화하는 방식이 다를 수 있다.
버전 변경도 영향을 미쳤다. 8월 DeepSeek-V4-Pro의 처리량은 DeepSeek-V3.2의 두 배였다. 5월 업그레이드 이후 모니터링 대상 모델들은 대체로 대기 시간이 먼저 늘어난 뒤 사업자들이 최적화를 도입하면서 줄어들었다. 지연 시간은 점차 업그레이드 이전 수준에 가까워졌다.
따라서 고객은 서로 연관된 두 가지를 선택해야 한다. 어떤 모델을 쓸지, 그리고 어느 플랫폼에서 실행할지다. 보고서 결과는 사업자별 성능이 구체적인 선택 기준이 될 수 있음을 보여준다.
고객에게 이번 변화가 의미하는 것
AI 이용권을 구매하는 기업은 이제 국내 평균 가격 상승과 함께 빨라진 출력, 크게 늘어난 컨텍스트 창을 마주하게 됐다. 가장 유용한 비교 기준은 작업에 따라 달라진다. 대화형 채팅에서는 빠른 응답 시작이 중요하고, 긴 답변을 생성할 때는 지속적인 출력 속도가 더 큰 영향을 미친다.
문서 분석 서비스에는 큰 컨텍스트 창이 필요할 수 있고, 반복적으로 고객 요청을 처리하는 애플리케이션은 요청 성공률과 안정적인 성능도 중요하다. CAICT가 이 항목들을 모두 살펴본 이유는 각 요소가 사용자 경험의 서로 다른 부분에 영향을 미치기 때문이다.
종합하면 시장은 사용량과 성능이 확대되는 동시에 환산 가격 기준으로 더 비싸지고 있다. 국내 서비스는 모니터링 대상 해외 모델보다 가격 경쟁력이 상당히 높았고, 8월에는 평균적으로 더 빨리 응답을 시작했다. 해외 모델은 출력이 시작된 뒤 토큰을 더 빠르게 생성했다. 두 집단 모두에서 첫 토큰까지 대기 시간이 늘어난 것은 모델 대형화와 이용량 증가에 따른 부담을 보여준다.
핵심 내용
- 중국의 AI 토큰 일일 소비량은 2026년 6월 약 500조 개로, 2025년 12월보다 거의 4배 늘었다.
- 국내 환산 가격은 6.8위안에서 13.46위안으로 약 98% 상승했다.
- 국내 출력 속도는 8월 초당 평균 78.23토큰으로, 2025년 평균의 두 배를 넘었다.
- 국내 모델의 첫 토큰 대기 시간은 0.78초에서 1.26초로 늘었다.
- 모니터링 대상 모델의 95.7%가 20만 토큰 이상의 컨텍스트 창을 지원했다.
- 같은 모델도 플랫폼에 따라 출력 속도가 거의 2배 차이 났으며, 일부 제3자 사업자는 공식 서비스보다 성능이 좋았다.






