50개 과제 테스트에서 8개 더 완료
AI 교육자이자 개발자이며 LobeHub 에이전트 클라이언트의 유지관리자인 MaxForAI가 내부 벤치마크를 실시한 결과, DeepSeek의 현행 V4 Pro 모델은 50개 과제 중 32개를 완료했다. 이전 버전인 V4 Pro-0813은 24개를 완료했다. 2026년 11월 8일자 보도에 소개된 결과에 따르면, 새 모델의 완료율은 48%에서 64%로 상승했다.
목차
가장 주목할 만한 개선은 일관성이었다. 과제를 한 번이라도 완료할 수 있는지를 기준으로 보면 두 버전의 성능은 비슷했다. 차이는 연속으로 세 차례 성공적으로 완료해야 하는 테스트에서 더 크게 나타났다. 이는 작업을 안정적으로 수행해야 하는 소프트웨어에 요구되는 까다로운 평가 기준이다.
이번 결과로 DeepSeek가 기존 서비스를 통해 V4.1 Pro를 점진적으로 시험하고 있다는 추측이 확산됐다. 모델의 정체와 출시 일정은 확인되지 않았으며, 벤치마크 결과는 현행 V4 Pro라는 이름으로 발표됐다.
테스트 관련 논의는 11월 7일 발생한 부분적인 서비스 중단 이후 이어졌다. 일주일 안에 보고된 두 번째 장애였다. DeepSeek는 수정 조치를 적용했으며 결과를 모니터링하고 있다고 밝혔다. 따라서 고객에게 당장 중요한 사안은 과제 완료 성능 개선과 안정적인 서비스 접속이라는 두 가지다.
LobeBench에서 무엇이 달라졌나?
MaxForAI는 내부 테스트 모음인 LobeBench를 사용해 현행 V4 Pro와 V4 Pro-0813을 비교했다. 보고된 순위에서 이전 버전은 13위에 올랐다. 새 버전은 해당 비교에서 중국 모델 가운데 1위를 차지했다.
점수는 16%포인트 상승했고, 난도가 높은 과제 8개를 추가로 성공적으로 완료했다. 이전 완료 과제 수인 24개와 비교하면 32개로 늘어난 것은 성공적으로 수행한 과제가 약 3분의 1 증가한 셈이다. 두 계산은 같은 결과를 서로 다른 관점에서 나타낸다. 테스트 완료 비율이 높아졌고 완료한 과제 수도 늘었다.
LobeBench가 여러 차례 연속으로 완료할 것을 요구한다는 점은 이번 결과가 주목받은 이유를 설명해 준다. 한 번은 성공하지만 이후 시도에서 실패하는 모델은 일상 업무에 쓰기 어려울 수 있다. AI 시스템이 소프트웨어를 통해 과제를 수행하도록 하는 에이전트 클라이언트에는 가끔 뛰어난 답변을 내놓는 능력뿐 아니라 안정적인 실행 능력도 필요하다.
이번에 보고된 비교는 과제 50개와 내부 순위를 중심으로 한다. 전체 과제 목록, 평가 규칙, 모델 설정, 경쟁 시스템의 점수 등 결과를 재현하는 데 필요한 세부 정보는 결과 설명과 함께 공개되지 않았다.
연속 성공이 중요한 이유
AI 모델은 같은 요청에도 서로 다른 답변을 생성할 수 있다. 여러 단계로 이뤄진 과제에서는 초기에 발생한 실수가 이후 과정 전체에 영향을 줄 수도 있다. 연속 세 차례 성공을 요구하면 단 한 번의 성공을 집계하는 것보다 안정적인 동작에 더 큰 비중을 두게 된다.
MaxForAI의 비교에서 두 버전은 한 번이라도 성공하면 점수를 받을 수 있는 기준에서는 차이가 거의 없었던 것으로 알려졌다. 연속 성공 기준을 적용하자 격차가 벌어졌다. 이는 이전 버전으로는 끝내지 못했던 과제를 새로 해결하는 능력보다 신뢰성이 핵심적인 개선점이라는 뜻이다.
에이전트를 이용해 업무를 처리하는 사람에게 이 차이는 실용적인 의미가 있다. 실패가 반복되면 재시도와 확인 작업이 늘고 사람의 개입도 더 많이 필요할 수 있다. 이전 버전이 간혹 성공적으로 답했을 때와 결과가 비슷하더라도, 같은 과제를 꾸준히 완료하는 모델이 더 유용할 수 있다.
업데이트 가능성을 둘러싸고 온라인에 퍼진 다른 비공식 시연에는 애니메이션 렌더링과 가마우지가 자전거를 타는 이미지도 포함됐다. LobeBench는 특정 이전 버전과 수치로 비교한 결과를 제시해 관심을 반복 가능한 과제 수행 성능으로 돌렸다.
서비스 장애 당시 무슨 일이 있었나?
당시 소개된 회사 상태 정보에 따르면 DeepSeek의 11월 7일 서비스 중단은 오후 3시 11분에 시작됐다. 영향을 받은 서비스는 채팅, V4 Pro API, V4.1 Flash API였다. API는 다른 애플리케이션이 DeepSeek에 자동으로 요청을 보낼 수 있도록 하는 연결 통로다.
사용자들은 채팅 기능에 접속하지 못하고 서버가 혼잡하다는 메시지를 받았다. 이후 DeepSeek는 수정 조치를 적용했으며 결과를 모니터링하고 있다고 밝혔다. 후속 테스트에서는 서비스가 정상적으로 작동한다고 전했다.
비슷한 장애는 11월 3일 오후 4시 58분에도 발생해 같은 세 서비스에 영향을 줬다. 당시 수정 조치가 발표된 뒤에도 서비스 상태는 성능 저하로 표시돼 있었다. 접속이 복구되는 시점과 속도가 정상화되는 시점은 서로 다를 수 있다.
두 차례의 서비스 중단은 모델을 둘러싼 추측이 제기된 배경이 됐다. 당시 소개된 상태 정보에는 11월 7일 장애의 원인이 명시되지 않아, 트래픽 증가나 모델 배포와 관련이 있는지 고객들은 확인된 설명을 듣지 못했다.
Pro 출시 기대를 키운 일정
V4.1 Pro에 대한 관심은 최근 테스트 결과보다 앞서 시작됐다. 9월 출시 계획, 10월 서비스 변경, 11월 벤치마크 비교가 각각 기대를 키웠다. 다만 이들은 DeepSeek 제품군의 서로 다른 부분에 관한 내용이다.
- 2026년 9월 10일: V4.1 Flash가 출시됐다. V4.1 Pro가 나올 때까지 deepseek-v4-pro 요청을 Flash로 보내려던 계획은 개발자들의 반발에 따라 철회됐다.
- 10월 17일: 10월 서비스 변경 관련 보도에 따르면 V4.1 Flash-1017 버전이 출시됐다.
- 10월 27일: 관측자들은 오후 6시 21분께 시작된 모델 지문 변경을 감지했다. 오후 7시 7분께 세 가지 모델 옵션에서 관측된 지문은 하나로 수렴했다.
- 11월 3일: 오후 4시 58분에 시작된 부분적인 서비스 중단으로 채팅과 두 API 서비스에 장애가 발생했다.
- 11월 7일: 오후 3시 11분에 또 다른 부분적인 서비스 중단이 시작됐다. 이후 DeepSeek는 수정 조치를 발표했다.
- 11월 8일: MaxForAI의 LobeBench 비교 결과를 다룬 보도에서 완료 과제가 24개에서 32개로 늘었다고 전했다.
9월의 라우팅 계획은 애플리케이션의 모델명이 작동 방식에 관한 전제의 일부가 될 수 있어 개발자들에게 중요하다. 해당 이름 뒤의 모델이 바뀌면 응답과 비용, 성능이 달라질 수 있다. 계획이 철회된 뒤에도 V4 Pro는 요금 변동 없이 계속 제공됐다.
10월 모델 지문에서 드러난 점
10월 27일 관측 내용은 요청을 처리하는 시스템의 변화를 추적하는 데 도움이 되는 식별자인 모델 지문에 관한 것이었다. 이전 지문은 V4.1 Flash-1017과 연결돼 있었다. 새 식별자는 그 뒤의 모델을 알아낼 만큼 충분히 해석되지 않았다.
당시 관측된 변화는 Pro보다 Flash에 관한 것으로 보였다. 가능한 설명으로는 저장된 모델 버전인 체크포인트가 달라졌거나 같은 모델이 새로 배포됐다는 추정이 나왔다. 새 식별자만으로는 어느 쪽인지 판단할 수 없었다.
이 변화가 나타났을 당시 V4.1 Flash-1017은 출시된 지 겨우 10일이었다. Pro에 대한 기대가 이미 높았던 만큼 Flash와 관련된 변화도 관심을 끌었다. 11월 LobeBench 결과는 V4 Pro라는 이름이 붙은 두 버전을 비교했기 때문에 Pro와 더 직접적으로 관련이 있다.
DeepSeek의 이전 출시 일정도 기대에 영향을 미쳤다. 보도에 따르면 V4 세대는 Flash와 Pro 출시 간격이 약 2주였다. V4.1에 대한 후속 논의가 나왔을 때는 Flash 출시 후 대기 기간이 7주를 넘겼다. 따라서 이번 출시 주기는 이전과 다른 일정을 따랐다.
개발자가 현재 비교할 수 있는 점
보고된 가격에 따르면 V4 Pro와 V4.1 Flash는 비용 수준이 다르다. V4 Pro의 입력 요금은 토큰 100만 개당 0.66달러였고, 피크 시간대가 아닌 때의 출력 요금은 토큰 100만 개당 1.98달러였다. Flash의 입력 및 출력 요금은 각각 토큰 100만 개당 0.15달러와 0.60달러로 알려졌다.
토큰은 모델이 처리하는 텍스트의 작은 단위로, 단어 전체나 단어의 일부에 해당한다. 공시된 요금을 기준으로 Pro의 입력 비용은 Flash보다 4.4배 높다. 피크 시간대가 아닌 때 적용되는 Pro의 출력 요금은 공시된 Flash 출력 요금의 3.3배다. 실제 비용은 입력과 출력의 양, 이용 시간, 적용되는 캐싱에 따라 달라진다.
Flash의 캐시 적중 요금은 토큰 100만 개당 0.003달러로 알려졌다. 캐시는 서비스가 이전에 처리한 입력을 재사용하도록 한다. 공시된 기능에는 이미지를 모델에 직접 전달할 수 있는 기본 이미지 입력도 포함됐다.
V4 Pro의 보고된 용량은 컨텍스트 창 100만 토큰, 최대 출력 38만 4,000토큰이다. 컨텍스트 창은 모델이 한 번의 요청에서 고려할 수 있는 정보의 양을 말한다. 이 사양은 향후 Pro 출시 제품과 비교할 때 고객이 기준으로 삼을 기존 제품의 성능을 보여준다.
업데이트가 공식화되려면 무엇이 필요한가?
V4.1 Pro라는 이름을 명시한 출시 발표가 나오면 사용자는 평가할 제품을 분명히 알 수 있다. 이에 맞춘 API 문서와 모델 저장소, 가격 업데이트가 공개되면 접근 방법과 비용, 지원 기능 등 실용적인 세부 사항도 확인할 수 있다.
DeepSeek의 공개 출시 정보를 검토한 내용에 따르면, 가장 최근에 관련된 저장소는 2026년 9월 10일 생성된 DeepSeek-V4.1-Flash다. 또한 Flash와 함께 공개된 51페이지 분량의 기술 보고서에는 V4.1-Pro나 V4.1 Pro라는 이름이 없었다고 밝혔다. 해당 검토에서 설명한 공개 제품 정보는 여전히 Flash와 V4 Pro를 중심으로 했다.
11월 벤치마크 결과를 둘러싼 낙관적인 추측은 다음 주 출시 가능성을 제기했다. 그러나 당시 소개된 출시 정보에는 DeepSeek가 공개한 구체적인 날짜나 출시 기간, 분기가 없었다. 현재 확인된 구체적인 진전은 현행 V4 Pro라는 이름으로 보고된 연속 과제 완료 성능의 향상이다.
핵심 내용
- V4 Pro는 LobeBench 과제 50개 중 32개를 완료했다. V4 Pro-0813은 24개를 완료했다.
- 점수는 48%에서 64%로 16%포인트 상승했다.
- 주요 개선은 과제를 연속 세 차례 성공적으로 완료해야 하는 기준에서 나타났다.
- DeepSeek는 11월 3일과 11월 7일 부분적인 서비스 중단을 겪었으며, 채팅과 두 API 서비스가 영향을 받았다.
- 10월 모델 지문 변경은 Flash와 관련된 것으로 보인 반면, 11월 벤치마크 비교는 Pro에 관한 내용이었다.
- V4.1 Pro의 정체와 출시일, 가격은 아직 확인되지 않았다.






