개발자를 위한 AI 플레이어
HoYoverse의 혼카이 AI 연구팀이 화면을 보고 키보드와 마우스 명령을 보내 게임을 플레이하는 인공지능 시스템 ‘게이머(Gamer)’를 공개했다. 50시간 동안 진행된 것으로 보고된 테스트에서 게이머는 혼카이: 스타 레일을 95%의 시간 동안 자율적으로 조작했다. 이는 올바른 수를 고르는 것을 넘어, 긴 모험을 이어가는 동안 무엇을 해야 하는지 기억해야 하는 과제다.
목차
miHoYo 연구팀은 2026년 11월 13일 프로젝트 페이지와 연구 논문을 공개했다. 시연 영상에서 게이머는 퀘스트를 수행하고, 캐릭터와 대화하고, 적과 보스에 맞서 싸우며, 퍼즐을 풀고, 다섯 가지 종류의 미니게임을 완료한다. 게임 내부의 숨겨진 정보가 아니라 스크린샷을 입력으로 사용한다.
주요 대상은 개발자와 연구자다. HoYoverse는 게이머가 게임 테스트와 문제 발견, 반복적인 개발 업무 감소에 도움을 줄 수 있는 도구라고 설명한다. 장기적으로는 로봇용 인공지능 연구로도 확장할 계획이다. 보고된 성능 테스트에는 엔비디아 H200 그래픽 프로세서 등 강력한 데이터센터 하드웨어가 사용됐다.
따라서 플레이어에게 이번 개발은 새로운 자동 플레이 기능이 아니라 연구 프로젝트에 해당한다. 개발자에게는 활용 가능성이 더욱 구체적이다. 사람이 사용하는 것과 동일한 화면 인터페이스를 통해 퀘스트를 수행하고, 대화와 이동, 전투, 퍼즐을 계속 진행할 수 있는 가상 테스터다.
게이머는 스크린샷을 어떻게 행동으로 바꾸나?
게이머는 비전·언어·행동 모델이다. 쉽게 말해 화면을 보고, 지시를 이해하고, 행동을 생성하는 세 가지 능력을 연결한다. 논문 제목은 ‘게이머: 장기 실시간 게임 에이전트를 위한 범용 비전·언어·행동 기반 모델’이다. 긴 제목은 한 번의 단일 행동을 완료하는 것이 아니라, 오랜 시간 게임을 제어한다는 핵심 목표를 설명한다.
시스템은 초당 5회 게임 화면을 샘플링하고, 초당 30회 갱신에 해당하는 키보드와 마우스 지시를 생성한다. 한 번의 행동 결정은 약 200밀리초를 다루며, 이는 각각 약 33밀리초인 6개 단계로 나뉜다. 이를 통해 새로운 시각 정보를 관찰하기 전까지 짧은 입력 시퀀스를 계획할 수 있다.
사람은 목적지 표시를 흘끗 보고 이동 키를 누른 채 카메라를 조정할 수 있다. 게이머는 화면 이미지와 입력 명령 사이의 유사한 관계를 학습한다. 게임 내부 상태를 제공하는 특별한 인터페이스에 의존하지 않고 캐릭터를 움직이고, 카메라를 돌리고, 메뉴를 탐색하며, 사물과 상호작용할 수 있다.
공개된 행동 형식에는 대소문자 규칙이 지정된 키 토큰 74개가 포함된다. 유효하지 않은 출력은 행동 없음으로 처리된다. 이러한 규칙이 중요한 이유는 AI 시스템의 전반적인 추론이 완벽하지 않더라도 소프트웨어가 명확히 해석할 수 있는 명령을 보내야 하기 때문이다.
퀘스트를 기억하도록 시스템 훈련하기
훈련은 여러 게임에서 기록한 키보드와 마우스 활동 1만 시간 이상으로 시작한다. 이 기록은 화면에 나타난 내용과 실제 행동을 연결해, 게이머가 더 긴 목표를 완수하기 전에 기본적인 조작 능력을 익히도록 돕는다.
연구진은 결정의 설명과 이전 활동의 요약을 포함한 지시 학습도 추가했다. 보고된 훈련 자료에는 추론 주석 약 120만 건과 메모리 주석 22만3,000건이 포함된다. 이를 통해 모델은 다음 단계를 선택하고 유용한 정보를 보존하는 방법을 학습한다.
여러 장소를 오가야 하는 퀘스트에서는 기억력이 필수적이다. 시스템은 이미 대화한 캐릭터와 실패한 경로, 아직 완료하지 않은 목표를 기억해야 할 수 있다. 게이머는 현재 작업 맥락이 가득 차도 이어서 진행할 수 있도록 간결한 요약을 만든다.
연구팀은 ‘희소 추론’이라고 부르는 방식도 사용한다. 이동할 때마다 긴 설명을 생성하는 대신, 계획이 유효한 동안에는 행동을 계속하고 상황이 바뀌면 추론에 더 많은 노력을 들일 수 있다. 이를 통해 숙고에 기반한 계획과 게임에 필요한 빠른 입력을 연결한다.
퀘스트 결과가 실제로 측정하는 것
연구진은 혼카이: 스타 레일의 사이드 퀘스트 두 가지인 ‘기회는 도둑을 만든다(1부)’와 ‘야수의 흉포함’을 대상으로 게이머를 평가했다. 두 퀘스트 모두 이동, 캐릭터와의 대화, 적과의 전투 등 여러 활동이 포함되며, 퀘스트 테스트에는 간단한 퍼즐도 들어갔다.
초기 추가 학습 단계 이후 보고된 퀘스트 목표 완료 점수는 각각 34.4%와 47.9%였다. 강화 학습을 거친 뒤에는 80.0%와 83.6%로 상승했다. 첫 번째 퀘스트는 45.6%포인트, 두 번째 퀘스트는 35.7%포인트 올랐다.
강화 학습은 시도 결과에 점수를 부여해 성능을 개선하는 방식이다. 연구팀은 메모리로 이어지는 플레이 구간에서 보상을 행동과 연결하기 위해 ‘시간 인식 GRPO’라는 방법을 사용했다. 몇 분 뒤 과제를 완료하는 데 어떤 앞선 결정이 도움이 됐는지 학습하는 것과 유사한 문제다.
50시간 테스트에서 자율 제어율이 95%였다는 결과는 게이머가 작동 시간 중 얼마나 스스로 제어했는지를 측정한다. 퀘스트 목표 점수는 특정 목표에 대한 진행도를 측정한다. 연구팀은 자동화 테스트에서 메인 스토리라인 과제 성공률도 95% 이상이라고 밝혔는데, 이는 범위가 다른 추가 지표다. 공개된 결과는 개발자 측에서 나온 것으로, 독립적인 재현 결과는 아직 보고되지 않았다.
퍼즐에서 드러난 들쭉날쭉한 성능
게이머의 미니게임 결과는 인상적인 시연과 상당한 약점이 공존할 수 있음을 보여준다. 미니게임 7종에 걸친 이전에 접하지 않은 과제 40개에서 강화 학습을 거친 버전의 평균 성공률은 49.7%였다. 이전 훈련 단계의 점수는 15.0%로, 34.7%포인트 개선됐다.
가장 높은 점수와 낮은 점수 사이에는 큰 차이가 있었다. 게이머는 ‘항해 나침반’ 퍼즐에서 95.8%, ‘주판 회로’에서 22.2%를 기록했다. 차이는 73.6%포인트로, 퍼즐 종류에 따라 성능이 크게 달라짐을 보여준다.
시연 영상에서는 다섯 종류의 미니게임을 성공적으로 플레이하는 모습이 나오지만, 평가는 일곱 종류를 대상으로 한다. 더 폭넓은 테스트를 통해 개발자는 게이머의 역량과 여전히 어려움을 겪는 과제를 자세히 파악할 수 있다.
테스트팀 입장에서는 이런 차이가 실무적으로 중요하다. 한 과제를 안정적으로 수행하는 에이전트도 다른 과제에서는 더 면밀한 감독이 필요할 수 있다. 이번 결과는 자동화 테스트로 업무를 줄일 수 있는 부분과 사람이 결과를 주의 깊게 확인해야 할 부분을 판단하는 근거가 된다.
더 빠른 판단에 고성능 하드웨어가 필요한 이유
연구팀은 판단을 요청한 뒤 결과를 받기까지 걸리는 시간을 줄이기 위해 ‘스트리밍-vLLM’이라는 추론 엔진을 개발했다. 추론은 훈련된 AI 모델이 새로운 정보를 처리해 답이나 행동을 내놓는 단계다.
보고된 엔비디아 H200 환경에서 이 엔진은 요청부터 응답까지의 지연 시간을 1,306밀리초에서 65.12밀리초로 줄여 약 20배 속도를 높였다. 간단히 말해 대기 시간이 약 1.3초에서 약 0.065초로 감소했다. AI가 판단하는 동안에도 게임이 계속 진행되기 때문에 이는 중요하다.
보고된 구성에서는 Qwen3.5-35B-A3B 혼합 전문가 모델을 사용했으며, 연산을 4개 장치에 분산했다. 혼합 전문가 모델은 작업에 따라 신경망의 특정 부분을 활성화한다. 속도 수치를 이해하려면 하드웨어와 소프트웨어 구성을 고려해야 한다. 일반 가정용 컴퓨터에서의 성능이 아니라 연구 환경을 설명하는 수치이기 때문이다.
스트리밍-vLLM은 반복 연산을 줄이고 저장된 정보를 재사용하며, 이후 출력이 계속 생성되는 동안에도 첫 번째 유효한 행동을 전송할 수 있다. 더 빠른 판단은 훈련에도 도움이 된다. 대기 시간이 짧은 시스템은 같은 시간에 더 많은 상호작용을 시도할 수 있다.
공개된 것은 무엇이며, 무엇이 아직 남아 있나?
공개 자료에는 프로젝트 페이지와 논문, 아파치-2.0 라이선스에 따라 공개된 코드가 담긴 깃허브 저장소가 포함된다. 저장소에는 프롬프트와 행동 형식, 평가 결과가 설명돼 있다. 훈련된 모델을 실행하는 데 필요한 학습된 수치 설정인 모델 가중치는 코드 공개에 포함되지 않았다.
연구팀은 데이터 보안 문제를 이유로 혼카이: 스타 레일의 훈련 데이터와 해당 게임 데이터를 활용해 훈련하거나 조정한 모델 가중치를 공개하지 않았다. 공개 파일은 프로젝트의 초기 범용 훈련 연구와 관련된 자료다.
스트리밍-vLLM 구현은 출시 예정으로 표시돼 있다. 엔진 출시일은 공개되지 않았다. 훈련된 가중치가 없고 높은 사양의 하드웨어가 필요한 점까지 고려하면, 연구 내용을 읽는 것과 시연된 시스템을 재현하는 것 사이에는 상당한 간극이 남는다.
공개 일정은 다음과 같다.
- 2026년 11월 13일: 혼카이 AI 연구팀이 게이머 프로젝트 페이지와 논문을 공개했다.
- 2026년 11월 16일과 17일: 공개 보도를 통해 훈련 방식과 시연, 성능 결과가 상세히 소개됐다.
- 당시 기준: 추론 엔진은 출시 예정으로 표시됐으며, 공개 일정은 정해지지 않았다.
가상 플레이어가 게임 테스트를 돕는 방법
HoYoverse는 게임 테스트를 핵심 활용 분야로 꼽는다. 퀘스트에는 캐릭터에게 다가가 대화를 시작하고, 다른 지역으로 이동하고, 전투에서 승리하고, 아이템을 획득하는 등 여러 단계가 연결될 수 있다. 어느 단계에서든 문제가 발생하면 플레이어의 진행이 중단될 수 있다.
게이머를 활용하면 개발자는 에이전트가 눈에 보이는 상호작용을 반복 수행하도록 할 수 있다. 화면을 탐색하고 읽으며 일반적인 조작 방법을 사용하는 능력은 목표와 메뉴가 의도한 대로 작동하는지 확인하는 데 도움이 될 수 있다. 행동 순서를 반복하면 개발자가 문제를 수정하기 전에 재현하는 데도 유용하다.
연구팀은 접근성 지원과 사람·컴퓨터 상호작용 연구도 잠재적 활용 분야로 제시했다. 게이머를 부정행위, 무단 접근, 보안 취약점 악용, 이용자 피해 또는 공정한 플레이 훼손에 사용하는 것에는 반대한다.
같은 게임 자동 조작 능력이 서로 매우 다른 용도로 쓰일 수 있다는 점에서 이러한 제한은 중요하다. 명시된 개발 목표는 승인된 연구와 테스트이며, 실제로 활용할 경우 사람의 감독과 게임 규칙에 따라 운영 방식을 정할 예정이다.
혼카이: 스타 레일을 넘어서는 연구
HoYoverse는 3차원 게임 세계가 장차 로봇공학에 활용될 연구 환경으로도 유용하다고 본다. 게임에서는 관찰과 선택, 결과가 연이어 이어진다. 에이전트가 장애물을 보고 경로를 선택해 행동한 뒤 달라진 점을 확인하는 식이다.
게이머는 이런 문제의 여러 요소를 하나의 시스템으로 결합한다. 화면 관찰은 인식을 제공하고, 지시와 요약은 계획 수립을 지원하며, 키보드와 마우스 출력은 제어 기능을 맡는다. 여러 게임을 넘나드는 훈련은 단일 퀘스트나 게임을 넘어 이런 기술을 활용하는 것을 목표로 한다.
실제 로봇은 현실의 센서와 이동 제약, 안전 요건 등 추가 과제에 직면한다. 게이머가 당장 기여하는 부분은 연구자가 과제를 반복하고 결과를 측정할 수 있는 가상 환경에서 지속적인 행동과 기억을 연구하는 방법이다.
프로젝트를 가장 잘 이해하려면 여러 결과를 함께 살펴봐야 한다. 강화 학습 후 크게 향상된 퀘스트 수행 능력, 고르지 않은 퍼즐 성공률, 고가의 하드웨어에서 대폭 줄어든 판단 지연 시간이 그것이다. 이러한 세부 내용은 개발자가 왜 이런 테스터를 원할 수 있는지, 그리고 일상적인 도구로 자리 잡기까지 추가 연구가 필요한 이유를 설명한다.
핵심 요점
- HoYoverse의 게이머는 스크린샷과 키보드·마우스 명령을 통해 게임을 조작한다.
- 보고된 50시간 테스트에서 전체 작동 시간의 95% 동안 자율 제어에 성공했다.
- 강화 학습 후 두 사이드 퀘스트의 목표 점수는 80.0%와 83.6%에 도달했다.
- 미니게임 과제 40개의 평균 성공률은 49.7%였으며, 퍼즐 종류에 따라 큰 차이가 있었다.
- 보고된 H200 구성에서 판단 지연 시간은 1,306밀리초에서 65.12밀리초로 줄었다.
- 프로젝트는 연구와 게임 테스트를 목표로 한다. 훈련된 모델 가중치는 공개 자료에 포함되지 않았으며, 추론 엔진은 출시 예정으로 표시됐다.






