구글 딥마인드, 실시간 오디오·상호작용 캐릭터·더욱 현실적인 가상 세계 구현한 ‘지니 4’ 공개

이미지와 움직임, 소리로 반응하는 가상 세계

구글 딥마인드가 사운드와 음성 대화, 변화하는 물리적 환경을 갖춘 상호작용형 가상 세계를 생성하는 실험적 인공지능 모델 ‘지니 4’를 공개했다. 미국 현지시간 10월 27일 발표된 이 모델은 우선 소규모 신뢰할 수 있는 테스터에게 제공되며, 프로젝트 지니와 제미나이 API, 구글 AI 스튜디오를 통해 이용할 수 있도록 할 계획이다.

구글은 지니 4가 장면의 일관성을 최대 2분 동안 유지할 수 있다고 밝혔다. 이는 전작 지니 3에 대해 언급된 약 1분의 두 배다. 이 시간 동안 사용자는 환경을 이동하고 날씨를 바꾸거나 사람과 물체를 등장시킬 수 있으며, 캐릭터가 상황에 반응하는 소리도 들을 수 있다.

알파벳과 구글의 최고경영자 순다르 피차이는 연구 프리뷰를 발표하며 이 모델을 다음과 같이 설명했다.

지금까지 가장 현실적이고 상호작용성이 뛰어난 월드 모델

가장 큰 추가 기능은 네이티브 오디오다. 시뮬레이션 경험에 나중에 소리를 덧붙이는 대신, 소리까지 함께 생성한다는 뜻이다. 세계가 변하는 동안 바람과 파도, 배경 음악, 대화가 어우러질 수 있다. 구글은 사람의 움직임과 충돌, 공기역학 등 물리적 효과의 시뮬레이션도 개선했다고 밝혔다. 공기역학은 공기가 움직이는 물체에 미치는 영향을 말한다.

구글은 영화 기획과 게임 개발, 교육, 실제 환경에서 작동하기 전 로봇이나 AI 에이전트를 훈련하는 데 이 기술을 활용할 수 있다고 보고 있다. 당장 해결해야 할 한계도 분명하다. 장면은 짧은 시간만 지속되고, 물체가 예상치 못하게 바뀔 수 있으며, 장면 속 글자를 읽기 어려울 수 있다. 오디오 정확성도 아직 해결되지 않은 과제다.

상호작용형 세계와 생성형 영상의 차이

지니는 텍스트 설명이나 이미지를 바탕으로 사용자가 탐색할 수 있는 환경을 생성한다. 일반적인 생성형 영상은 시청자가 바라보는 일련의 장면을 만든다. 반면 월드 모델은 사용자의 행동에 반응해 다음에 벌어질 일을 계속 생성한다.

사용자는 키보드로 이동하고 카메라 위치를 조정할 수 있다. 실행 중인 환경에 글로 지시해 날씨를 바꾸거나 캐릭터를 추가하고 시점을 이동할 수도 있다. 시스템은 이러한 변화를 반영해 다음 이미지를 생성해야 한다.

구글은 이를 경험을 프레임 단위로 생성하는 방식이라고 설명한다. 가능한 모든 상호작용을 미리 준비하는 대신, 사용자가 세계 안에서 행동할 때 장면이 어떻게 이어질지 모델이 예측한다.

이 때문에 연속성을 유지하는 일이 핵심 과제가 된다. 유용한 시뮬레이션이라면 물체의 위치와 사람의 움직임, 이미 벌어진 일을 기억해야 한다. 잠깐은 그럴듯해 보여도 사용자가 돌아섰을 때 장면의 구조가 바뀐다면 쓸모가 떨어진다.

오디오가 상호작용에 캐릭터를 더한다

지니 4는 변화하는 시각적 세계에 환경음과 음악, 음성을 더한다. 구글에 따르면 생성된 장소에 맞춰 오디오를 구성할 수 있으며, 나무 사이로 부는 바람이나 해안에 부서지는 파도 소리도 낼 수 있다.

캐릭터는 사용자의 입력이나 시뮬레이션 내 사건에 반응해 말할 수도 있다. 대사는 고정된 사운드트랙을 따르는 대신 상황에 따라 달라지도록 설계됐다. 사용자는 시각 요소뿐 아니라 오디오 요소도 프롬프트에 지정할 수 있다.

구글은 사람의 형상도 개선돼 움직임이 더 자연스러워지고 주변 환경에 반응한다고 밝혔다. 시뮬레이션이 계속되는 동안 행동을 지시할 수 있어 캐릭터의 행동과 장면 편집을 하나의 상호작용으로 처리할 수 있다.

오디오 정확성은 개발팀도 인정한 과제로 남아 있다. 장면이나 상호작용형 훈련을 기획하는 사용자가 필요로 하는 것은 상황이 바뀌어도 음성과 환경음이 적절하게 유지되는 것이다.

계획을 세우는 제미나이, 세계를 생성하는 지니

구글은 제미나이 AI 모델 제품군을 지니 4와 더욱 긴밀하게 결합했다. 각 모델의 역할은 다르다. 지니는 시뮬레이션 세계를 생성하고, 제미나이는 진행 상황을 안내하고 결과가 의도한 계획을 따르는지 확인한다.

제미나이 옴니는 환경의 외관과 움직임을 지원한다. 제미나이 3.8 플래시는 입력되는 프레임을 살피고 목표를 작은 단계로 나누며, 행동의 성공 여부를 확인한다. 장면이 바뀌거나 사용자가 개입하면 계획을 조정한다.

간단히 말해, 시스템의 한 부분은 다음 화면을 만들고 다른 부분은 목표를 향해 진행되는 상황을 살핀다. 여러 행동이 필요한 과제에서 사건이 합리적인 순서로 이어지도록 돕기 위한 구조다.

구글의 연구 책임자인 테자스 쿨카르니는 브리핑에서 회사의 장기적인 구상을 다음과 같이 설명했다.

앞으로는 제미나이가 코드와 텍스트를 작성하고 지니가 이를 실시간으로 받아들여 다양한 추상화 수준에서 현실을 시뮬레이션하는 하이브리드 월드 모델을 점점 더 많이 보게 될 것입니다.

이 조합은 언어와 코드, 시각 시뮬레이션이 함께 작동하도록 하는 구상이다. 지니 4는 사용자가 탐색하는 동안 제미나이가 생성 중인 세계를 안내하는 제한적인 형태로 이미 역할을 나눠 활용하고 있다.

구글이 로봇을 가상 세계에서 훈련하려는 이유

구글 딥마인드는 지니 4를 로봇과 AI 에이전트의 훈련 환경으로 활용할 수 있는지 시험하고 있다. 에이전트는 목표를 이루기 위해 행동을 선택하고, 결과를 확인한 뒤 다음에 할 일을 결정하는 소프트웨어다.

제미나이 로보틱스와 연계한 실험에서는 제미나이 4 아르곤이 과제를 여러 단계로 나누고 지니 4가 이를 실시간으로 시뮬레이션했다. 목표는 로봇이 실제 세계에서 복잡한 작업을 시도하기 전에 어떻게 수행할 수 있을지 살펴보는 것이다.

구글은 가상 환경으로 현실에서 마주치거나 마련하기 어려운 상황을 재현할 수 있다고 밝혔다. 개발자는 조건을 바꾸며 에이전트의 반응을 살펴볼 수 있고, 조건이 달라질 때마다 물리적 시험 공간을 다시 만들 필요가 없다.

충돌과 공기역학 시뮬레이션을 개선했다는 주장은 특히 이러한 활용에서 중요하다. 훈련에는 행동과 결과 사이의 유용한 관계가 필요하다. 예를 들어 물체가 부딪힌 뒤 어떻게 움직이는지, 환경이 움직임에 어떻게 반응하는지 알아야 한다. 구글은 복잡한 물리적 상호작용이 여전히 모델의 과제라고 인정했다.

영화 기획은 보다 즉각적인 활용처

신뢰할 수 있는 테스터들은 영화 시제품 제작과 빠른 스토리보드 구성을 활용 사례로 꼽았다. 스토리보드는 촬영 전에 장면의 흐름을 짜는 작업이다. 지니 4를 쓰면 아이디어를 구체화하는 동안 창작팀이 카메라 위치와 캐릭터의 행동, 분위기 변화를 살펴볼 수 있다.

구글 딥마인드 엔지니어 디에고 리바스는 언론 브리핑에서 이 단계에서 즉각적인 반응이 유용한 이유를 다음과 같이 설명했다.

창작 과정에서 몰입 상태를 유지하는 것이 매우 중요해지는 분야에서 실시간 기능의 가치가 가장 커집니다.

리바스는 아이디어 구상과 스토리보드를 사례로 들었다. 실용적인 장점은 속도다. 창작자는 각각의 변형에 맞춰 별도의 장면을 준비하지 않고도 장면을 바꾸고 결과를 살펴볼 수 있다.

구글은 프롬프트를 바탕으로 동기화된 오디오를 포함한 영상 클립을 생성하는 비오도 제공한다. 리바스는 장차 제미나이 옴니가 시제품을 창작물로 다듬는 데 도움을 줄 가능성을 언급하면서도, 이러한 기능이 실현되기까지는 아직 시간이 필요하다고 말했다.

게임과 상호작용형 교육도 제안된 활용 분야다. 두 분야의 공통점은 참여자에게 반응하는 장면을 제공한다는 것이다. 매번 같은 방식으로 재생되는 완성된 미디어와는 다르다.

2분의 일관성도 여전히 짧은 한계

지니 4의 일관성 유지 시간은 최대 2분으로, 지니 3의 약 1분에서 두 배로 늘었다. 사용자가 아이디어를 탐색할 여유는 커졌지만, 하나의 활동을 이어갈 수 있는 시간은 여전히 제한적이다.

구글에 따르면 시뮬레이션이 진행되면서 물체와 시각적 세부 사항이 달라질 수 있다. 물체의 외관이나 위치가 바뀌고 시스템이 장면의 시작 상태를 놓칠 수도 있다. 제미나이가 연속성을 유지하는 데 도움을 주더라도 긴 세션은 여전히 구현하기 어렵다.

세계 안에 생성된 글자를 읽기 어려울 수도 있다. 표지판이나 안내문처럼 사람이 읽어야 하는 텍스트가 포함된 장면에서는 실질적인 문제가 된다.

구글은 지니 4를 초기 단계의 실험적 모델로 소개하고 여러 분야의 테스터와 협력하고 있다. 리바스는 완성된 제품의 최종 사용자 경험을 아직 구체화하는 중이라고 말했다. 현재 유용한 활용은 짧은 실험에 초점이 맞춰져 있으며, 시각적 연속성과 물리적 움직임, 사운드 모두 추가 개발이 필요하다.

누가 이용할 수 있고, 비용은 얼마인가?

지니 4 연구 프리뷰는 신뢰할 수 있는 테스터를 대상으로 시작됐다. 구글은 구글 AI 울트라 구독자를 대상으로 프로젝트 지니를 통해 일반 사용자 이용 범위를 넓히고, 제미나이 API와 구글 AI 스튜디오를 이용하는 얼리 액세스 파트너십을 통해 개발자에게도 제공할 계획이다.

구글은 이러한 확대가 곧 이뤄질 것이라고 밝혔으며, 앞으로 몇 주 안에 출시될 것으로 예상되지만 확정된 날짜는 제시하지 않았다. 프로젝트 지니는 대기자 등록을 받고 있다. API를 이용하면 개발자가 모델을 자체 소프트웨어에 연결할 수 있고, AI 스튜디오에서는 구글 모델을 시험해볼 수 있다.

구글 AI 울트라 요금제는 월 100달러부터 시작하는 것으로 안내돼 있다. 지니 4의 별도 개발자 요금은 발표되지 않았다. AI 프로와 AI 플러스 구독자에 대한 제공은 확정된 출시 계획이 아니라 향후 확대 가능성으로 거론됐다.

구글은 생성된 영상과 오디오에 AI 생성 콘텐츠를 식별하기 위한 디지털 워터마크인 신스ID를 적용할 것이라고 밝혔다. 이러한 시뮬레이션 경험을 이용하는 사람이 늘어날 때 시스템이 만든 콘텐츠를 알아볼 수 있도록 표시하는 것이 목적이다.

지니 3에서 시뮬레이션 경쟁 확대로

지니 4는 구글의 월드 모델을 연구 시연을 넘어 더 많은 사람이 이용할 수 있도록 하는 일련의 움직임을 잇는다.

• 2025년 8월: 구글 딥마인드가 지니 3를 발표했다.
• 2026년 1월: 구글이 해당 모델을 활용해 프로젝트 지니 테스트를 시작했다.
• 2026년 5월: 구글이 스트리트 뷰와의 통합을 발표했다.
• 미국 현지시간 10월 27일: 구글이 지니 4와 초기 연구 프리뷰를 발표했다.

경쟁은 소리 없이 상호작용하는 장면을 넘어 확장되고 있다. 지니 4보다 몇 달 앞서 출시된 런웨이의 GWM 월드 2는 사용자의 행동에 반응하고 오디오도 생성한다.

업계의 다른 움직임도 AI 개발과 물리 시스템 모두에서 시뮬레이션에 대한 관심이 커지고 있음을 보여준다. 리비안은 차량 시험에 시뮬레이션 기능을 도입하기 위해 서드 디멘션을 인수했다. AMD의 월드 랩스 인수 보도와 아마존의 디카트 인수 협상도 월드 모델 기술이 더 큰 인수합병 흐름의 일부가 됐음을 보여준다. 다만 아마존과 디카트의 논의는 아직 협상 단계다.

구글이 이번에 선보인 모델은 장면 생성과 대화, 제미나이의 계획 기능을 하나의 실험적 시스템에 결합했다. 다음으로 구체적인 단계는 이용 범위를 넓히는 일이다. 더 많은 창작자와 개발자가 이를 통해 모델이 어떤 짧은 과제를 안정적으로 처리할 수 있는지 확인할 수 있다.

핵심 내용

• 구글 딥마인드는 미국 현지시간 10월 27일 지니 4를 발표했으며, 신뢰할 수 있는 테스터를 대상으로 먼저 제공하기 시작했다.
• 이 모델은 환경음과 음악, 상황에 반응하는 음성 대화를 포함한 상호작용형 세계를 생성한다.
• 구글은 장면의 일관성이 최대 2분 동안 유지된다고 밝혔다. 지니 3의 약 1분보다 두 배 길다.
• 제미나이 모델은 행동을 계획하고 생성된 장면을 살피며 시뮬레이션을 조정하는 데 도움을 준다.
• 영화 스토리보드 구성과 게임, 교육, 로봇 훈련 등이 계획된 활용 분야다.
• 물체가 달라질 수 있고 글자가 읽기 어려울 수 있으며, 복잡한 물리 현상과 오디오 정확성도 여전히 개발 과제로 남아 있다.
• 프로젝트 지니와 제미나이 API, 구글 AI 스튜디오를 통한 제공이 계획돼 있지만, 확대 시점과 개발자 요금은 확정되지 않았다.