구글, 최고 AI 점수 기록한 제미나이 4 카본 공개…사이버 보안 방어자에 제한적 접근 허용

제한적 접근 속 새 1위 모델 등장

구글이 인공지능 모델 제미나이 4 카본을 공개했다. 이 모델은 Artificial Analysis Intelligence Index v5.0에서 59점을 기록했으며, 소프트웨어 취약점을 찾아내고 검증하고 수정하는 능력에서도 강한 성과를 보였다. 첫 사용자는 일반 대중이 아니라 선별된 사이버 보안 방어자가 될 예정이다.

10월 28일 공개된 구글의 제미나이 4 카본 발표에 따르면, 이 모델은 종합 역량 지수에서 클로드 오푸스 5.5와 GPT-6 아스트라를 앞섰다. 이번 출시는 제미나이 4 아르곤 출시 후 불과 2주 만에 이뤄졌다. 많은 사용자가 전작을 충분히 경험하기도 전에 구글이 또 다른 플래그십 모델을 내놓은 셈이다.

구글 딥마인드 수석 부사장이자 구글 최고 AI 설계자인 코레이 카부쿠추오글루는 이 모델의 핵심 강점을 다음과 같이 설명했다.

제미나이 4 카본은 최첨단 사이버 보안 역량과 장기 과제 수행 능력을 갖춘 저희의 가장 강력한 모델입니다.

구글은 사내 팀이 카본을 활용해 미묘한 버그를 찾아내고 대규모 소프트웨어 프로젝트 전반에 걸쳐 수정 사항을 작성하는 등 까다로운 엔지니어링 과제를 며칠씩 수행해 왔다고 밝혔다. 보안 팀에는 답을 제시한 뒤 멈추는 대신, 여러 차례 실패를 거듭하더라도 문제를 계속 파고드는 보조 도구가 될 수 있다는 기대가 나온다.

카본 출시는 현실적인 긴장도 드러낸다. 소프트웨어 취약점을 발견하고 악용하는 능력은 방어자가 시스템을 복구하는 데 도움이 되지만, 공격자에게도 유용한 역량을 제공할 수 있다. 구글은 출시 전 미국 정부의 자발적 테스트 절차에 참여하고 있으며, 페어윈드 프로그램을 통해 접근을 단계적으로 확대할 예정이다.

성과를 종합하면 가장 유용한 그림이 드러난다. 카본은 종합 지수와 여러 보안 테스트에서 선두를 차지했지만, 일부 코딩 과제에서는 경쟁 모델에 뒤처진다. 구글이 밝힌 내부 신뢰성 개선과 달리, 외부 테스트에서는 아르곤보다 허위 답변 비율이 높아졌다.

사이버 보안 점수가 측정하는 것

구글이 공개한 주요 보안 성과는 SEC-bench Pro에서 88.2%, ExploitGym에서 54.8%, 콜리니어의 CWE-bench에서 71.0%다. 각 테스트는 방어자의 업무 중 서로 다른 부분을 측정한다.

SEC-bench Pro는 모델이 실제 소프트웨어에서 취약점을 찾을 수 있는지 평가한다. 취약점은 누군가가 정보에 접근하거나 시스템을 변경하거나 작동을 방해할 수 있게 하는 약점이다. 구글은 카본이 소프트웨어에 숨겨진 복잡한 결함을 찾아 이 평가에서 선두를 차지했다고 밝혔다.

ExploitGym은 다음 단계인 취약점의 실제 악용 가능성을 시험한다. 익스플로잇은 결함을 이용해 시스템이 의도하지 않은 방식으로 작동하도록 만드는 방법이다. 보안 팀은 통제된 환경에서 이를 시도해 어떤 취약점이 즉각적인 위험을 초래하는지 확인하고, 먼저 수정해야 할 대상을 정한다.

CWE-bench는 패치, 즉 근본 원인을 해결하는 코드를 작성하는 능력을 측정한다. 카본의 71.0% 점수는 의심스러운 코드를 지적하는 데 그치지 않고 실제 수정까지 완료하는 능력에 주목하게 한다.

구글은 외부 사이버 보안 벤치마크 테스트를 가드레일 없이 진행했다고 밝혔다. 이는 배포된 모델의 행동을 제한하는 보호 조치가 평가 도중에는 활성화되지 않았다는 뜻이다. 점수는 해당 테스트 조건에서의 성과를 나타내며, 구글 제품을 통한 접근에는 안전 통제가 적용된다.

구글은 내부 벤치마크에서 카본의 안전한 코드 생성 성공률이 아르곤의 두 배 이상이라고도 밝혔다. 크롬 팀은 카본이 공개되지 않은 경쟁 연구소의 대형 최첨단 모델보다 고품질 패치를 10배 넘게 잘 작성했다고 전했다. 이러한 안전한 코드 생성 관련 내부 결과는 아직 독립적으로 재현되지 않았으며, 구글은 비교 대상 모델을 밝히지 않았다.

1위라고 해서 모든 과제에서 앞서는 것은 아니다

Artificial Analysis의 Intelligence Index v5.0에서 카본은 59점을 받아 클로드 오푸스 5.5의 58점, GPT-6 아스트라의 57점을 앞섰다. 오푸스와는 1점, 아스트라와는 2점 차이로, 구글이 사이버 보안 분야에서 제시한 가장 큰 격차보다는 좁다.

이 지수는 9개 평가를 종합하며, 카본은 그중 HLE-Diamond, TB-Science, AA-Omniscience, AutomationBench 등 4개에서 선두를 차지했다. Artificial Analysis에 따르면 개정된 지수의 60%는 비공개 테스트로 구성되며, 문항은 일반에 공개되지 않는다.

코딩 성과는 엇갈린다. 구글의 앤티그래비티 CLI와 결합한 카본은 Coding Agent Index에서 59점을 기록한 반면, 오푸스 5.5와 결합한 클로드 코드의 점수는 62점이다. 코딩 에이전트는 파일을 살펴보고 명령을 실행하며 소프트웨어를 수정할 수 있는 도구와 모델을 결합한 것이므로, 함께 사용하는 소프트웨어도 결과에 영향을 준다.

FrontierCode v1.1에서 카본은 51%를 기록해 56%인 오푸스에 뒤졌다. FrontierSWE에서는 61.2%로, GPT-6 아스트라의 65.5%, 오푸스 5.5의 62.3%, 소네트 5.5의 61.9%보다 낮았다. 이런 비교를 보면 개발자는 종합 순위뿐 아니라 자신의 업무와 가장 가까운 과제에서의 성과도 살펴볼 이유가 있다.

웹 개발도 개선이 나타난 분야다. 구글 발표에 따르면 카본은 WebDev Arena에서 89점 상승한 1,768 Elo로 4위를 기록했다. Elo는 상대적 성과를 바탕으로 산출하는 평점 체계다. 카본은 Text Arena에서 1,528점으로 1위, Agent Arena에서 2위를 기록해 보안 작업 외 분야에서도 강한 성과를 보였다.

한 번 답하는 대신 며칠씩 작업

구글은 목표를 달성하기 위해 AI 시스템이 일련의 작업을 수행하는 지속형 에이전트 워크플로를 염두에 두고 카본을 설계했다. 소프트웨어 엔지니어링에서는 프로젝트를 살펴보고, 버그 원인에 대한 설명을 세우고, 코드를 수정하고, 테스트를 실행한 다음 테스트가 실패하면 수정 사항을 다시 다듬는 작업이 이에 해당할 수 있다.

구글 사내 팀은 카본이 대규모 코드베이스와 저수준 시스템을 다루는 복잡한 과제를 며칠씩 이어서 수행했다고 밝혔다. 회사는 카본이 막다른 상황에서도 작업을 계속할 수 있다고 설명했다. 처음에는 그럴듯해 보였던 설명이 틀린 것으로 드러날 때 중요한 특성이다.

공개된 사양에 따르면 컨텍스트 윈도는 100만 토큰, 최대 출력량도 100만 토큰이다. 토큰은 모델이 처리하는 작은 텍스트 단위다. 컨텍스트 윈도는 지시사항과 과제에 제공된 자료를 포함해 모델이 한 번에 고려할 수 있는 분량을 뜻한다.

카본은 텍스트, 이미지, 동영상, 음성을 입력으로 받고 텍스트를 출력하는 것으로 알려졌다. 이러한 입력 방식 덕분에 하나의 워크플로에 서면 버그 보고서, 스크린샷, 예상과 다르게 작동하는 소프트웨어의 녹화 영상 등을 함께 포함할 수 있다.

코딩 외 분야의 성과는 다양하다. 카본은 지식 업무 평가인 AA-Briefcase에서 1,609 Elo를 기록해 아르곤보다 126점 올랐지만, 그록 4.7, 뮤즈 원더, 키미 K3.1 프로에는 뒤졌다. Vals Index에서 2위, Finance Index와 Legal Research Benchmark에서는 1위를 차지했다. 성과가 분야마다 다른 만큼 기업은 소프트웨어 수정, 문서 분석 등 구체적으로 필요한 업무에 따라 모델을 선택할 수 있다.

안전성 테스트, 부정행위 시도와 성공을 구분

구글에 따르면 Terminal-Bench 4.0에서 카본의 부정행위 성공률은 0.0%, 부정행위 시도율은 0.4%였다. 두 수치는 서로 다른 행동을 나타낸다. 모델이 부적절한 지름길을 택하려 했는지, 그리고 그 시도가 성공했는지를 각각 보여준다.

구글은 카본이 이러한 지름길 사용을 줄이는 동시에 과제 정확도를 높였다고 밝혔다. 자체 팀과 진행한 실시간 코딩 작업에서는 의도한 행동에서 심각하게 벗어났음을 알리는 경보가 거의 80% 감소했다.

프롬프트 인젝션도 주요 점검 대상이다. 이 공격은 웹페이지나 파일처럼 AI가 읽도록 제공된 자료에 지시사항을 심어, 사용자가 맡긴 과제에서 벗어나게 한다. 프로젝트를 살펴보는 보조 도구가 기존 지시를 무시하거나 정보를 공개하라는 문구를 마주칠 수 있다.

카본은 그레이 스완의 간접 프롬프트 인젝션 벤치마크에서 공격 성공률 0.0%를 기록했다. 비교 대상인 아르곤은 0.7%, 클로드 오푸스 5.5는 1%, GPT-6 아스트라는 8.5%였다. 구글의 결과는 해당 테스트에서 평가된 모든 공격 시도를 막았다는 뜻이다.

구글은 카본이 모델 학습과 함께 악용 방지 조치, 프롬프트 인젝션 방어, 추론 과정 모니터링을 적용한다고 밝혔다. 우선 제한적으로 출시해 선별된 방어자가 사용하는 동안 피드백을 수집하고 보호 조치를 조정할 예정이다.

내부 신뢰성은 개선됐지만 외부 지표 하나는 악화

구글은 내부 테스트에서 카본의 근거 없는 주장이 아르곤보다 대략 절반으로 줄었다고 밝혔다. 카본은 근거가 부족하다고 설명하고, 아직 충족하지 못한 요구사항을 나열하며, 상충하는 정보를 발견하면 행동에 나서기 전에 이를 알릴 가능성이 더 높은 모델이라고 설명했다.

구글은 과도한 대응이 26%, 불충분한 대응이 29% 감소했다고도 밝혔다. 쉽게 말해 카본이 사용자 지시를 넘어설 가능성과 요청받은 작업을 끝내지 못할 가능성이 모두 낮아졌다는 것이다.

Artificial Analysis의 Omniscience 평가에서는 다른 변화가 나타났다. 카본의 환각 비율은 아르곤의 4%에서 11%로 높아졌다. 환각은 지어냈거나 틀린 정보를 사실처럼 제시하는 답변을 뜻한다. 이 비교에서 카본은 여전히 측정된 비율이 두 번째로 낮았으며, 오푸스 5.5와 아스트라는 모두 50%였다.

환각 비율이 높아졌음에도 카본은 Omniscience 평가에서 54점으로 선두에 올랐다. 이전에는 답변을 피했던 질문에 답해 정답을 더 많이 맞히면서도, 동시에 오답을 더 많이 낼 수 있다. 구글의 내부 근거 없는 주장 지표와 외부 환각 지표는 서로 다른 평가를 사용하므로, 사용자는 신뢰성에 관한 두 가지 결과를 따로 고려해야 한다.

보안 팀은 여전히 결과물을 검증해야 한다. 취약점이 있다는 주장은 확인해야 하고, 제안된 패치는 해당 소프트웨어에 적용해 테스트해야 한다. 구글이 밝힌 개선 사항은 보조 도구가 너무 일찍 성공했다고 단정하거나 요청 범위를 벗어나 행동할 수 있는 바로 그런 순간을 겨냥한다.

누가 어떤 순서로 접근하나

구글은 10월 28일 발표가 있었던 주에 일부 사이버 보안 방어자에게 카본을 제공한다고 밝혔다. 이후 페어윈드를 통해 신뢰할 수 있는 파트너에게 단계적으로 접근을 허용하고, 그다음 개발자와 기업, 소비자에게 구글 제품을 통해 제공할 예정이다.

발표된 일정은 다음과 같다.

• 카본 출시 약 2주 전: 구글이 제미나이 4 아르곤을 출시했으며, 이후 제미나이 앱과 AI 검색 모드에서 이용할 수 있게 됐다.
• 2026년 10월 28일: 구글이 카본 발표와 벤치마크 결과를 공개했다.
• 10월 28일이 있는 주: 선별된 사이버 보안 방어자가 접근을 시작한다.
• 이후 단계: 구글은 더 폭넓은 제품 제공에 앞서 페어윈드를 통해 접근을 확대한다.

구글은 출시 전 모델 테스트를 위한 미국 정부의 자발적 절차에 참여하고 있다. 발표에는 일반에 폭넓게 공개될 시점이나 카본의 출시 초기 가격이 끝나는 날짜가 담기지 않았다.

AI Ultra 구독자와 제미나이 API 개발자가 초기 고객이 될 수 있다는 관측이 나왔지만, 구글이 공개한 출시 계획은 개발자, 기업, 소비자라는 더 넓은 범주만 명시했을 뿐 이들에 대한 제공 순서를 확정하지 않았다.

방어자를 우선하는 결정은 AI 악용 우려가 커지는 가운데 나왔다. 구글의 위협 연구자들은 이란, 북한, 러시아, 중국의 후원을 받는 단체들이 주로 조사와 코딩 지원을 위해 제미나이를 실험한 사례를 기록했다. 딥마인드 최고경영자 데미스 허사비스는 최근 AI 에이전트를 이용한 해킹을 초기 경고 신호라고 표현했다.

개발자를 위한 카본 가격

카본의 API 출시 초기 가격은 입력 토큰 100만 개당 2달러, 출력 토큰 100만 개당 10달러로, 아르곤 출시 당시 가격과 같다. API를 이용하면 개발자가 모델을 자체 소프트웨어에 연결할 수 있다. 입력은 카본에 보내는 자료이고, 출력은 카본이 생성하는 내용이다.

출시 초기 기간이 지나면 가격은 입력 토큰 100만 개당 4달러, 출력 토큰 100만 개당 20달러로 두 배 오른다. 입력 토큰 100만 개와 출력 토큰 100만 개를 사용하는 작업은 캐싱이나 기타 조정을 적용하기 전 기준으로 출시 초기에는 12달러, 일반 가격으로는 24달러가 든다.

구글은 캐시된 입력에 95% 할인이 적용된다고 밝혔다. 캐싱은 서비스가 이미 처리한 자료를 재사용하는 방식으로, 같은 대용량 문서나 소프트웨어 프로젝트를 반복해서 입력할 때 비용을 줄일 수 있다. 이 할인을 적용하면 출시 초기 입력 요금 기준 캐시 입력 토큰 100만 개당 0.10달러, 일반 요금 기준 0.20달러다.

실제 지출은 모델이 과제를 마칠 때까지 생성하는 텍스트의 양에도 좌우된다. Artificial Analysis는 카본의 지수 평가 과제당 비용을 7.76달러로 집계했다. 오푸스 5.5는 10.04달러, GPT-6 아스트라는 6.25달러였다. 해당 평가에서 카본은 과제당 출력 토큰을 약 12만3,000개 사용해 오푸스보다 29% 적었다.

다른 작업에서는 양상이 달라질 수 있다. Vals에 따르면 카본은 아르곤보다 출력 토큰을 64% 더 많이 생성했으며, 주로 금융, 세금, 법률 과제에서 차이가 났다. 따라서 카본 도입 예산을 짜는 개발자는 토큰 가격뿐 아니라 각 작업에서 모델이 처리하는 분량도 고려해야 한다.

핵심 내용

• 제미나이 4 카본은 Artificial Analysis Intelligence Index v5.0에서 59점으로 선두를 차지했다. 오푸스 5.5는 58점, GPT-6 아스트라는 57점이다.
• 구글이 공개한 보안 점수는 취약점 발견 88.2%, 악용 54.8%, 패치 71.0%다.
• 여러 코딩 평가에서는 카본이 경쟁 모델 및 도구 조합에 뒤처진다.
• 구글은 Terminal-Bench 4.0에서 부정행위가 성공한 사례가 없었고, 평가된 그레이 스완 프롬프트 인젝션 테스트에서도 공격 성공이 없었다고 밝혔다.
• 내부 평가에서 근거 없는 주장은 대략 절반으로 줄었지만, 외부 환각 지표는 아르곤의 4%에서 카본의 11%로 높아졌다.
• 선별된 사이버 보안 방어자가 먼저 접근하며, 페어윈드를 거쳐 더 넓은 범위로 제공될 예정이다.
• API 출시 초기 가격은 입력 토큰 100만 개당 2달러, 출력 토큰 100만 개당 10달러이며, 이후 각각 4달러와 20달러로 오른다.