구글, 엔비디아에 도전할 보안 AI·대용량 메모리 시스템으로 TPU 제품군 확대

읽는 시간 9분
Google Expands TPU Lineup With Secure AI and Larger Memory Systems to Challenge Nvidia

AI의 새로운 요구에 대응하는 두 가지 시스템

구글이 8세대 텐서 처리 장치(TPU) 제품군에 특화 시스템 두 종을 추가했다. AI가 정보를 처리하는 동안 민감한 정보를 보호하는 TPU 8tx와, 하나의 패키지에 칩 두 개를 결합해 훨씬 많은 정보를 처리하는 TPU 8i Max다. 2026년 11월 9일 발표된 이번 제품으로 구글은 한 해 동안 TPU 시스템 네 종을 선보이게 됐다. 이는 회사 최초다.

목차
  1. AI의 새로운 요구에 대응하는 두 가지 시스템
  2. 한 해에 네 가지 시스템을 선보인 이유
  3. 처리 중 정보를 보호하는 TPU 8tx
  4. 대규모 작업에 더 넉넉한 작업 공간을 제공하는 TPU 8i Max
  5. AI 에이전트는 단일 답변 이상의 작업을 만든다
  6. 하드웨어 전환을 쉽게 하는 소프트웨어
  7. 메모리 관리도 제품의 일부가 되다
  8. 구글 클라우드를 넘어 커지는 사업
  9. 공급과 건설 제약이 성장 기회를 좌우
  10. 핵심 내용

새 시스템은 AI 에이전트를 도입하는 기업이 직면한 실질적인 두 가지 문제, 즉 비공개 데이터 보호와 소프트웨어가 문서·컴퓨터 코드·동영상 전체를 처리할 수 있도록 충분한 메모리를 제공하는 문제에 대응한다. 출하는 2027년으로 예상된다. 구글은 두 시스템의 구체적인 공급 시점이나 가격을 밝히지 않았다.

구글의 TPU 제품군 발표에 따르면 두 제품은 기존 실리콘을 기반으로 구성됐다. TPU 8tx는 TPU 8t와 동일한 칩을 사용하고 5세대 AMD EPYC 중앙처리장치와 결합한다. TPU 8i Max는 TPU 8i 칩 두 개를 하나로 패키징해 연산 용량과 일부 온보드 메모리, 메모리 대역폭을 두 배로 늘렸다.

TPU는 AI에 사용되는 수학 연산을 수행하도록 설계된 프로세서다. 구글은 음성 인식과 번역 등 자사 서비스에 사용하기 위해 처음 이 프로세서를 개발했다. 현재는 제미나이와 외부 클라우드 고객, 고객 데이터센터 내 구축 환경에도 TPU를 지원한다.

이번 확장으로 구글은 특정 작업에 맞는 선택지를 고객에게 제공하며 엔비디아에 대한 도전을 강화한다. 모든 요구를 하나의 가속기 설계로 충족하려는 대신, 기존 칩을 중심으로 프로세서와 메모리, 네트워킹, 보안을 조합한 다양한 시스템을 구성하고 있다.

광고

한 해에 네 가지 시스템을 선보인 이유

구글은 2026년 4월 구글 클라우드 넥스트에서 대규모 학습 작업용 TPU 8t와 빠른 AI 응답을 위한 TPU 8i를 공개했다. 학습은 예제를 이용해 모델을 구축하거나 수정하는 과정이다. 추론은 모델을 사용해 답변을 생성하거나 작업을 수행하는 과정이다.

구글은 TPU 8t가 이전 세대보다 최대 2.7배 높은 학습 성능을, TPU 8i가 80% 향상된 추론 가격 대비 성능을 제공한다고 밝혔다. 두 수치는 구글의 이전 TPU와 비교한 것이다. 이번 신제품은 같은 세대의 제품군을 기밀 컴퓨팅과 훨씬 더 큰 메모리 용량이 필요한 작업으로 확장한다.

구글의 최고 기술자 겸 AI·인프라 담당 수석부사장인 아민 바흐다트는 발표에서 우선순위를 다음과 같이 설명했다.

기업들이 자율형 에이전트를 실제 서비스에 도입함에 따라, 하드웨어 수준의 데이터 보안과 백만 토큰 규모의 컨텍스트라는 두 가지 시급한 과제를 해결하기 위해 핵심 시스템의 새로운 구성 두 가지를 만들었습니다.

구글에 따르면 새 칩을 설계하는 데는 수년이 걸리지만 기존 칩을 중심으로 패키징과 메모리, 광 네트워킹, 보안을 조정하는 데는 수개월이면 된다. 모듈형 접근 방식을 사용하면 완전히 새로운 프로세서가 준비되기 전에 변화하는 소프트웨어 요구에 맞춰 시스템을 조정할 수 있다.

개발 및 공급 일정은 다음과 같다.

  • 2026년 4월: 구글이 구글 클라우드 넥스트에서 TPU 8t와 TPU 8i를 공개했다.
  • 2026년 10월: 구글은 TPU에서 파이토치 개발을 지원하는 오픈소스 소프트웨어 TorchTPU를 출시했다고 밝혔다.
  • 2026년 11월 9일: 구글이 TPU 8tx, TPU 8i Max와 추가 인프라 소프트웨어를 발표했다.
  • 2027년: 새 시스템의 출하가 시작될 것으로 예상되며, 오라클은 클라우드 고객에게 TPU 액세스를 제공할 계획이다.

처리 중 정보를 보호하는 TPU 8tx

TPU 8tx는 정부 기관과 금융·의료 분야를 비롯한 규제 산업의 기업을 겨냥한다. 이들 고객은 민감한 기록을 AI로 분석하면서 정보와 모델의 내부 매개변수를 모두 보호해야 할 수 있다.

기밀 컴퓨팅은 정보가 실제로 사용되는 순간을 보호한다. 저장 장치에 보관되거나 네트워크를 통해 전송되는 데이터는 이미 암호화로 보호할 수 있다. 하지만 처리 중에는 정보에 작업 메모리로 접근해야 하는 것이 일반적이다. 구글은 TPU 8tx가 이 단계에서 민감한 데이터와 모델 가중치를 격리하는 하드웨어 보호 기능을 제공한다고 밝혔다.

광고

AMD 5세대 EPYC 프로세서가 호스트 컴퓨팅 플랫폼을 제공한다. 시스템은 주요 컴퓨터 구성 요소 간에 정보를 전송하는 연결인 PCIe 연결에도 암호화와 인증을 적용한다. 출시와 함께 공개된 기술 사양에 따르면 TPU 8tx는 고대역폭 메모리 216GB를 탑재한다.

구글은 프로세서 간에 빠르게 정보를 주고받도록 연결하는 보드플라이 네트워크를 이 시스템과 함께 제공한다. 회사는 이 구성이 TPU 8t보다 지연 시간을 최대 절반까지 줄일 수 있으며 보안 기능으로 인한 성능 저하는 거의 없다고 밝혔다. 지연 시간은 시스템이 단계를 완료하거나 응답하기까지 걸리는 시간이다.

TPU 8tx는 소규모 학습 작업도 지원한다. 조직은 비공개 정보를 사용해 모델을 조정하거나, 증류라는 과정을 통해 큰 모델을 작은 모델로 압축하거나, 피드백을 활용해 행동을 개선하는 강화학습으로 에이전트를 학습시킬 수 있다. 구글은 이런 작업과 추론을 한 시스템에서 함께 수행할 수 있어 별도의 컴퓨터 클러스터 사이에 민감한 정보를 옮길 필요가 줄어든다고 밝혔다.

대규모 작업에 더 넉넉한 작업 공간을 제공하는 TPU 8i Max

TPU 8i Max는 다른 제약에 대응한다. 프로세서가 필요한 정보를 메모리가 공급하는 속도보다 빠르게 계산할 수 있다는 문제다. 구글은 이를 메모리 장벽이라고 부른다. 메모리 용량과 데이터 이동 속도가 함께 향상될 때 연산 능력 추가 효과가 가장 크다.

이 시스템은 TPU 8i 칩 두 개를 하나의 패키지에 결합한다. 사양은 고대역폭 메모리 384GB, 초당 17.2테라바이트의 메모리 대역폭, 그리고 칩 위에 탑재된 고속 메모리인 SRAM 768MB다.

구글은 패키징을 통해 TPU 8i보다 연산 용량과 SRAM, 고대역폭 메모리 대역폭이 두 배로 늘어난다고 밝혔다. 고대역폭 메모리 용량은 33% 증가한다. 따라서 저장되는 정보량은 정보 이동 속도보다 낮은 비율로 증가한다.

예상 작업에는 소프트웨어 코드 전체, 긴 문서, 수 시간 분량의 동영상, 함께 작업하는 에이전트 그룹이 포함된다. 이 시스템은 백만 토큰 규모의 컨텍스트 창을 겨냥한다. 컨텍스트 창은 모델이 요청을 처리할 때 참고할 수 있는 정보다. 토큰은 모델이 처리하는 텍스트나 기타 콘텐츠의 작은 단위다.

코딩 작업에서는 더 넉넉한 작업 공간을 통해 에이전트가 문제를 조사하는 동안 관련 파일을 더 많이 참조할 수 있다. 신약 연구와 수학 작업도 활용 분야로 꼽힌다. 구글은 기존 랙 공간에 실리콘을 두 배로 넣으면 제곱피트당, 와트당 연산 용량도 늘어난다고 밝혔다.

광고

AI 에이전트는 단일 답변 이상의 작업을 만든다

구글 클라우드의 AI·컴퓨팅 인프라 담당 부사장 겸 총괄 책임자인 마크 롬마이어는 에이전트 요청 하나가 수백, 수천 건의 작업을 유발할 수 있다고 말했다. 그는 작업에 따라 이런 변화로 컴퓨팅 수요가 10배에서 1,000배까지 늘어날 수 있다고 추산했다.

에이전트는 요청을 여러 단계로 나누고, 데이터베이스에 질의하고, 코드를 작성하고, 다른 소프트웨어 도구를 호출한 뒤 사람의 승인을 기다릴 수 있다. 이런 작업 방식은 프로세서 간 빠른 통신과 지속적인 작업 메모리, 여러 시스템을 오가는 정보의 보호에 대한 수요를 만든다.

구글은 작업 사이의 대기 시간을 줄이려는 노력도 진행하고 있다. 새 에이전트 컴퓨트 엔진은 유휴 에이전트 세션을 자동으로 일시 중단했다가 재개해, 에이전트가 데이터베이스 응답이나 외부 도구, 사람의 피드백을 기다리는 동안 자원을 확보한다.

실질적인 목표는 계산할 일이 없는 세션이 값비싼 프로세서를 계속 점유하지 않도록 하는 것이다. 여러 에이전트를 동시에 운영하는 고객에게는 이런 대기 시간을 관리하는 일이 인프라 비용 통제의 일부가 된다.

하드웨어 전환을 쉽게 하는 소프트웨어

구글의 하드웨어 확장에는 TPU 도입을 쉽게 하려는 폭넓은 노력도 뒤따른다. 엔비디아의 경쟁력은 개발자들이 이미 사용하는 소프트웨어에 부분적으로 기반을 두고 있다. 이에 구글은 새 프로세서와 함께 익숙한 개발 도구에 대한 지원도 전략에 포함했다.

메타 및 파이토치 커뮤니티와 함께 개발한 TorchTPU는 널리 쓰이는 AI 모델 개발 프레임워크인 파이토치용 TPU 네이티브 백엔드를 제공한다. 구글은 기존 파이토치 코드와 허깅페이스 모델을 코드를 다시 작성하지 않고 TPU에서 실행할 수 있다고 밝혔다. 출시 발표에서는 코드 두 줄을 추가하는 기본 설정 방법을 소개했다.

구글의 클라우드 인프라 발표는 AI 모델 서비스에 사용되는 오픈소스 엔진인 vLLM과 SGLang의 TPU 지원도 설명한다. 인퍼랙트, 래딕스아크와의 협력을 통해 고객이 TPU와 그래픽 처리 장치를 함께 운영할 수 있도록 하는 보다 폭넓은 접근 방식도 지원한다.

새 XLA 서빙 엔진은 개발자가 파이썬으로 모델을 학습시키고 TPU, GPU, CPU 전반에서 C++ 런타임으로 서비스를 제공할 수 있도록 한다. 미리보기로 제공되는 TPU 에이전트 제품군은 클로드 코드, 커서, 구글 안티그래비티 등 코딩 도구와 연동해 작업 설정과 병목 현상 파악을 돕는다.

구글은 긴 컨텍스트를 사용하는 코딩 에이전트 테스트인 InferenceX와 AgentX에서 높은 가격 대비 성능을 보였다고 밝혔다. 이는 회사가 제시한 성능 주장이다. 인프라를 선택할 때 구매자는 자체 애플리케이션의 비용과 응답 속도, 정확도를 비교해야 한다.

광고

메모리 관리도 제품의 일부가 되다

구글의 새 TPU Sync 소프트웨어는 가속기에 물리적으로 연결된 메모리의 범위를 넘어선다. 칩 메모리와 호스트 컴퓨터 메모리, 공유 스토리지, 데이터센터 네트워크를 조율해 작업 부하가 이를 더 큰 메모리 시스템의 서로 다른 계층처럼 활용할 수 있도록 한다.

주요 목표 중 하나는 KV 캐시다. 이는 모델이 이미 처리한 콘텐츠에서 저장해 둔 작업 정보다. 긴 컨텍스트 창과 다수의 동시 에이전트는 캐시를 매우 크게 만들 수 있다. TPU Sync는 이를 밀리초 단위로 칩 밖으로 옮겨 값비싼 가속기 메모리를 현재 진행 중인 작업에 쓸 수 있도록 한다.

구글은 이 소프트웨어가 KV 전송 지연 시간과 첫 응답이 나오기까지 걸리는 시간을 90% 이상 줄일 수 있다고 밝혔다. 처리 단계 간 컨텍스트 이동과 강화학습 중 모델 가중치 동기화도 지원한다.

다른 두 가지 업데이트는 클러스터 운영에 초점을 맞춘다. 현재 구글 쿠버네티스 엔진을 통해 정식 제공되는 클라우드 패스웨이스는 단일 컨트롤러가 분산 TPU 작업을 조율할 수 있게 한다. GKE 동적 슬라이싱은 광 회로 스위칭을 사용해 필요에 따라 더 큰 TPU 그룹을 구성하거나, 격리된 소규모 그룹으로 나눈다.

구글은 동적 슬라이싱을 통해 작업 시작 속도를 최대 5배, 장애 복구 속도를 최대 4.5배 높일 수 있다고 주장한다. 이 도구들은 새 하드웨어와 같은 상업적 과제, 즉 대기 시간을 줄이면서 설치된 컴퓨팅 용량을 유용한 작업에 투입하는 문제에 대응한다.

구글 클라우드를 넘어 커지는 사업

구글은 현재 AI 연구소와 트레이딩 기업, 소매업체, 대학을 포함해 약 100곳의 TPU 고객을 확보했다고 밝혔다. 구글은 자체 클라우드 밖으로도 액세스를 확대하고 있으며, 고객 데이터센터에 직접 구축하는 방식도 제공한다. 일부 고객은 TPU 8tx를 자체 시설에 도입할 수 있게 된다.

오라클은 2027년부터 클라우드 고객에게 TPU를 제공할 계획이라고 발표했다. 앤스로픽은 2028년부터 2031년까지 최대 1,500억 달러 규모의 칩 구매 옵션을 보유하고 있으며, 오픈AI도 TPU 구매를 계획 중인 것으로 알려졌다. 앤스로픽의 금액은 해당 옵션에 따른 잠재적 구매 상한액이다.

점프 트레이딩은 고객이 작업별로 다른 하드웨어를 선택하는 사례다. 이 회사는 일부 작업에서 TPU가 에너지 효율을 높이고 비용을 줄이지만, AI 모델 학습의 주요 플랫폼으로는 여전히 엔비디아 제품을 사용한다고 밝혔다.

애널리스트 만딥 싱은 TPU가 경쟁력 있는 데이터 처리 능력을 제공하면서 엔비디아 GPU보다 약 30% 저렴하다고 추산한다. 한 연구기관의 전망에 따르면 관련 하드웨어와 소프트웨어를 포함한 TPU 매출은 2026년 약 120억 달러에서 2028년 1,350억 달러 이상으로 늘어날 수 있다. 구글 클라우드를 통해 TPU를 이용하는 고객의 매출은 제외한 수치다.

이 전망대로라면 1,350억 달러를 120억 달러로 나눴을 때 2년 만에 2026년 수치의 11배를 넘는 성장이다. 이는 제조 역량과 고객 지출, 구축 일정에 따라 실현 여부가 달라지는 매우 빠른 확장 전망이다.

광고

공급과 건설 제약이 성장 기회를 좌우

구글은 10월에 고객들이 이미 공급 가능한 TPU를 모두 예약했다고 밝혔다. 메모리 부족과 제조 역량의 한계가 여전히 제약으로 작용하며, 바흐다트가 이끄는 팀은 공급처 다변화를 추진하고 있다.

업계 분석에 따르면 8세대 TPU 제품군의 첨단 제조와 시스템 패키징은 대만 반도체 제조 기업 TSMC의 생태계 안에서 이뤄진다. 따라서 TPU 수요 증가는 구글뿐 아니라 대만 공급업체에도 기회를 제공하는 동시에, 첨단 생산 및 패키징 역량 확보를 현실적인 과제로 만든다.

데이터센터 건설에는 별도의 제약이 있다. 싱은 신규 시설에 대한 반대가 기술 업계의 2027년 인프라 투자 전망액 1조4,000억 달러를 약 5~7% 줄일 수 있다고 추산한다. 이 전망액에 적용하면 감액 규모는 약 700억~980억 달러다.

컴퓨팅 밀도를 높이면 기존 건물 안에서 더 많은 작업을 수행할 수 있어 공간이 부족한 곳에서 TPU 8i Max가 실질적인 역할을 할 수 있다. 하지만 구글은 여전히 칩과 메모리를 확보하고 시스템을 공급해 수익성 있는 사업을 구축해야 한다. 싱은 TPU의 이익률이 엔비디아보다 낮은 수준이라고 추산한다.

경쟁은 이제 최고 처리 속도를 넘어선다. 구글은 특정 작업을 수주하기 위해 기밀 컴퓨팅과 대용량 메모리 시스템, 익숙한 소프트웨어, 유연한 배포 방식을 결합하고 있다. 고객 예약이 얼마나 빨리 매출로 이어질지는 시스템 공급 능력에 달려 있다.

핵심 내용

  • 구글은 2026년 11월 9일 TPU 8tx와 TPU 8i Max를 발표했으며, 2027년 출하가 예상된다.
  • TPU 8tx는 기존 TPU 8t 실리콘에 AMD EPYC 호스트 프로세서와 사용 중인 민감한 데이터를 보호하는 하드웨어 기능을 결합한다.
  • TPU 8i Max는 TPU 8i 칩 두 개를 결합하며, 고대역폭 메모리 384GB와 TPU 8i의 두 배에 이르는 연산 용량 및 메모리 대역폭을 제공한다.
  • 구글은 2026년에 TPU 시스템 네 종을 선보였으며, TPU 사업 고객이 약 100곳이라고 밝혔다.
  • TorchTPU와 TPU Sync를 비롯한 소프트웨어 업데이트는 개발을 간소화하고 유휴 컴퓨팅 시간을 줄이는 것을 목표로 한다.
  • 오라클을 통한 액세스와 고객 시설 내 직접 구축으로 구글의 시장이 확대되지만, 메모리와 제조, 건설 제약이 확장을 제한한다.
이 기사 공유

추천 기사