96개 가속기 탑재 랙, 마이크로소프트의 차세대 AI 전략 뒷받침
마이크로소프트가 AI 가속기 Maia 300을 공개했다. 컴퓨팅 칩렛에는 대만 TSMC의 N2P 공정이 적용되며, 생산 제품의 배치는 2027년 시작될 예정이다. 이번 발표는 자체 Maia 하드웨어를 자사 제품과 서비스 전반에서 AI 추론을 처리하는 주력 시스템으로 삼겠다는 마이크로소프트의 구상을 구체적인 설계로 제시했다.
목차
계획된 랙에는 가속기 96개가 탑재되며 전력 용량은 167킬로와트다. 고대역폭 메모리(HBM)는 27.6테라바이트, 메모리 대역폭은 초당 약 1.7페타바이트에 이른다. 마이크로소프트는 Maia 300이 그래픽처리장치(GPU) 기반 선도 시스템보다 메가와트당 토큰 처리량이 40% 많고, Maia 200 랙보다 최대 7배 높은 출력량을 낼 것으로 예상한다.
이는 독립적인 벤치마크 결과가 아니라 회사가 제시한 성능 전망이다. 다만 마이크로소프트가 투자를 집중하는 방향은 분명히 보여준다. 개별 칩의 컴퓨팅 성능만 높이는 대신 데이터센터의 전력·냉각·공간 한도 안에서 유용한 AI 출력을 늘리는 것이다.
마이크로소프트 클라우드·AI 부문 수석 부사장 스콧 거스리는 회사가 2026년 10월 12일 공개한 애저 Maia 발표에서 배치 계획을 밝혔다.
2027년부터 애저 Maia 제품군을 수 기가와트 규모로 확장해, Maia를 마이크로소프트 제품과 서비스의 주력 추론 시스템으로 만들겠습니다.
이번 약속은 Maia 300 단독이 아니라 Maia 제품군 전체에 관한 것이다. 마이크로소프트가 2027년 Maia 300 칩을 100만 개 넘게 배치할 수 있다는 보도는 공개된 발표의 범위를 넘어선다. 발표는 배치가 시작될 연도는 확인했지만 칩 수량이나 전체 확장 완료 시한은 밝히지 않았다.
TSMC N2P 공정의 적용 범위
마이크로소프트의 확인은 Maia 300을 단순히 2나노 칩이라고 설명하는 것보다 구체적이다. 컴퓨팅 칩렛에 TSMC 2나노 공정 제품군의 N2P가 적용된다. 메모리 컨트롤러와 입출력 기능은 별도 다이에 배치해 패키지의 각 구성 요소에 용도에 맞는 제조 기술을 적용할 수 있도록 했다.
칩렛은 패키지 안에서 다른 다이와 함께 작동하는 작은 실리콘 조각이다. Maia 300은 이 구조를 통해 컴퓨팅 기능에는 첨단 공정을 적용하면서 연결, 메모리 제어, 비용은 별도의 설계 요소로 다룬다. 패키지 안의 모든 다이에 N2P가 적용된다는 뜻은 아니다.
마이크로소프트가 10월 12일 공개한 Maia 300 아키텍처 분석에는 이 같은 구분이 명시돼 있다. 문서는 애저 하드웨어 시스템 및 인프라 부문 사장 라니 보르카르와 시스템 기획·아키텍처 부문 기업 부사장 사우라브 디게가 작성했다.
문서에 따르면 아키텍처 변경으로 부동소수점 연산 기준 시스템 컴퓨팅 처리량은 36% 늘고, HBM 대역폭은 2.5배, 가속기 간 통신 대역폭은 14% 증가한다. 각각 시스템의 서로 다른 자원을 나타내는 수치다. 어느 하나만으로 랙의 토큰 출력량이 7배 늘어난다는 주장을 설명할 수는 없다.
컴퓨팅 성능만큼 중요한 메모리
Maia 300은 주로 추론, 즉 학습이 끝난 모델을 이용해 답변을 생성하거나 작업을 수행하는 과정에 맞춰 설계됐다. 장문 문서에 대한 추론, 빠른 응답이 필요한 대화, 여러 단계에 걸쳐 도구를 사용하는 AI 에이전트 등이 주요 작업에 포함된다.
이런 작업에서는 연산보다 모델 데이터와 저장된 대화 정보를 옮기는 데 상당한 시간이 들 수 있다. 이에 마이크로소프트는 가속기마다 HBM4 메모리 스택 8개를 탑재해 288기가바이트 용량과 초당 최대 18테라바이트의 대역폭을 제공한다. 열설계전력(TDP)은 950와트다. TDP는 전력 및 냉각 설계 기준이지, 지속적인 전력 소비량을 측정한 값은 아니다.
마이크로소프트에 따르면 Maia 300은 Maia 200보다 메모리 용량이 33%, 메모리 대역폭이 2.5배 많다. 용량은 가속기당 216기가바이트에서 288기가바이트로 72기가바이트 증가했다는 수치와 일치한다.
대역폭 단위는 주의해서 살펴야 한다. 일부 보도는 이전 칩의 대역폭을 초당 테라비트로, 새 랙의 대역폭을 초당 페타비트로 표기한다. 마이크로소프트의 Maia 300 문서는 초당 테라바이트와 페타바이트를 사용한다. 비트와 바이트는 8배 차이가 있으므로 서로 다른 단위로 표현된 수치를 같은 기준으로 비교해서는 안 된다.
데이터 흐름을 제어하는 소프트웨어
Maia 300은 마이크로소프트의 소프트웨어 정의 로컬 액세스 데이터플로 아키텍처(SDLA)를 발전시켰다. 쉽게 말해 소프트웨어가 데이터의 저장 위치와 이동 방식, 형식 변경 시점, 컴퓨팅 엔진·메모리·네트워크 전반의 작업 조율 방식을 직접 제어한다.
새 설계는 칩렛마다 다른 비균일 메모리 구성을 사용한다. 일부 메모리는 특정 컴퓨팅 영역에 더 가깝기 때문에, 소프트웨어는 필요한 연산 엔진 가까이에 데이터를 배치해 이동량을 줄일 수 있다. 다이에 내장된 고속 메모리인 SRAM도 소프트웨어가 관리하는 임시 작업 공간으로 활용해 HBM 수요를 낮춘다.
마이크로소프트는 이런 변경과 함께 MXFP4를 비롯한 소형 숫자 형식, 3비트 미만을 사용하는 저장 형식의 지원도 확대했다. 이런 표현 방식은 데이터가 차지하는 메모리 공간과 추론 과정에서 이동해야 하는 바이트 수를 줄인다. 다만 효과를 내려면 소프트웨어와 모델이 이를 지원해야 하며, 형식이 작다는 사실만으로 효용이 보장되지는 않는다.
설계는 KV 캐시도 겨냥한다. KV 캐시는 모델이 이미 처리한 토큰 정보를 저장해 매 단계마다 다시 계산하지 않도록 한다. 대화가 길어지거나 여러 사용자가 동시에 서비스를 이용할 때는 이 캐시를 작게 유지하는 것이 중요하다.
마이크로소프트 AI 최고경영자 무스타파 술레이만은 하드웨어 프로그램과 회사의 모델 개발을 연결해 설명하면서, 모델을 뒷받침할 플랫폼을 직접 제어하려는 이유를 밝혔다.
그 규모에서는 우리가 소유하고 모델과 함께 공동 설계하는 플랫폼이 필요합니다. 그래서 마이크로소프트 AI 모델을 Maia 칩에서 구동하는 것이 우리 팀의 핵심 과제입니다.
단일 랙에서 가속기 1만2,288개까지
Maia 300 랙 하나에는 트레이 24개가 들어가며, 각 트레이는 가속기 4개와 호스트 프로세서, 메모리, 스토리지, 냉각 장치를 함께 탑재한다. Maia 200 랙의 가속기 48개에서 두 배로 늘어난 수치다. 호스트 장비를 트레이에 통합하면 별도 호스트 트레이가 필요 없어져 추가 가속기를 넣을 공간을 확보할 수 있다.
마이크로소프트의 네트워킹 설계는 랙 최대 128개를 연결해 가속기 1만2,288개를 갖춘 슈퍼팟을 구성할 수 있다. 랙 내부에는 전기 연결을, 랙 간에는 광 연결을 사용하며, 이더넷 기반의 맞춤형 AI 전송 기술을 적용한다.
이 네트워크는 슈퍼팟 전체에서 소프트웨어에 단일 통신 모델을 제공한다. 가속기는 호스트 프로세서나 랙 간 통신을 위한 별도 네트워크 인터페이스를 거치지 않고 다른 가속기로 전송을 시작할 수 있다.
모델을 여러 칩에 나눠 실행할 때 이런 기능이 중요하다. 텐서 병렬화는 모델 계산의 일부를 여러 가속기에 분산하며, 가속기 간 빈번한 통신이 필요하다. 마이크로소프트는 응답 시간이 가장 짧아야 하는 트래픽은 랙 안에 유지하고 나머지 작업은 더 넓게 분산할 수 있다고 설명했다.
같은 네트워크를 이용해 프롬프트의 초기 처리와 이후 답변 생성을 분리할 수도 있다. 저장된 KV 데이터는 각 단계를 처리하는 작업자 사이에서 직접 이동한다. 다른 랙에 여유 가속기가 있으면 용량을 사용할 수 없을 때 작업을 넘겨받을 수도 있지만, 통신 경로가 길어져 지연이 추가된다.
효율성 주장의 실제 비교 기준
마이크로소프트는 서로 구분해야 할 두 가지 주요 비교 수치를 제시했다. 메가와트당 토큰 처리량이 40% 늘어난다는 전망은 Maia 300과 선도 GPU 시스템을 비교한 것이다. 랙당 토큰 출력량이 최대 7배라는 주장은 Maia 300 완전 구성 랙과 Maia 200을 비교한다.
토큰은 언어 모델이 처리하는 텍스트 단위로, 완전한 단어보다 단어의 일부인 경우가 많다. 토큰 처리량은 출력량을 측정하지만 그 자체로 답변의 품질, 사용자별 응답 속도, 모든 모델에서의 성능을 입증하지는 않는다.
아키텍처 문서에서는 Maia 200 대비 효율성을 서로 다른 방식으로 표현한다. 랙 관련 내용에서는 와트당 성능이 최대 2.5배 높다고 했고, 결론부 비교에서는 2.5배 이상이라고 밝혔다. 상세한 시험 조건이 없는 만큼 두 표현을 하나의 보장된 결과로 합쳐서는 안 된다.
가속기 수가 두 배로 늘어난 만큼 랙 출력량 증가에는 칩 밀도도 일부 기여한다. 7배 처리량 주장은 칩 수 증가만으로 설명되지 않는다. 메모리, 소프트웨어, 네트워킹, 실행 효율 개선이 함께 반영된 결과다. 개별 칩 성능이 7배 향상된다는 뜻으로 읽어서는 안 된다.
가속기 950와트 사양과 랙 전력 용량 167킬로와트도 서로 다른 수치다. 950와트에 96을 곱하면 91.2킬로와트다. 랙 수치에는 호스트, 메모리, 네트워킹, 전력 공급 등 시스템 전반이 포함되므로 두 값은 서로 다른 범위를 나타낸다.
배치를 좌우하는 냉각과 전력
랙당 167킬로와트인 Maia 300은 전력과 열을 통합적으로 관리해야 한다. 마이크로소프트는 액체 냉각으로 가속기, 전압 조정기, 네트워크 스위치 칩에서 발생하는 열 부하의 80% 이상을 제거한다고 밝혔다. 메모리와 스토리지 등 나머지 구성 요소는 공랭식으로 냉각한다.
시설에 용수를 공급할 수 있으면 랙을 직접 연결하고, 공랭식 데이터센터에서는 열교환기를 사용할 수 있다. 이중 전력 공급선과 자동 절체 스위치는 한쪽 전력 공급선을 정비로 차단해도 운영을 이어갈 수 있도록 한다.
랙과 열 단위의 전력 측정값은 데이터센터 운영에 활용된다. 마이크로소프트에 따르면 이 정보는 알고리즘이 전력을 배분하고, 작업을 배치하며, 가용 전력과 냉각 용량에 맞춰 배치 밀도를 조정하는 데 도움이 된다.
마이크로소프트의 알리스테어 스피어스 총괄 매니저는 새 아키텍처를 설명하며 운영 비용과의 연관성을 밝혔다.
더 나은 성능을 내고 보유 전력을 더 효율적으로 활용할 새로운 아키텍처가 필요합니다.
따라서 기가와트 규모 배치 목표는 칩 구매 계획에 그치지 않는다. 랙과 네트워크, 전력 용량, 냉각 설비가 필요한 대규모 인프라 투자다. 공개된 발표에는 해당 용량을 배치할 장소와 지역별 배분, 완료 일정이 제시되지 않았다.
출발점이 되는 Maia 200
마이크로소프트는 Maia 200이 이미 마이크로소프트 코파일럿을 비롯한 실제 운영 작업에 투입됐으며, 새 모델을 개발하는 MAI 팀도 지원하고 있다고 밝혔다. Maia 200은 오픈AI 모델과 자체 MAI 모델, 주요 오픈소스 모델 제품군을 구동하며 미국과 유럽, 호주에 배치돼 있다.
GitHub Copilot과 Microsoft Foundry의 도입 시점에 대해서는 보도 내용이 엇갈린다. 두 서비스가 이미 Maia 200에서 실제 운영 작업을 처리하고 있다고 전한 보도도 있다. 하지만 마이크로소프트는 10월 12일 발표에서 두 서비스가 2026년 말까지 합류할 예정이라고 밝혔다. 현황을 설명할 때는 이 공식 일정을 기준으로 삼는 편이 더 확실하다.
마이크로소프트는 Teams, Copilot, Cowork 경험에 내장된 AI 기능에서 선도 GPU 인프라보다 와트당 토큰 처리량이 최대 1.7배 많다고 밝혔다. 향후 활용 분야로는 코딩 지원, 클라우드 모델 서비스, MAI의 추론 및 데이터 생성, Dragon Copilot을 통한 임상 업무 지원을 제시했다.
발표 및 계획된 주요 일정은 다음과 같다.
- 2023년: 마이크로소프트, 첫 자체 AI 가속기 Maia 100 공개.
- 2026년 1월: 마이크로소프트, Maia 200 발표.
- 2026년 10월 12일: 마이크로소프트, Maia 300 아키텍처 공개 및 Maia 200의 실제 운영 작업 투입 확인.
- 2026년 말까지: GitHub Copilot과 Microsoft Foundry가 Maia 200에 합류할 예정.
- 2027년: Maia 300의 실제 제품 배치와 Maia 제품군의 수 기가와트 규모 확장 시작.
마이크로소프트 기술 펠로 짐 클리와인은 Maia 300을 통해 Microsoft 365 Copilot의 일부 기능이 더 빨라질 것이라고 말했다. 사용자 응답 시간이 얼마나 개선될지에 관한 구체적인 수치는 발표되지 않았다.
TSMC와 대만 서버 산업의 역할 확대
Maia 300을 통해 TSMC는 또 다른 대형 클라우드 기업의 첨단 AI 하드웨어 공급망에 참여하게 됐다. 가속기는 마이크로소프트가 설계하고, TSMC가 N2P 컴퓨팅 칩렛을 제조한다. 구매 GPU에 대한 의존도를 낮춰도 반도체 제조 역량에 대한 의존까지 없어지는 것은 아니다.
TSMC는 2나노 공정 생산 시설 5곳이 2026년 가동을 확대할 예정이라고 밝혔다. 신주에 2곳, 가오슝에 3곳이 들어선다. N2P 양산은 2026년 하반기로 예정돼 있어 마이크로소프트의 2027년 배치 계획보다 앞선다.
시장 추정치에 따르면 TSMC의 월간 2나노 생산능력은 2026년 말 9만~10만 장, 2027년 중반 11만 장 이상에 이를 전망이다. 이 공정이 하반기 매출의 약 10%를 차지할 수 있다는 추정은 전망치일 뿐, Maia 주문에서 확정된 매출을 뜻하지 않는다.
TSMC가 제시한 목표에는 2나노 공정 첫해의 웨이퍼 생산량을 2023년 3나노 공정 첫해보다 45% 늘리는 것과, 2026~2028년 2나노 생산능력을 연평균 70% 성장시키는 계획이 포함된다. 어느 목표도 마이크로소프트가 해당 생산량에서 차지할 비중을 확정하지는 않는다.
시장 전반의 전망은 폭스콘, 콴타, 위스트론, 위윈, 페가트론, 인벤텍, 컴팔, 미택 등을 AI 서버 수요 증가의 잠재적 수혜 기업으로 꼽는다. AI 서버 출하량은 2026년 350만 대, 2027년 520만 대로 전망된다. 반올림한 수치로 계산하면 증가율은 약 49%로, 별도로 제시된 46% 전망보다 약간 높다.
또 다른 전망은 2026년 주요 미국 클라우드 기업의 자본지출이 96% 증가하고, 증가분의 약 절반이 데이터센터 건설에서 나올 것으로 본다. 폭스콘은 연간 AI 랙 출하량이 두 배 이상 늘어날 것으로 예상하며, 콴타는 AI 서버 성장률을 최소 100%로 잡고 있다. 이는 업계 전반의 전망이며 Maia 300 공급 계약이 확인됐다는 뜻은 아니다.
Nvidia도 계획에 포함
마이크로소프트의 목표는 Maia를 자사 제품과 서비스의 주력 추론 시스템으로 만드는 것이지, 애저 전반의 모든 GPU를 대체하는 것이 아니다. 새 모델 학습은 별도의 과제이며, 마이크로소프트는 이를 위해 Nvidia, AMD와 협력을 이어가고 있다.
마이크로소프트는 7월 실적 발표 콘퍼런스콜에서 Nvidia Vera Rubin 및 AMD Helios 시스템을 배치하는 최초의 클라우드 사업자 가운데 하나가 될 것으로 예상한다고 밝혔다. 에버코어 ISI는 2027년 1분기까지 마이크로소프트의 AI 칩 지출 중 Maia가 약 10%를 차지할 수 있다고 추정한다. 지출 비중과 실제 추론 작업 처리 비중은 다르므로, 이 추정치는 마이크로소프트의 운영 목표 달성 정도를 직접 보여주지 않는다.
현재 Maia 가속기는 다른 기업이 시간 단위로 임대할 수 없다. 외부에서 성능을 평가하기 어렵고, 공개된 성능 주장이 특정 모델을 사용하는 고객에게도 같은 결과를 보장하지 않는다는 뜻이다.
배치 수량과 기가와트급 용량의 완성 시점, 상세한 벤치마크 조건, Maia와 구매 GPU가 맡게 될 작업의 최종 배분은 여전히 불확실하다. 마이크로소프트는 2026년 11월 샌프란시스코와 온라인에서 열리는 Ignite 2026에서 전략 정보를 더 공개할 예정이다.
주요 내용
- Maia 300의 컴퓨팅 칩렛에는 TSMC N2P 공정이 적용되며, 생산 제품 배치는 2027년 시작된다.
- 가속기마다 HBM4 메모리 288GB와 초당 최대 18TB의 메모리 대역폭을 갖춘다.
- 완전 구성 랙 하나에는 전력 용량 167kW에 가속기 96개가 탑재된다.
- 마이크로소프트는 선도 GPU 시스템보다 메가와트당 토큰 처리량이 40% 많고, Maia 200 랙보다 출력량이 최대 7배 높을 것으로 예상한다.
- Maia 제품군은 2027년부터 수 기가와트 규모로 배치를 확대할 예정이지만 완료 시한은 공개하지 않았다.
- Maia 300 배치 규모가 100만 개를 넘을 것이라는 보도는 마이크로소프트 발표에서 확인되지 않았다.
- 마이크로소프트는 자체 하드웨어와 함께 Nvidia 및 AMD 시스템도 배치할 계획이다.
