알리바바 클라우드, 에가이온 풀링 시스템으로 엔비디아 GPU 사용량 줄여

읽는 시간 8분

최종 업데이트: October 19, 2025 • 12:47 UTC

알리바바 클라우드, 에가이온 풀링 시스템으로 엔비디아 GPU 사용량 줄여

에가이온의 내부: 알리바바 클라우드가 AI용 GPU 수요를 줄인 방법

알리바바 클라우드는 에가이온이라는 새로운 시스템을 통해 대규모 언어 모델을 대규모로 서비스하는 데 필요한 엔비디아 그래픽처리장치(GPU) 수를 크게 줄였다고 밝혔다. 자사 모델 마켓플레이스에서 진행한 프로덕션 베타 테스트에서 에가이온은 최대 720억 개 매개변수를 가진 모델을 포함해 수십 개 모델을 처리하는 데 필요한 엔비디아 H20 GPU 수를 1,192개에서 213개로 줄였다. 같은 수준의 서비스를 제공하면서 가속기 배치량을 82% 감축한 것이다. 연구 결과는 컴퓨터 시스템 연구의 주요 학술대회인 서울 운영체제 원리 심포지엄에서 발표됐다. 클라우드 고객에게 이 주장은 비용과 전력 절감, 품귀 칩의 가용성 향상, 동일한 플랫폼에서 여러 모델을 호출할 때 더 일관된 경험으로 이어질 수 있다.

에가이온의 내부: 알리바바 클라우드가 AI용 GPU 수요를 줄인 방법
에가이온은 어떤 문제를 해결하기 위해 만들어졌나?
시스템 작동 방식
토큰 단위 자동 확장
메모리 재사용 및 KV 캐시 조정
프로덕션 베타에서 측정한 결과
클라우드 고객과 개발자에게 주는 의미
엔비디아, 중국과 AI 칩 현황
에가이온과 다른 접근 방식 비교
남은 기술적 질문과 다음 단계
핵심 요약

이번 성과는 모델 마켓플레이스 시대에 커지고 있는 문제를 겨냥한다. 클라우드 제공업체들은 이제 개발자들에게 한 번에 수천 개 모델을 서비스한다. 알리바바의 큐웬 계열이나 오픈 모델 딥시크 같은 일부 모델에 트래픽 대부분이 몰린다. 나머지 모델 다수는 오랫동안 유휴 상태로 있다가 짧은 시간 동안 요청이 몰린다. 기존 서빙 스택은 각 모델 인스턴스에 GPU 전체 또는 큰 GPU 분할 영역을 전용으로 할당한다. 모델 호출이 뜸할 때는 할당된 GPU가 충분히 활용되지 않는다. 충분히 준비된 복제본이 없는 상태에서 요청이 들어오면 플랫폼은 용량을 늘리고, 그 대가로 로딩 시간이 길어지고 처리량이 낮아진다. 에가이온은 여러 모델에 걸쳐 GPU 자원을 풀링한 뒤 더 세밀한 시간 단위로 작업을 스케줄링해 각 가속기의 활용률을 높이는 방식으로 이 계산을 바꾸려 한다.

알리바바 클라우드는 에가이온을 낭비 없이 동시 LLM 워크로드를 서비스하는 방법으로 소개한다. 이 시스템은 적극적인 다중 모델 스케줄링과 메모리를 활성 상태로 유지하고 모델 간 작업을 최소한의 지연으로 전환하는 메커니즘을 결합한다. 베이징대와 알리바바 클라우드 연구팀에 따르면, 그 결과 처리량은 늘고 대기열은 줄었으며 활용률이 낮은 서비스에 묶인 칩은 감소했다.

에가이온은 어떤 문제를 해결하기 위해 만들어졌나?

현대 AI 플랫폼은 수요의 롱테일 문제에 직면해 있다. 소수의 인기 모델이 추론 트래픽 대부분을 끌어들인다. 인기가 덜한 모델도 개발자에게는 여전히 중요하지만 요청이 간헐적으로 들어온다. 알리바바 클라우드가 측정한 결과, 마켓플레이스 GPU의 17.7%가 전체 요청의 1.35%만 처리하는 데 할당돼 있었다. 모델을 전용 가속기에 고정해 두면 클라우드는 유휴 시간과 잦은 콜드 스타트 비용을 부담하게 된다. 트래픽 패턴이 급격히 몰리거나 예측하기 어려울 때 특히 그렇다.

추론 서빙은 외부에서 보기에는 단순해 보이지만 내부 구조는 복잡하다. 대규모 언어 모델은 가중치와 실행 상태를 GPU 메모리에 보관한다. 생성 과정에서 시스템은 이미 생성된 토큰의 중간 활성값을 저장하는 키-값 캐시를 유지한다. 디스크나 네트워크를 통해 모델 가중치를 불러오는 데는 시간이 오래 걸린다. 키-값 캐시를 준비하는 데도 시간이 걸린다. 기존에는 GPU를 한 모델에서 다른 모델로 전환하려면 비용이 큰 언로드와 재로드가 필요했다. 이런 오버헤드 때문에 자주 공유하기가 어려웠고, 대부분의 가속기는 기껏해야 한두 개 모델에 전용으로 할당됐다. 에가이온은 이런 전환을 훨씬 효율적으로 관리해 큰 부담 없이 GPU를 여러 모델이 시간 분할 방식으로 공유하도록 설계됐다.

시스템 작동 방식

에가이온은 GPU를 공유 풀로 취급하고 매우 세밀한 단위로 실행 작업을 결정하는 다중 모델 서빙 스택이다. 요청 단위나 모델 복제본 단위로 확장하는 대신 토큰 단위로 결정을 내린다. 스케줄러는 중요한 데이터 구조를 메모리에 준비된 상태로 유지하면서 같은 GPU에서 서로 다른 사용자와 모델의 토큰 생성을 교차 실행할 수 있다. 목표는 응답 시간을 엄격한 한도 안에서 유지하면서 초당 유효 작업량을 극대화하는 것이다.

토큰 단위 자동 확장

핵심 아이디어는 토큰 단위로 용량을 확장하는 것이다. 즉 에가이온은 한 모델의 요청 처리를 시작한 뒤, 여유 용량이 생기면 같은 배치와 커널 실행 안에서 다른 모델의 토큰을 기회적으로 스케줄링할 수 있다. 논문에 따르면 에가이온은 GPU당 모델 두세 개만 다중화하는 대체 풀에 비해 2~2.5배 높은 요청 도착률을 지속적으로 처리하거나 1.5~9배 더 많은 굿풋을 제공했다. 토큰 단위로 작동하기 때문에 새 복제본을 시작할 때 발생하는 긴 중단을 피하고 특정 모델에 요청이 급증해도 빠르게 대응할 수 있다.

메모리 재사용 및 KV 캐시 조정

에가이온은 구성 요소를 재사용하고 메모리를 명시적으로 관리하며 모델 간 키-값 캐시를 세밀하게 동기화해 오버헤드를 낮춘다. 연구진은 순진한 방식과 비교해 자동 확장 오버헤드가 97% 줄었다고 밝혔다. 더 효율적인 메모리 관리와 캐시 처리로 같은 GPU에서 여러 모델을 계속 준비된 상태로 유지할 수 있다. 이에 따라 기존 다중 모델 시스템의 일반적인 한계인 GPU당 두세 개를 넘어, 가속기 하나가 최대 일곱 개 모델을 동시에 지원할 수 있다.

프로덕션 베타에서 측정한 결과

알리바바 클라우드는 자사 모델 마켓플레이스에서 3개월 넘게 에가이온 베타 테스트를 진행했다고 밝혔다. 이 배포 환경에서는 최대 720억 개 매개변수를 가진 모델을 포함해 수십 개 모델을 서비스했다. 이 기간에 같은 서비스 부하를 충족하는 데 필요한 GPU 수가 엔비디아 H20 1,192개에서 213개로 줄어 자원을 82% 절감했다고 연구팀은 보고했다. 모델 간 전환에 따른 지연 페널티도 97% 줄었다. 덕분에 하루 동안 인기 모델과 롱테일 모델 사이에서 워크로드가 바뀌는 상황에 더 효과적으로 대응할 수 있다.

마켓플레이스 환경은 실제 동시성, 다양한 요청 크기, 폭넓은 모델을 다루기 때문에 강력한 시험대가 된다. 이 환경에서 에가이온은 가속기 활용률을 높이고, 거의 쓰이지 않는 서비스의 유휴 시간을 줄였으며, 더 세밀한 스케줄링으로 수요가 높은 모델의 응답성을 유지했다. 토큰 단위 스케줄링과 신중한 메모리 재사용을 결합한 것이 GPU 사용 시간당 유효 작업량을 높이는 핵심으로 보인다.

베이징대와 알리바바 클라우드 연구팀은 간헐적으로 수요가 발생하는 모델에 GPU를 전용 할당하는 업계 관행이 비용 측면에서 손실을 초래했다고 주장했다. 연구팀은 논문에서 결론을 직접 제시했다.

에가이온은 마켓플레이스에서 동시 LLM 워크로드를 서비스하는 데 드는 과도한 비용을 밝혀낸 최초의 연구다.

이 주장은 여러 모델 마켓플레이스에서 관찰되는 양상과 맞닿아 있다. 제공업체들은 롱테일 모델이 용량을 묶어 두고 모두의 비용을 끌어올린다는 점을 오래전부터 알고 있었다. 에가이온은 다중 모델 서비스에 맞춰 스케줄링과 메모리를 설계하면 이런 낭비를 해결할 수 있음을 보여준다.

클라우드 고객과 개발자에게 주는 의미

고객 입장에서는 처리량 단위당 GPU 수가 줄어 가격 인하, 더 넉넉한 할당량, 더 예측 가능한 성능으로 이어질 수 있다. 클라우드가 가속기를 대략 5분의 1만 사용해 같은 트래픽을 처리할 수 있다면, 수요가 몰리는 시기에 쓸 용량을 확보하고 신규 배포 대기 시간을 줄일 수 있다. 하나의 애플리케이션에서 여러 모델을 연결하는 개발자도 트래픽이 엔드포인트 사이에서 이동할 때 콜드 스타트와 복제본 교체로 생기는 병목을 덜 겪을 수 있다.

구매자가 고려해야 할 실무적 우려도 있다. 다중 모델 공유는 한 테넌트의 워크로드가 다른 테넌트의 경험을 저하하거나 데이터를 유출하지 않도록 격리를 유지해야 한다. 스케줄러는 우선순위와 공정성 규칙을 준수해 인기 모델의 빠른 지연 시간을 유지하면서 느린 모델도 계속 처리되도록 해야 한다. 논문에 따르면 에가이온의 토큰 단위 결정은 서비스 품질 목표를 고려해 설계됐다. 그렇더라도 클라우드 업체가 더 큰 규모의 서버군에 풀링을 확대하려면 긴 꼬리 지연을 통제할 수 있는 강력한 관측 기능과 요청 제한이 필요하다.

엔비디아, 중국과 AI 칩 현황

에가이온은 고성능 가속기의 전 세계 공급이 빠듯하고 중국을 대상으로 한 첨단 AI 칩 수출 통제가 이어지는 가운데 등장했다. 엔비디아는 관련 규정을 준수하기 위해 중국 시장용 H20을 개발했으며, 여러 중국 업체가 추론 작업에 이 장치를 사용한다. 한편 화웨이와 캠브리콘 같은 중국 설계업체들은 국산 대안을 개발하고 있다. 각 GPU가 더 많은 작업을 처리하도록 하는 소프트웨어 효율성은 어느 시장에서나 가치가 있지만, 특히 최고 성능의 칩에 대한 접근이 제한된 곳에서 유용하다.

엔비디아 경영진은 정책 제한으로 중국 첨단 칩 부문 매출이 단기 재무 전망에 거의 반영되지 않거나 전혀 반영되지 않았다고 밝혔다. 이런 배경에서 알리바바 클라우드의 성과는 더욱 중요하다. 대형 제공업체들이 소프트웨어로 이미 설치된 장비의 활용도를 높일 수 있다면 최상위 가속기 공급이 제한된 상황에서도 서비스를 계속 확장할 수 있다.

에가이온과 다른 접근 방식 비교

최근까지 대부분의 다중 모델 서빙 시스템은 오버헤드가 이점을 넘어설 때까지 GPU 한 대에서 두세 개 모델만 안정적으로 다중화할 수 있었다. 모델이 추가될 때마다 컨텍스트 전환과 캐시 미스가 늘고 지연 시간 목표를 깨뜨릴 수 있는 지터 위험도 커졌다. 에가이온은 이런 전환 비용을 줄이고 핵심 데이터 구조를 여러 모델에 걸쳐 상주시키는 데 초점을 맞췄다. 보고된 조건에서 가속기 하나로 최대 일곱 개 모델을 지원할 수 있는 이유다.

처리량이 가장 높은 엔드포인트나 엄격한 격리 요건이 있는 워크로드에는 전용 인스턴스가 여전히 적합하다. 반대편에 있는 서버리스 추론은 요청이 들어올 때 모델 복제본 전체를 실행하므로 트래픽이 적은 모델에는 경제적일 수 있지만 시작 시간이 길다는 단점이 있다. 에가이온은 중간 방식을 취한다. 용량을 풀링하고 모델을 준비된 상태로 유지한 뒤 작은 단위로 작업을 스케줄링해, 지연 시간의 큰 희생 없이 전체 활용률을 높인다.

남은 기술적 질문과 다음 단계

베타 테스트는 상당한 규모의 환경인 알리바바 클라우드 모델 마켓플레이스에서 진행됐지만, 전체 서비스 범위를 대표하는 것은 아니다. 에가이온을 다른 지역과 엔터프라이즈 전용 클러스터 또는 온프레미스 스택 같은 다양한 제품군으로 확대하면 서로 다른 제약 조건에서 설계를 검증할 수 있다. 모델의 컨텍스트 길이가 늘어나거나 멀티모달 모델이 언어와 이미지·음성을 결합할 때 스케줄러가 어떻게 작동하는지도 또 다른 과제다. 이런 시나리오는 메모리와 캐시 정책에 새로운 부담을 줄 수 있다.

이종 가속기와 여러 노드에 걸친 공유도 연구가 필요한 분야다. 스케줄러가 GPU 한 대가 아니라 네트워크 패브릭을 통해 여러 GPU를 풀링할 수 있다면, 연결망 오버헤드를 낮게 유지하고 메모리 배치를 예측 가능하게 관리하는 조건에서 추가 성능 향상을 기대할 수 있다. 지금까지 발표된 근거는 단일 장치 풀링만으로도 큰 개선 효과를 낼 수 있음을 보여준다. 이는 오늘날 추론 워크로드에 이미 상당한 실용적 진전이다.