GPU 추가 없이 AI 요청 더 많이 처리
삼성전자가 메모리 할당 방식과 프로세서 간 데이터 이동 방식을 바꿔 인공지능 서버가 동시에 더 많은 요청을 처리할 수 있는 방법을 개발했다. 공개된 특허 출원에는 대규모 언어 모델이 어떤 요청을 먼저 처리할지 결정하기 위해 대기 시간, 데이터 전송 비용, 향후 메모리 수요를 고려하는 소프트웨어가 설명돼 있다.
목차
목표는 그래픽처리장치(GPU) 메모리가 가득 찼을 때 발생하는 지연을 줄여 기존 서버로 더 많은 사용자에게 서비스를 제공하는 것이다. 삼성전자는 이 발명을 특정 소비자 제품의 기능이 아닌, 학습된 모델을 실행해 질문에 답하는 과정인 AI 추론을 위한 인프라 기술로 소개했다.
삼성전자의 관련 연구는 메모리 관리 개선으로 얻을 수 있는 잠재적 절감 효과를 구체적으로 보여준다. NVIDIA H100 NVL GPU 8개와 삼성전자 솔리드스테이트드라이브(SSD) 10개를 사용한 별도의 스토리지 실험에서 삼성전자는 동시 접속자 최대 240명까지 첫 출력 토큰이 나올 때까지의 대기 시간을 1초 미만으로 유지했다. 스토리지 오프로드를 적용하지 않았을 때는 접속자가 140명을 넘어서면서 대기 시간이 늘기 시작했다.
특허와 스토리지 실험, 삼성SDS의 또 다른 프로젝트는 같은 문제의 서로 다른 측면을 다룬다. 고가의 AI 프로세서가 정보 이동이나 재구성에 지나치게 많은 시간을 쓸 수 있다는 점이다. 이런 작업을 줄이면 운영자는 기존 장비로 더 많은 답변을 제공하고, 언어 모델이 처리하고 생성하는 작은 텍스트 단위인 토큰당 비용을 낮출 수 있다.
메모리가 답변을 지연시키는 이유
GPU는 많은 계산을 동시에 수행하므로 AI 응답 생성에 유용하다. 하지만 GPU의 고속 로컬 메모리는 용량이 제한적이다. 여러 대화가 이 공간을 놓고 경쟁하며, 특히 사용자가 긴 문서를 제출하거나 긴 답변이 필요한 질문을 할 때 부담이 커진다.
언어 모델은 키 밸류 캐시(key value cache), 줄여서 KV 캐시라고 하는 구조에 이전 계산의 임시 기록을 보관한다. 이를 작업 메모라고 생각하면 된다. 이 기록을 유지하면 모델은 이미 처리한 내용을 반복해서 계산하지 않고 답변을 이어갈 수 있다.
삼성전자의 스토리지 실험에서는 세션마다 약 3 GB의 KV 캐시가 필요했다. 세션 240개라면 전체 작업에서 약 720 GB의 캐시 데이터가 발생한다. 상당한 연산 능력을 갖춘 서버라도 많은 사용자에게 서비스를 제공할 때 메모리 문제가 생길 수 있는 이유를 이 수치가 보여준다.
고속 GPU 메모리가 부족해지면 서버는 일부 데이터를 중앙처리장치(CPU)에 연결된 메모리로 옮겼다가 필요할 때 다시 가져올 수 있다. 이런 전송에는 시간이 걸린다. 폐기한 계산 결과를 다시 만드는 작업에도 자원이 든다. 삼성전자의 특허는 이러한 자원 경쟁을 더 효율적으로 관리하는 데 초점을 맞춘다.
특허에 담긴 스케줄링 방식
「대규모 언어 모델의 다중 사용자 요청 처리를 위한 방법 및 서버」라는 제목의 삼성전자 특허 출원은 각 요청 처리 비용을 고려하는 스케줄러를 설명한다. 입력 항목에는 사용자의 대기 시간, 데이터 전송에 필요한 시간, 요청이 사용할 메모리 용량 등이 포함된다.
서버는 이 계산을 바탕으로 처리 순서를 정한다. 실행 준비가 된 것처럼 보이는 요청도 먼저 상당한 데이터 전송이 필요할 수 있지만, 다른 요청은 이미 가까이에 있는 데이터를 사용할 수 있기 때문에 중요하다. 이런 선택을 조율하면 메모리 재배치에 드는 시간을 줄일 수 있다.
이 방법은 이전에 CPU 메모리로 옮긴 정보가 아직 그곳에 있는지도 확인한다. 사용할 수 있는 사본이 있으면 서버는 모든 데이터를 다시 복사하는 대신 필요한 부분만 옮길 수 있다. 또한 GPU가 한 사용자의 응답을 생성하는 동안 다른 사용자의 데이터를 전송해, 유용한 연산과 준비 작업을 동시에 진행할 수 있다.
삼성전자는 일부만 사용할 수 있는 메모리를 활용하는 방법도 설명한다. 새 요청에 공간 5단위가 필요하지만 3단위만 비어 있다면, 5단위가 모두 확보될 때까지 기다리지 않고 들어맞는 부분부터 처리할 수 있다. 실제 목표는 사용량이 많은 시간대에 제한된 자원을 계속 활용하는 것이다. 이 특허 방식의 상용화 계획이나 응답 시간 및 처리량 개선을 측정한 수치는 공개되지 않았다.
스토리지 오프로드 실험에서 측정한 성과
삼성전자의 KV 캐시 백서는 재사용 가능한 캐시 데이터를 NVMe 솔리드스테이트드라이브에 보관하는 다른 접근법을 살펴본다. NVMe는 PCIe 연결을 통해 저장장치와 컴퓨터가 빠르게 통신할 수 있도록 하는 기술이다.
테스트에는 NVIDIA H100 NVL GPU 8개, 병렬로 실행되는 LLaMA-3.1 8B 추론 서비스 8개, 추론 서비스 소프트웨어 vLLM, 재사용 가능한 KV 캐시 데이터를 관리하는 오픈소스 계층 LMCache가 사용됐다. 삼성전자 PM1753 드라이브 10개는 데이터를 여러 드라이브에 분산해 전송 성능을 높이는 RAID-0 배열로 구성됐다.
삼성전자는 사용자 부하를 20명 단위로 늘려 동시 접속자 280명까지 측정했다. 사용자마다 20초에 한 번씩 질의를 제출해 초당 1~14건의 요청이 발생하는 작업 부하를 만들었다. 따라서 이 실험은 반복 요청과 캐시 이동이 정해진 패턴으로 발생하는 환경을 시험했다.
세션이 GPU 사이를 이동할 때 스토리지 방식의 효과가 나타난다. 세션이 옮겨 간 GPU는 긴 프롬프트를 처음부터 다시 처리하는 대신 저장된 계산 결과를 불러올 수 있다. 한 시스템 안에서는 외부 캐시를 CPU 메모리나 스토리지에 보관할 수 있다. 여러 시스템을 사용할 경우에는 관련 서버들이 접근할 수 있는 공유 리소스가 필요하다고 삼성전자는 설명한다.
더 빨라진 응답 시작과 텍스트 생성
삼성전자는 서비스 성능을 첫 토큰 생성 시간과 초당 토큰 수라는 두 가지 측면에서 측정했다. 첫 번째는 답변이 표시되기 시작할 때까지 사용자가 기다리는 시간이고, 두 번째는 시스템이 일정 시간 동안 생성하는 텍스트의 양이다.
스토리지 오프로드를 적용한 테스트에서는 동시 접속자 240명까지 첫 토큰 생성 시간을 1초 미만으로 유지했다. 오프로드를 적용하지 않은 경우에는 접속자 140명을 넘어서면서 지연 시간이 늘었다. 삼성전자는 이를 비슷한 지연 시간으로 1.7배 많은 사용자를 지원한 성과라고 설명한다. 접속자 20~140명 구간에서는 오프로드를 적용한 구성이 첫 대기 시간을 약 0.5초로 유지했다.
사용자 240명일 때 오프로드를 적용한 시스템은 출력 토큰을 약 1.5배 더 많이 생성했다. 오프로드를 적용하지 않은 구성은 사용자 약 160명부터 포화되기 시작한 반면, 저장된 캐시를 재사용한 시스템은 수요가 증가하면서 출력량도 계속 늘었다.
삼성전자는 프롬프트를 반복 처리하는 일을 줄인 것이 성능 향상의 원인이라고 설명한다. 언어 모델은 먼저 입력을 처리하는 프리필(prefill) 단계를 거친 다음, 디코드(decode) 단계에서 토큰을 하나씩 생성해 응답한다. 저장된 계산 결과를 재사용하면 답변을 생성하는 데 쓸 수 있는 GPU 용량이 늘어난다.
추가 스토리지의 비용 회수 시점
삼성전자의 비용 분석에 따르면 추가 하드웨어는 수요가 많을 때 효율을 높이더라도 비용이 발생한다. 동시 접속자 0~160명 구간에서는 두 구성의 토큰 처리량이 비슷했으며, NVMe 부품이 추가된 오프로드 구성은 비용이 약 4% 더 들었다.
사용자가 180명을 넘어서면 출력량 증가로 추가 스토리지 비용을 상쇄할 수 있었다. 사용자 240명일 때 삼성전자는 3년 운영 기간을 기준으로 초당 토큰 수를 달러당 비용으로 나눈 비용 효율이 약 1.5배 개선됐다고 계산했다.
다시 말해 이 계산에서 달러당 출력량이 1.5배 늘었다는 것은 출력 단위당 비용이 약 3분의 1 줄었다는 뜻이다. 이 비교는 삼성전자가 시험한 장비와 작업 부하에 해당한다. 실제 서비스의 경제성은 모델, 대화 길이, 트래픽, 장비 비용에도 좌우된다.
따라서 클라우드 사업자가 어떤 구성을 선택할지는 수요에 따라 달라진다. 기존 GPU 용량으로 작업 부하를 충분히 처리할 수 있다면 추가 스토리지로 초기 비용이 늘어날 수 있다. 혼잡이 계속되는 상황에서는 캐시 재사용을 통해 서버를 추가하기 전까지 같은 GPU 설치 환경으로 더 많은 작업을 지원할 수 있다.
냉각 팬까지 이어지는 전력 절감
삼성전자는 스토리지 실험에서 전력 사용량도 줄었다고 측정했다. 사용자 240명일 때 와트당 성능이 약 2.9배 개선됐다. 전체 시스템 전력은 오프로드를 적용하지 않은 구성의 약 53%로 떨어져 약 47% 감소했다.
백서에 따르면 NVMe 드라이브 추가로 전력 소비가 약 6% 늘었다. 하지만 GPU와 냉각에 필요한 전력 감소분이 이를 웃돌았다. 집중적인 프리필 계산을 반복하는 작업이 줄어들면서 GPU 사용률은 약 49%로 측정됐다.
냉각 팬에서도 변화가 나타났다. 오프로드를 적용하지 않았을 때는 모든 시스템 팬이 예상 최대 속도인 분당 15,000회로 작동했다. 오프로드를 적용하자 CPU, 메모리, 스토리지를 담당하는 팬은 분당 약 7,800회, GPU 쪽 팬은 분당 약 9,800회로 작동했다.
이 결과는 특정 부품이 자체적으로는 전력 수요를 늘리면서도 서버 전체의 전력 소비는 줄일 수 있음을 보여준다. 이 실험에서는 저장된 계산 결과를 불러오는 데 전력을 쓰는 대신 계산을 반복하고 그 과정에서 발생한 열을 제거하는 데 드는 더 큰 에너지 비용을 줄였다.
스토리지는 순간적인 수요 급증을 감당해야
삼성전자의 측정 결과는 이 방식에 여유 있는 드라이브 용량만 필요한 게 아니라는 점도 보여준다. 스토리지 전체 처리량은 초당 최대 37 GB에 달했고, GPU에서 요청이 동시에 발생하면 최고 수요가 평균의 거의 두 배까지 치솟을 수 있었다.
동시에 처리 중인 스토리지 작업 수는 보통 약 160건이었지만 800건까지 급증할 수 있었다. 삼성전자는 응답성을 유지하면서 이런 급증을 흡수하려면 평균 요구량의 최소 두 배에 해당하는 스토리지 대역폭을 확보해야 한다고 권고한다.
PM1753의 사양상 순차 처리량은 초당 최대 14.5 GB, 임의 읽기 작업은 초당 330만 건이다. 테스트 작업 부하에서 스토리지 활동의 약 92%는 읽기, 8%는 쓰기였다. LMCache는 약 33 MB 크기의 대용량 캐시 블록을 이동했다.
여러 서비스가 동시에 대용량 블록을 읽으면 요청이 서로 섞인 흐름을 만들 수 있다. 따라서 많은 사용자가 한꺼번에 접속해도 스토리지 하위 시스템은 전송 성능을 유지해야 한다. 캐시 용량, 전송 속도, 스케줄링이 모두 저장된 정보를 GPU에 충분히 빠르게 전달할 수 있는지를 좌우한다.
삼성SDS, 메모리 안에서 연산
삼성SDS는 데이터 이동 문제에 또 다른 방식으로 대응하고 있다. 삼성SDS의 PAISE 연구 소개는 IEEE HPCA 2025에서 발표한 PIM 가속 추론 스케줄링 엔진을 설명한다. PAISE는 메모리 내 처리(PIM)를 활용한다. PIM은 메모리 칩 안에 연산 장치를 배치해 일부 계산이 데이터가 저장된 곳에서 이뤄지도록 하는 기술이다.
삼성SDS는 삼성전자의 Aquabolt-XL PIM 하드웨어에 시스템을 구현하고 검증했으며, GPT-2, OPT, Llama2 모델을 평가했다. 추론 속도는 최대 48.3% 개선되고 전력 소비는 약 11.5% 감소했다고 밝혔다.
PAISE는 어떤 연산을 메모리 안에서 실행할지 결정하고 하드웨어에 맞춰 데이터를 배치한다. 또한 작은 어텐션 계산을 묶어 병렬로 더 효율적으로 처리할 수 있도록 한다. 삼성SDS는 KV 캐시 갱신 속도가 빨라지고, 함께 처리하는 요청 묶음을 뜻하는 배치 크기가 클수록 성능 향상 폭이 커진다고 밝혔다.
세 프로젝트는 서버 내 서로 다른 지점에서 작동한다. 특허는 GPU와 CPU 메모리 사이의 요청과 전송을 스케줄링한다. 스토리지 실험은 나중에 재사용할 캐시를 드라이브에 보관한다. PAISE는 일부 연산을 메모리 하드웨어 안에서 처리한다. 세 프로젝트는 AI 응답에 필요한 정보를 이동하거나 재구성하는 데 드는 시간과 에너지를 줄이기 위해 삼성전자가 여러 방안을 추진하고 있음을 보여준다.
핵심 내용
- 삼성전자의 공개 특허 출원은 대기 시간, 전송 비용, 예상 메모리 수요를 고려해 AI 요청을 스케줄링한다.
- 특허 방식은 기존 GPU로 더 많은 사용자에게 서비스를 제공하는 것을 목표로 하며, 상용 성능 수치는 공개되지 않았다.
- 별도의 삼성전자 스토리지 테스트에서는 동시 접속자 240명까지 첫 응답 대기 시간을 1초 미만으로 유지했다. 오프로드를 적용하지 않은 경우에는 접속자 140명을 넘어서며 지연 시간이 늘었다.
- 사용자 240명일 때 스토리지 오프로드로 토큰 출력량과 비용 효율이 약 1.5배 개선됐으며, 와트당 성능은 2.9배 향상됐다.
- 사용량이 적을 때는 스토리지 추가로 비용이 약 4% 증가해 수요가 경제성 계산의 중요한 요소가 된다.
- 삼성SDS는 별도의 PAISE 시스템이 메모리 내부 연산을 활용해 추론 속도를 최대 48.3% 개선했다고 밝혔다.
