삼성전자, HBM5·AMD 메모리 풀링·고속 스토리지로 AI 메모리 전략 확장

삼성전자, 처리 속도와 함께 메모리 용량도 강화

삼성전자가 고대역폭 메모리를 넘어 AI 인프라 전략을 확대하고 있다. HBM5와 맞춤형 메모리를 선보이는 한편, AMD와 서버 메모리 공유 협력을 추진하고 일부 데이터 처리를 SSD에서 수행하는 스토리지 기술도 소개했다. 삼성전자는 10월 12일부터 15일까지 미국 캘리포니아주 새너제이 매키너리 컨벤션센터에서 열리는 OCP 글로벌 서밋 2026에서 이 전략을 발표했다.

구체적인 성능 수치는 메모리 계층의 다른 기술에 관한 것이다. 삼성전자는 탄력적 CXL 메모리 할당으로 AI 모델이 첫 토큰을 생성하기까지 걸리는 시간을 최대 38% 줄이고, LPDDR5X 프로세싱 인 메모리(PIM)로 추론 성능을 최대 3배 높이며, SSD 순차 읽기 속도를 28.4GB/s까지 끌어올렸다고 밝혔다. 이는 특정 평가나 시연에서 나온 결과로, 모든 AI 시스템에 그대로 적용된다는 보장은 아니다.

삼성전자의 공식 서밋 페이지는 속도, 메모리 확장, 데이터 지속성을 중심으로 전략을 소개한다. 주요 제품으로는 HBM4E, LPDDR5X-PIM, CMM-D MD310 메모리 모듈, SOCAMM2 서버 메모리, PM1763·BM1773 SSD가 포함됐다.

삼성전자가 부사장 겸 메모리사업부 애플리케이션엔지니어링팀장으로 소개한 심호준은 10월 12일 임원 세션에서 세 가지 우선 과제를 발표할 예정이었다. 보도에 따르면 이번 발표는 각 부품을 따로 개선하는 데 그치지 않고 프로세서와 메모리, 스토리지를 함께 최적화하는 광범위한 노력의 출발점이다.

이 같은 접근은 학습이 끝난 모델이 답변을 생성하는 추론 과정에서 중요하다. 고성능 가속기도 데이터 대기 때문에 속도가 떨어질 수 있고, 대화가 길어지면 메모리가 부족해지거나 스토리지에서 정보를 가져오는 데 시간이 걸릴 수 있다. 삼성전자는 이런 제약 각각에 대응하는 기술을 제안하고 있다.

HBM5 앞세운 폭넓은 속도 전략

전시 관련 보도에 따르면 삼성전자의 속도 개선 기술에는 8세대 고대역폭 메모리로 소개된 HBM5, 맞춤형 HBM, zHBM이 포함된다. 고대역폭 메모리는 다수의 병렬 연결을 통해 가속기에 대량의 데이터를 공급한다. 맞춤형 제품은 고객별 시스템 요구에 맞추는 것을 목표로 한다.

다만 공식 제품 목록에는 HBM5가 아닌 HBM4E가 명시돼 있다. 다른 보도는 전시회에서 HBM4E와 HBM5 콘셉트 목업이 공개됐다고 전했다. 전시나 콘셉트 발표만으로 제품이 출하 중이라고 볼 수는 없다. 삼성전자 서밋 페이지에도 HBM5의 상용 출시 일정이나 구체적인 성능 사양은 제시되지 않았다.

처리 속도와 관련한 가장 구체적인 수치는 LPDDR5X-PIM에서 나왔다. 프로세싱 인 메모리는 일부 연산을 메모리 장치 안에서 수행해 메모리와 별도 프로세서 사이의 반복적인 데이터 이동을 줄인다. 삼성전자는 각 메모리 뱅크에 연산 유닛을 통합한 설계라고 설명했다.

삼성전자는 자사 엣지 AI 가속기에서 Llama 3.1 8B를 사용해 평가한 결과, 기존 LPDDR5X보다 유효 대역폭이 최대 8배, 초당 생성 토큰 수가 최대 3배 늘었으며 실행 시간은 최대 2.2분의 1로 줄었다고 밝혔다. 이 수치는 해당 가속기와 모델에 관한 것으로 HBM5나 AMD 메모리 시연의 성능을 나타내지는 않는다.

전시 제품인 SOCAMM2는 LPDDR 기반 서버 메모리 모듈이다. 전시 내용은 삼성전자의 속도 전략이 가속기 메모리뿐 아니라 저전력 메모리 기술까지 아우른다는 점을 보여준다. 다만 서밋 페이지에는 모든 제품을 비교할 수 있는 벤치마크 결과가 제시되지 않았다.

AMD 협력으로 유연한 메모리 용량 확대

삼성전자와 AMD는 삼성전자의 CMM-D 기술을 활용한 CXL 메모리 확장 기술을 시연했다. CXL은 컴퓨트 익스프레스 링크(Compute Express Link)의 약자로, 프로세서와 기타 장치를 추가 메모리에 연결해 시스템이 직접 장착된 메모리보다 더 많은 용량을 확보할 수 있도록 한다.

CMM-D는 CXL 기반 DRAM 메모리 모듈이다. 메모리 풀링 구성에서는 여러 시스템이 연결된 메모리 자원에서 용량을 가져다 쓸 수 있어, 해당 용량을 개별 서버에 고정적으로 할당할 필요가 없다. 삼성전자는 AMD와의 협력을 통해 CXL이 메모리 용량과 대역폭을 확장하고 CPU 코어가 데이터를 기다리는 시간을 줄이는 수단임을 검증했다고 밝혔다.

AI 에이전트가 여러 모델이나 작업을 동시에 실행하면 이 문제가 더 두드러진다. 삼성전자의 공식 설명에 따르면 에이전트 워크로드는 CPU 사용량을 급격히 늘릴 수 있지만, 메모리 용량은 프로세서 코어 수 증가를 따라가지 못할 수 있다.

별도로 진행한 CMM-D 풀링 시연에서는 GPU 서버의 여러 대규모 언어 모델 인스턴스에 탄력적으로 메모리를 할당했다. 삼성전자는 정적 할당과 비교해 첫 토큰 생성 시간(TTFT)을 최대 38% 줄이고 굿풋을 최대 3.3배 높였다고 밝혔다. TTFT는 응답이 시작되기까지 걸리는 시간을 측정하며, 굿풋은 평가 기준에 따라 유용한 작업이 처리된 정도를 나타낸다.

이 결과를 AMD 시연 자체에서 나온 수치로 간주해서는 안 된다. 공식 페이지는 AMD를 통한 검증과 탄력적 할당 벤치마크를 별도로 설명한다. 또한 모델과 서버 구성, 서비스 목표가 달라질 때 성능 향상이 어떻게 바뀌는지 판단할 만큼 충분한 세부 정보를 제공하지 않는다.

KV 캐시로 연결되는 메모리 확장과 스토리지

삼성전자의 메모리·스토리지 계획을 연결하는 핵심 요소는 키-값 캐시(key value cache), 통상 KV 캐시라고 부르는 기술이다. KV 캐시는 언어 모델이 텍스트를 처리하며 생성한 중간 정보를 보관한다. 새 토큰을 생성할 때마다 같은 연산을 다시 하지 않고 기존 작업을 재사용할 수 있다.

대화가 길어지고 문맥이 커지며 동시 사용자가 늘어나면 이런 캐시가 상당한 메모리를 차지할 수 있다. 삼성전자는 CXL 메모리로 사용 가능한 용량을 늘리고, 가장 빠른 메모리 계층에 계속 둘 필요가 없는 캐시 데이터는 SSD에 저장하는 계층형 구조를 제안한다.

삼성전자 서밋 페이지는 미국 삼성반도체 캠퍼스에서 내부 AI 코딩 에이전트와 다른 애플리케이션을 대상으로 운영 중인 실제 배포 사례를 소개한다. 삼성전자는 AI 메모리 노드 솔루션을 통해 L3.5 조합형 메모리 계층을 추가한 결과 KV 캐시 활용률이 5~7배 높아졌다고 밝혔다.

L3.5는 해당 추가 계층을 가리키는 명칭이지, 모든 서버가 동일한 캐시 아키텍처를 공유한다는 뜻은 아니다. 이번 배포에는 삼성전자 메모리 솔루션 랩, DSA AI 플랫폼 통합팀, SGLang이 참여했다. 활용률 결과는 탄력적 할당 벤치마크나 LPDDR5X-PIM 성능 수치와는 별개의 결과다.

서밋 일정에는 CXL 풀링과 SSD 스토리지를 결합해 KV 캐시를 오프로딩하는 10월 13일 세션도 포함됐다. 시스템 아키텍트 소진인과 수석 엔지니어 최영하가 발표할 예정이었다. 이 조합은 단순한 용량 증설을 넘어 메모리와 스토리지 사이에서 과도한 지연 없이 데이터를 배치하고 불러올 소프트웨어가 필요하다는 점을 보여준다.

용량·냉각·데이터 배치에 나서는 SSD

삼성전자의 데이터 지속성 전략은 기업용 SSD와 고용량 낸드플래시에 초점을 맞춘다. 데이터 지속성은 연산의 임시 작업 상태를 넘어 데이터를 보존하는 것을 뜻한다. 이를 통해 AI 시스템은 필요할 때 데이터셋과 모델 파일, 저장된 캐시 정보를 불러올 수 있다.

PM1763은 PCIe Gen6 기업용 SSD로, 순차 읽기 속도는 최대 28.4GB/s, 전력 효율은 이전 세대보다 최대 1.8배 높은 것으로 소개됐다. 삼성전자는 액체 냉각 시연에서 E1.S 제품을 냉각판에 직접 접촉시켜 열을 제거했다. 공식 페이지에는 성능 비교의 전체 시험 조건이 공개되지 않았다.

BM1773은 256TB QLC 스토리지를 탑재한 E3.S SSD로 기재됐다. QLC(쿼드 레벨 셀)는 플래시 셀 하나에 4비트를 저장해 고용량을 구현한다. 삼성전자가 고용량 QLC 플래시와 유연한 데이터 배치 기술을 계속 개발하고 있다는 보도도 나왔다.

삼성전자는 LMCache에 통합한 KV 캐시 최적화 기술을 시연했다. 유연한 데이터 배치(FDP)는 데이터가 기록되는 위치를 조정해 쓰기 증폭을 줄이는 데 도움을 준다. 쓰기 증폭은 SSD가 호스트가 전송한 데이터보다 더 많은 데이터를 내부적으로 기록하는 현상이다.

이번 시연은 NVMe 최대 데이터 전송 크기를 늘려 호스트 CPU의 작업을 줄이는 기술도 활용한다. 삼성전자는 이러한 기술이 단일 노드 내부의 캐시 스토리지뿐 아니라 서버 그룹이 공유하는 캐시 자원에도 적용될 수 있다고 설명했다. 행사 페이지에는 이들 최적화 기술의 구체적인 성능 향상 수치가 제시되지 않았다.

저장 데이터 가까이에서 연산 수행

삼성전자의 벡터 데이터베이스 시연은 데이터 이동을 줄이는 또 다른 방법을 보여준다. 벡터 데이터베이스는 정보의 수치 표현을 저장한 뒤 서로 비교해 유사한 항목을 찾는다. 이는 AI 애플리케이션이 요청과 관련된 문서를 검색할 때 흔히 수행하는 작업이다.

NCVS 개념검증(PoC)은 벡터 간 거리 계산을 SSD 내부에서 수행한다. 4KB 벡터를 비교를 위해 호스트로 보내는 대신 장치가 4바이트 거리 결과를 반환한다. 삼성전자는 기존 호스트 처리 방식보다 호스트 트래픽이 최대 22분의 1로 줄었으며, SSD를 추가할수록 검색 처리량이 높아졌다고 밝혔다.

4바이트와 4KB라는 수치는 개별 결과와 벡터의 크기를 뜻한다. 전체 애플리케이션의 트래픽이 같은 비율로 줄어든다는 의미는 아니다. 최대 22분의 1이라는 수치는 더 포괄적인 측정 결과를 비교한 것이다. 삼성전자는 NCVS를 일반 판매 제품이 아닌 개념검증 기술로 소개했다.

AiSIO 시연은 GPU가 시작하는 작업과 피어 투 피어 작업, 기존 CPU가 시작하는 작업에 공통 소프트웨어 인터페이스를 제공해 스토리지 입출력을 처리한다. 삼성전자는 OpenDS를 사용해 초당 1억 건의 입출력 작업을 처리하고, 콜드 스타트에서 언어 모델 로딩 속도를 최대 10배 높였다고 밝혔다.

이 지표들은 서로 다른 작업을 나타낸다. 순차 읽기 속도는 지속적인 데이터 전송량을, 초당 입출력 작업 수는 스토리지 요청 횟수를 측정하며, 콜드 스타트 로딩은 모델을 얼마나 빨리 사용할 수 있는지 보여준다. 어느 지표도 완전한 AI 서비스가 처리할 수 있는 사용자 요청 수를 직접 보여주는 벤치마크를 대신하지는 않는다.

고객 테스트와 파운드리 전시로 확대된 전략

삼성 MAX 랩은 고객이 제품 개발 초기 단계부터 참여하도록 마련됐다. 고객은 실제 AI 워크로드 환경에서 PIM과 CMM-D, 차세대 SSD 같은 기술을 상용화 전에 시험하고, 시스템 요구 사항을 제품 설계에 반영할 수 있다.

이 접근은 서밋 시연 전반에 걸친 실질적인 과제를 해결하려는 것이다. 부품이 빨라져도 소프트웨어와 주변 하드웨어가 이를 활용하지 못하면 이점이 제한된다. 삼성전자의 글로벌 오픈 에코시스템팀은 오픈소스 개발과 산업 표준화에 참여하고 있으며, 행사 일정에는 소프트웨어 프레임워크, 스토리지 명령 처리, 메모리 관리 관련 세션도 포함됐다.

삼성전자는 표준 NVMe를 통한 실시간 마이그레이션과 가상 SSD 관리 기능을 갖춘 조합형 스토리지도 시연했다. 공식 설명은 이를 여러 테넌트가 스토리지를 공유하고 각 워크로드가 받는 서비스를 제어하는 서비스 품질(QoS)을 보장하는 방안으로 소개한다.

전시 내용은 메모리에 그치지 않았다. 보도에 따르면 삼성 파운드리의 4nm 공정으로 제조한 그록 언어처리장치(LPU) 웨이퍼, 여러 보도에서 엔비디아 시스템으로 소개된 그록 3 LPX 시스템, 삼성전자의 2nm 게이트올어라운드 공정을 적용한 웨이퍼도 공개됐다. 이런 전시는 메모리·스토리지와 함께 제조 역량을 보여주지만, 신규 생산 계약이나 출하 물량을 입증하지는 않는다.

수개월에 걸쳐 이어진 협력

AMD와의 시연은 단발성 협력이 아니라 이전부터 이어진 협력의 연장선에 있다. 보도에 따르면 양사는 3월 차세대 AI 메모리·컴퓨팅 기술 협력을 위한 양해각서를 체결했고, 10월 7일 리사 수 AMD 최고경영자(CEO)의 방한을 계기로 논의를 이어갔다.

보도된 주요 진전과 예정된 서밋 세션은 다음과 같다.

• 2026년 3월: 삼성전자와 AMD가 협력 양해각서를 체결했다. 삼성전자는 엔비디아 GTC에서도 기술을 발표했다.
• 2026년 6월·8월: 삼성전자가 각각 컴퓨텍스와 퓨처 오브 메모리 앤드 스토리지 콘퍼런스에서 발표했다.
• 2026년 10월 7일: 리사 수 CEO가 방한해 삼성전자 DS부문 전영현 부회장과 메모리·컴퓨팅 협력을 논의했다. 파운드리 관련 논의도 있었다고 보도됐다.
• 2026년 10월 12일: 서밋이 개막했고 심 부사장의 임원 발표가 이날 예정됐다.
• 2026년 10월 13~15일: 삼성전자 프로그램에는 KV 캐시 계층화, 스토리지 최적화, 공유 CXL 메모리 아키텍처 관련 세션이 포함됐다.

삼성전자는 다이아몬드 스폰서로 참가했다. 보도에 따라 전략 발표 시점을 현지 시간 10월 12일 또는 회사가 발표한 10월 13일로 다르게 표기하고 있다. 두 날짜는 같은 행사의 서로 다른 시점을 가리킬 수 있다. 한 보도는 서밋 장소를 샌프란시스코로 전했지만, 삼성전자의 공식 일정은 새너제이 컨벤션센터로 명시했다.

시장 규모만으로 상용화 여부 판단 어려워

업계 조사 자료에 따르면 2026년 2분기 삼성전자는 글로벌 D램 매출의 39%, 낸드플래시 시장의 29.3%를 점유해 1위를 기록했다. D램 수치는 카운터포인트리서치, 낸드 수치는 트렌드포스 자료로 제시됐다. 이 수치는 시장 점유율을 나타내며, 새롭게 형성되는 CXL이나 프로세싱 인 메모리 시장 점유율은 아니다.

옴디아는 삼성전자가 해당 연도에 업계 최대 규모의 D램·낸드 웨이퍼 생산을 기록할 것으로 전망한 것으로 인용됐다. 별도 추산에 따르면 삼성전자의 연간 D램 생산능력은 300mm 웨이퍼 환산 기준 약 817만5000장이다. 생산능력은 실제 생산량과 다르며, 두 수치 모두 OCP에서 공개한 기술에 생산량이 얼마나 배정되는지를 보여주지는 않는다.

한 보도는 10월 8일 기준 3분기 잠정 실적으로 매출 195조원, 영업이익 107조4000억원이라는 이례적으로 큰 수치를 제시했다. 영업이익은 전년 동기 대비 782.5% 증가한 것으로 보도됐다. 이 수치는 여기서 공식 실적 발표로 확인되지 않았으므로 서밋에서 소개된 기술이 실적에 기여했다는 확정 근거로 보아서는 안 된다.

경쟁도 HBM을 넘어 확대되고 있다. 보도에 따르면 SK하이닉스의 메모리 중심 AI 랙 시스템(MARS)은 랙 단위로 공유하는 CXL 메모리 풀을 구현한다. 시스템 간 유휴 메모리를 사용할 수 있게 하려는 삼성전자의 전략과 유사하지만, 어느 쪽의 성능이 더 나은지를 보여주는 비교 벤치마크는 없다.

삼성전자가 밝힌 목표는 HBM과 서버용 DDR5, 기업용 SSD의 경쟁력을 강화하는 것이다. HBM5 출시 시점과 가격, 고객사 확대, 성능 주장의 독립적 검증 등은 아직 확정되지 않았다. 서밋 프로그램은 시연과 발표 일정을 제시할 뿐, 모든 기술의 구체적인 출시 시한을 밝히지는 않는다.

핵심 내용

• 삼성전자의 OCP 2026 전략은 고속 메모리, CXL 용량 확장, 데이터 지속성을 위한 SSD 스토리지를 결합한다.
• AMD 협력에는 늘어나는 AI 메모리 수요에 대응하기 위한 CMM-D 메모리 기술이 활용됐다.
• 별도의 탄력적 메모리 풀링 시연에서는 첫 토큰 생성 시간이 최대 38% 줄고 굿풋이 3.3배 높아졌다고 보고됐다.
• LPDDR5X-PIM 평가에서는 삼성전자 엣지 AI 가속기에서 추론 성능이 최대 3배 높아진 것으로 나타났다.
• PM1763 스토리지, KV 캐시 최적화, SSD 내부 연산 기술은 서로 다른 데이터 이동 제약에 대응한다.
• 서밋 발표만으로는 HBM5의 출하 시점이나 광범위한 상용화 여부가 확정되지 않았다.