일상적인 LLM 배포에서 SINQ가 중요한 이유
대규모 언어 모델은 메모리를 많이 사용한다. 고급 모델을 구동하려면 고가의 데이터센터 GPU와 비용이 많이 드는 클라우드 노드가 필요한 경우가 흔한 이유다. 화웨이 취리히 컴퓨팅 시스템 연구소는 이러한 상황을 바꾸기 위한 새로운 양자화 기법 SINQ를 공개했다. 싱크혼 정규화 양자화(Sinkhorn Normalized Quantization)라고 불리는 이 방식은 출력 품질 저하를 최소화하면서 메모리 사용량을 줄이는 데 초점을 맞췄으며, 아파치 2.0 라이선스에 따라 오픈소스로 배포된다. 연구팀은 SINQ가 빠르고, 보정이 필요 없으며, 기존 모델 작업 흐름에 간단히 통합할 수 있다고 설명한다.
목차
양자화는 모델 가중치를 표현하는 데 사용하는 비트 수를 줄이는 방식이다. 16비트 또는 8비트 부동소수점 수를 4비트 정수로 바꾸면 메모리를 절반 이상 줄일 수 있다. 하지만 특히 8비트 미만에서는 정확도 저하 없이 이를 달성하기 어렵다. SINQ의 핵심은 4비트, 일부 경우에는 3비트에서도 높은 품질을 유지하면서 기존 여러 기법보다 빠르게 적용할 수 있다는 것이다.
저자들이 시험한 여러 모델과 아키텍처에서 SINQ는 메모리 사용량을 약 60~70% 줄였다. 이 정도의 감소폭이면 많은 모델을 A100이나 H100 같은 엔터프라이즈 GPU 대신 메모리 24GB의 엔비디아 지포스 RTX 4090 같은 소비자용 GPU 한 대에서 구동할 수 있다. 클라우드 작업에서는 더 저렴한 인스턴스로 장시간 추론 작업을 처리할 수 있어, 시간이 지나면서 수천 달러를 절약할 수 있다. 연구소와 스타트업, 개인 사용자에게는 성능이 뛰어난 모델을 워크스테이션에서 구동하는 데 따르는 진입 장벽이 낮아진다.
기존 양자화 기법과 SINQ의 차이
실제로 널리 쓰이는 LLM 양자화 기법 대부분은 가중치만 양자화한다. 가중치는 각 레이어에서 학습된 파라미터로, 모델 크기의 대부분을 차지한다. 활성값도 양자화할 수 있지만, 복잡성이 커지고 실행 시간에 영향을 줄 때가 많다. 널리 쓰이는 여러 기법은 보정(calibration)이라는 설정 단계에서 연산 시간을 들여 양자화로 생기는 오차를 최소화하는 스케일 인자를 찾는다. 보정에는 일부 데이터를 사용하고 모델을 추가로 여러 차례 실행해야 한다. 품질 향상에 도움이 될 수 있지만 시간이 들고, 프롬프트를 신중하게 골라야 하며, 파이프라인도 복잡해진다.
SINQ는 다른 방식을 택한다. 가중치를 낮은 정밀도로 반올림하기 전에 분포를 안정적으로 유지하기 위한 두 가지 연계된 아이디어를 도입한다. 첫째, 이중 축 스케일링은 가중치 행렬의 행과 열에 각각 별도의 스케일 벡터를 적용한다. 텐서나 채널별로 하나의 스케일만 적용하는 방식보다 세밀하게 조정할 수 있다. 또한 오차를 분산해 이상치와 국소적인 불균형의 영향을 줄인다.
둘째, SINQ는 싱크혼-놉 정규화(Sinkhorn Knopp normalization)에서 착안한 절차를 사용한다. 이 알고리즘은 간단한 정규화를 번갈아 적용해 행과 열의 통계를 균형 있게 맞춘다. SINQ에서는 가중치 행렬의 어느 한 부분도 지배적이지 않도록 행과 열의 표준편차를 정규화한다. 이 균형 조정 단계는 가중치가 양자화에 더 잘 대응하도록 하고, 레이어별로 많은 보정 데이터를 사용하는 비용 없이 전체 오차를 줄인다.
메모리 절감, 속도, 테스트 품질
저자들은 전체 정밀도 가중치와 비교해 메모리 사용량이 일관되게 60~70% 줄었으며, 다양한 아키텍처에서 정확도도 원본 모델에 가깝게 유지됐다고 보고했다. 실제로는 메모리 60GB 이상이 필요했던 모델을 약 20GB로 구동할 수 있다. 일반 소비자용 GPU에서는 이 차이에 따라 모델을 메모리에 올릴 수 있는지, 아니면 속도가 느린 호스트 RAM으로 넘겨야 하는지가 달라질 수 있다.
연구와 운영 환경 모두에서 양자화 속도는 중요하다. 보고된 테스트에서 SINQ는 HQQ보다 약 2배, AWQ보다 30배 넘게 빠르게 모델을 양자화한다. 모델을 반복적으로 조정하는 팀에게는 수 시간이 걸리던 전처리 작업이 개발 주기 안에 들어오는 더 빠른 단계로 바뀔 수 있다.
품질은 퍼플렉시티와 플립률 같은 지표로 측정한다. 퍼플렉시티는 언어 모델이 텍스트를 얼마나 잘 예측하는지 나타낸다. 플립률은 양자화 후 최상위 토큰이 바뀌는 빈도를 센다. 여러 벤치마크에서 SINQ는 보정이 필요 없는 다른 기준 기법보다 퍼플렉시티를 낮추고 플립률도 줄여, 출력의 안정성이 높아졌음을 보여준다. 이 기법은 비균일 양자화 방식에도 적용되며, 정확도를 더 높이려는 프로젝트에서는 보정과 함께 사용할 수도 있다.
하드웨어와 클라우드 비용에 미치는 영향
추론 비용은 메모리 사용량에 따라 달라진다. 모델이 GPU 한 대에 들어가면 비용이 많이 드는 모델 병렬 구성을 피하고 네트워크 오버헤드도 줄일 수 있다. SINQ는 메모리 사용량을 줄여 중대형 모델 다수를 메모리가 넉넉한 소비자용 그래픽 카드 한 장에서 구동할 수 있게 한다. 기존에 A100이나 H100 노드에 의존하던 운영자는 더 저렴한 GPU로 서비스를 제공해 월별 비용을 줄이고, 고성능 GPU를 학습용으로 확보할 수 있다.
클라우드 사용자는 더 작은 GPU 인스턴스를 선택하거나 노드 하나에서 더 많은 모델을 동시에 실행할 수 있다. 챗봇이나 검색 증강 생성 서비스처럼 장시간 실행되는 작업은 비용이 낮은 GPU를 사용하면 몇 주 또는 몇 달에 걸쳐 수천 달러를 절감할 수 있다. 데이터는 내부에 보관하려는 팀도 더 작은 온프레미스 클러스터를 활용할 수 있다.
지연 시간과 에너지 측면에서도 부수적인 이점이 있다. 장치 수와 노드 간 호출이 줄고 호스트와 장치 사이의 메모리 트래픽도 감소하면 응답 시간과 전력 소모를 낮출 수 있다. 결과적으로 구성 요소가 적은 효율적인 서비스 스택을 구축할 수 있다.
개발자가 지금 활용할 수 있는 기능
SINQ는 아파치 2.0 라이선스에 따라 오픈소스로 제공된다. 공개 버전에는 구현 코드, 널리 쓰이는 허브의 모델을 양자화하는 방법, 양자화한 가중치를 저장하고 다시 불러오는 유틸리티가 포함돼 있다. 패키지는 평가 기능도 제공해 배포 전에 퍼플렉시티와 플립률을 측정할 수 있다. 또한 하드웨어와 정확도 목표에 맞춰 조정할 수 있도록 여러 파라미터를 공개한다.
저자들은 사전 양자화 모델을 공개하고 허깅페이스 트랜스포머 생태계와의 통합도 추진할 계획이라고 밝혔다. 이를 통해 개발자는 익숙한 API로 양자화된 체크포인트를 불러올 수 있어 도입이 쉬워질 전망이다. 자체 추론 스택을 관리하는 팀은 가중치를 양자화한 뒤, 선택한 실행 환경에서 4비트 또는 3비트 저장 형식을 지원하는 커널에 결과를 연결하면 된다.
기술적 특징 설명
SINQ는 모델 준비 파이프라인에 쉽게 추가할 수 있는 단계로 설계됐다. 추론에 중요한 구조를 저정밀 표현에서도 보존하도록 가중치 행렬의 형태를 조정한 다음, 이를 용량이 작은 정수 형식으로 변환하는 것이 목표다.
이중 축 스케일링
기존의 텐서별 또는 채널별 스케일링은 한 방향에 하나의 계수를 적용한다. 이중 축 스케일링은 각 가중치 행렬의 행과 열에 각각 벡터를 적용한다. 일부 행에 이상치가 있거나 특정 열의 분산이 더 클 때 이런 분리가 도움이 된다. 양쪽 방향을 모두 정규화해 양자화 오차를 행렬 전반에 더 고르게 분산한다. 그 결과 오차가 급격히 튀는 현상이 줄고 상대적인 가중치 크기가 더 잘 보존된다.
싱크혼-놉 정규화
싱크혼-놉은 간단한 정규화 작업을 번갈아 적용해 균형 상태에 도달하는 고전적인 반복 절차다. SINQ의 목표는 이중 확률 행렬을 만드는 것이 아니라 행과 열의 표준편차를 균형 있게 맞추는 것이다. 알고리즘은 행과 열의 표준편차가 목표값에 가까워지도록 반복해서 크기를 조정한다. 이런 방식으로 행렬의 균형을 맞추면 극단값이 적은 가중치 분포를 대상으로 양자화를 수행해 반올림 오차를 줄일 수 있다. 이 절차는 빠르고, 긴 보정 작업에 비해 추가 부담이 적으며, 보정 데이터셋도 필요하지 않다.
보정이 필요 없는 설계
보정 단계에서는 프롬프트 집합을 선정하고, 통계를 수집하기 위해 모델을 실행한 다음 스케일을 계산해야 한다. 이 과정은 작업을 번거롭게 만들고, 보정 데이터가 실제 운영 환경과 맞지 않으면 결과에 편향이 생길 수 있다. SINQ는 가중치 통계를 직접 사용해 이 단계를 생략한다. 보정을 없애면 많은 팀에서 자동화와 재현성을 높일 수 있다. 프로젝트에서 보정을 계속 사용하려는 경우에는 SINQ의 형태 조정에 보정 탐색을 추가해 정확도를 극대화할 수도 있다.
한계와 실무상 고려 사항
보고된 이점 대부분은 가중치만 양자화한 결과다. 생성 중에는 활성값과 키-값 캐시도 메모리를 사용하며, 프롬프트와 출력이 길수록 사용량이 특히 커진다. 일부 실행 환경은 활성값 양자화와 KV 캐시 압축을 지원하지만, 이들 기법에도 각각의 절충점이 따른다. 팀은 디스크상의 모델 크기만이 아니라 전체 실행 환경의 메모리 사용량과 지연 시간도 측정해야 한다.
실행 환경의 지원 여부도 중요하다. 추론 속도를 높이려면 커널이 패킹된 4비트 또는 3비트 가중치를 효율적으로 읽어야 한다. llama.cpp, TensorRT LLM, vLLM 등의 널리 쓰이는 엔진은 빠르게 발전하고 있지만, 정밀도와 어텐션 커널, GPU 아키텍처의 모든 조합이 똑같이 성숙한 것은 아니다. 서비스를 운영 환경에 적용하기 전에 배치 크기와 컨텍스트 길이를 포함한 실제 구성으로 처리량, 지연 시간, 안정성을 테스트해야 한다.
정밀도가 매우 낮으면 일부 작업의 성능이 떨어질 수 있다. 코드 생성과 도구 사용, 구조화된 출력은 일반적인 대화보다 민감할 수 있다. 퍼플렉시티 같은 지표가 유용하지만, 운영 환경 테스트에는 작업 정확도와 응답 방식, 안전성 점검도 포함해야 한다. 사용 사례가 한계에 가까운 경우 혼합 정밀도를 쓰거나 민감한 레이어 일부에 더 높은 정밀도를 적용하면 메모리 절감 효과를 상당 부분 유지하면서 품질을 보존할 수 있다.
특정 기업을 넘어 중요한 이유
양자화는 실용적인 LLM 배포의 기반이 됐다. 빠르고 보정이 필요 없으며 저정밀에서도 효과적인 오픈소스 기법은 생태계 전반에 도움이 된다. 메모리 사용량이 줄면 교육과 시민 프로젝트, 소규모 기업에서도 성능이 뛰어난 모델을 더 쉽게 이용할 수 있다. 또한 부족한 고성능 GPU에 가해지는 부담을 낮춰 학습과 연구에 더 많은 자원을 확보할 수 있다.
추론 도구를 둘러싼 경쟁은 빨라지고 있다. SINQ 같은 기법은 효율적인 어텐션 커널, 페이지드 KV 캐시, 최적화된 스케줄러와 함께 사용해 비용 대비 초당 토큰 수를 높일 수 있다. 그 결과는 서비스 비용 절감에 그치지 않는다. 개인정보 보호와 데이터의 현지 보관, 스택에 대한 통제권을 중시하는 팀이 선택할 수 있는 폭도 넓어진다.
핵심 요점
- 화웨이의 SINQ는 LLM 가중치를 위한 오픈소스 양자화 기법으로, 아파치 2.0 라이선스에 따라 공개됐다
- SINQ는 4비트, 일부 경우 3비트에서도 품질을 높게 유지하면서 메모리를 60~70% 줄인다고 보고했다
- 이 기법은 보정이 필요 없으며 기존 작업 흐름에 간단히 통합하는 것을 목표로 한다
- SINQ는 이중 축 스케일링과 싱크혼-놉 방식의 정규화를 사용해 가중치 행렬의 균형을 맞춘다
- 보고된 테스트에서 양자화 속도는 HQQ보다 약 2배, AWQ보다 30배 넘게 빠르다
- 품질 지표는 기준 보정 비사용 기법보다 개선됐으며, 퍼플렉시티와 플립률이 낮아졌다
- 메모리 60GB 이상이 필요했던 모델을 약 20GB에서 구동할 수 있어 RTX 4090 같은 소비자용 하드웨어 한 대로 배포할 수 있다
- 향후 업데이트에는 허깅페이스 트랜스포머 통합과 사전 양자화 모델 공개가 포함될 예정이다
