긴 문서를 AI 컨텍스트에 담는 새로운 방법
DeepSeek가 긴 텍스트를 이미지로 변환해 압축한 뒤 모델이 필요할 때 내용을 복원하는 비전 언어 시스템 DeepSeek-OCR을 공개했다. 이 방식은 설정과 문서 유형에 따라 대규모 언어 모델이 처리해야 하는 토큰 수를 7분의 1에서 20분의 1 수준으로 줄이면서, 중간 정도의 압축률에서는 높은 정확도를 유지한다. DeepSeek는 압축률이 약 10배일 때 디코딩 정확도가 약 97%에 이르며, 압축률이 더 높아져도 유용한 결과를 얻을 수 있다고 밝혔다. 코드와 가중치가 함께 공개돼 개발자들이 이용할 수 있으며, 현대 AI에서 비용 부담이 큰 문제 중 하나인 긴 컨텍스트 처리를 합리적인 비용으로 해결하는 것을 목표로 한다.
목차
시스템은 두 단계로 작동한다. DeepEncoder라는 비전 인코더가 텍스트 페이지와 표, 차트 등 다양한 레이아웃을 압축된 비전 토큰으로 변환한다. 이어 경량 언어 모델인 DeepSeek3B MoE A570M이 해당 토큰을 구조화된 텍스트로 디코딩한다. 이 구성은 필요한 경우 레이아웃과 서식을 보존하고, 다양한 언어를 지원하며, 일반 텍스트나 마크다운 표와 같은 구조화된 결과를 출력할 수 있다.
이 기술이 중요한 이유는 언어 모델이 읽고 쓰는 기본 단위인 토큰과 관련이 있다. 토큰이 늘면 메모리 사용량과 지연 시간이 증가해 비용이 커진다. 모델이 한 번에 참조할 수 있는 컨텍스트에도 한계가 있다. 컨텍스트를 이미지로 저장하고 비전 토큰을 통해 다시 살펴보는 DeepSeek-OCR은 긴 대화와 대용량 문서를 위한 저비용 메모리 계층을 제공한다. 텍스트만으로 가능한 범위를 넘어 실질적인 컨텍스트 창을 확장할 가능성도 있다.
규모도 핵심 주장 가운데 하나다. 학습에는 약 100개 언어로 된 PDF 페이지 약 3,000만 개가 사용됐으며, 차트와 수식, 도형을 위한 합성 데이터도 추가됐다. 운영 측면에서 개발팀은 Nvidia A100 GPU 한 대로 하루 20만 페이지 이상을 처리할 수 있다고 밝혔다. 비슷한 서버 20대로 구성된 클러스터에서는 하루 약 3,300만 페이지까지 처리량을 높일 수 있다. 이는 문서 디지털화와 대규모 학습 데이터 생성에 빠른 처리 파이프라인을 구축할 수 있음을 시사한다.
텍스트를 이미지로 바꾸면 토큰이 줄어드는 이유
언어 모델은 입력을 단어나 문자가 아니라 토큰으로 읽는다. 일반적인 기사나 보고서도 수천 개의 토큰으로 변환될 수 있다. 대부분의 트랜스포머 내부에 있는 어텐션 메커니즘은 여러 토큰 쌍을 비교하며, 시퀀스가 길어질수록 연산량이 빠르게 증가한다. 긴 컨텍스트는 메모리와 처리 시간을 늘리고, 대규모로 운영하면 비용 부담으로 이어진다.
토큰과 컨텍스트 창이란
토큰은 모델이 이해하는 언어의 조각이다. 짧은 단어는 토큰 하나일 수 있지만, 긴 단어는 여러 토큰으로 나뉠 수 있으며 문장 부호도 토큰으로 계산된다. 모델이 한 번에 고려할 수 있는 최대 토큰 수를 컨텍스트 창이라고 한다. 실제 파일 가운데 상당수는 이 한도를 넘기 때문에 사용자는 문서를 일부 잘라내거나, 긴 컨텍스트를 지원하는 특수 모델에 높은 비용을 지불해야 한다.
저장에 텍스트보다 픽셀이 저렴할 수 있는 이유
비전 인코더는 이미지를 작은 패치 격자로 바꾼 뒤 이를 비전 토큰 집합으로 압축한다. DeepSeek 인코더는 압축 블록을 사용해 디코더에 특징을 전달하기 전에 토큰 수를 줄인다. 기술 문서의 예에서는 1,024×1,024픽셀 이미지가 처음에 패치 토큰 4,096개로 변환된 뒤, 비전 언어 스택에 전달되기 전에 압축 토큰 256개로 줄어든다. 이 256개 토큰이 텍스트 토큰 1,500개 이상이 필요한 밀도 높은 페이지의 핵심 내용을 담을 수 있다면, 즉시 비용을 절감할 수 있다.
방식은 간단하다. 긴 컨텍스트를 텍스트 토큰으로 저장하는 대신, 시스템은 압축된 비전 토큰으로 스냅샷을 저장하고 필요할 때 의미를 복원한다. 이에 따라 메모리 사용량을 관리하고 레이아웃과 도표를 보존하며 텍스트 토크나이저의 일부 한계를 피할 수 있다. 대신 인코딩과 디코딩 단계가 추가되고, 압축률이 매우 높아지면 정확도가 점차 떨어진다.
모델 내부: DeepEncoder와 디코더
DeepEncoder는 지역 정보 인식과 전체적인 이해라는 널리 알려진 두 가지 접근법을 결합한다. 세밀한 영역과 경계를 포착하기 위해 Segment Anything Model 백본을 적용하고, 전반적인 의미와 레이아웃을 파악하기 위해 CLIP 계열 모듈을 사용한다. 두 모듈 사이에는 언어 모델에 전달하기 전에 비전 토큰 수를 크게 줄이는 컨볼루션 압축기가 있다. 인코더는 여러 해상도 모드를 지원해 사용자가 페이지의 복잡성에 맞춰 토큰 예산을 조절할 수 있다. 단순한 슬라이드는 토큰을 적게 사용할 수 있지만, 여러 단과 이미지가 있는 뉴스 페이지나 밀도 높은 과학 도표에는 더 많은 토큰이 필요할 수 있다.
디코더는 약 30억 개의 매개변수를 바탕으로 설계됐으며 토큰당 약 5억7,000만 개의 매개변수를 활성화하는 전문가 혼합(Mixture of Experts) 언어 모델이다. 전문가 라우팅을 사용하면 모든 토큰에 30억 개의 매개변수 전체를 적용하지 않고도 콘텐츠 유형에 따라 모델이 집중할 수 있다. 이를 통해 품질을 높게 유지하면서 연산량을 줄인다. 시스템은 일반 텍스트를 출력하고 마크다운으로 구조를 보존하며, 표와 차트의 데이터를 기계가 처리하기 쉬운 형식으로 추출할 수도 있다. 다국어 OCR을 지원하고 도표와 화학 구조식, 기하 도형도 해석할 수 있다.
설정 프리셋은 Tiny, Small, Base, Large이며, 매우 복잡한 페이지를 위한 동적 모드도 있다. 각 프리셋은 이미지 크기와 토큰 수 사이의 균형을 조절한다. DeepSeek는 일반적인 페이지에는 Small부터 시작하고, 내용이 빽빽하거나 레이아웃이 까다로운 경우에만 더 높은 설정으로 올릴 것을 권장한다.
벤치마크와 정확도 수치가 보여주는 것
디코더가 텍스트를 높은 정확도로 복원하지 못한다면 압축은 의미가 없다. DeepSeek는 압축률이 10배 미만일 때 디코딩 테스트에서 정확도가 약 97%라고 밝혔다. 압축률이 약 20배에 이르면 정확도는 약 60%로 떨어진다. 또 다른 예시에서는 비전 토큰 100개가 텍스트 토큰 700~800개가 필요한 문서를 표현하며, 범위를 좁힌 벤치마크에서 정확도는 여전히 약 97%를 기록했다. 이 수치들은 중간 수준의 압축이 절감 효과와 정확도를 가장 잘 절충한다는 주장을 뒷받침한다.
일반적인 문서 이해 평가인 OmniDocBench에서 이 모델은 토큰을 더 적게 사용하면서도 잘 알려진 OCR 시스템보다 높은 성능을 보였다. 문서 유형에 따라 필요한 토큰 수는 달라진다. 슬라이드와 단순한 브로슈어는 페이지당 비전 토큰 약 64개면 될 수 있다. 여러 단과 이미지가 포함된 잡지나 신문에는 수백 개가 필요할 수 있다. 사용자 설정에 따라 서식을 보존하거나 제거할 수 있다.
운영 지표도 공격적이다. 개발팀은 Nvidia A100 카드 한 장으로 하루 20만 페이지 이상, 서버 20대 클러스터로 하루 약 3,300만 페이지를 처리할 수 있다고 밝혔다. 학습 및 추론 코드와 모델 가중치는 허용 범위가 넓은 라이선스로 공개돼 있다. 이러한 조합은 연구와 실제 운영 환경에서 빠른 실험을 가능하게 한다.
AI 비용과 메모리, 제품 설계에 미칠 수 있는 변화
대화나 문서가 길어지면 많은 AI 제품이 한계에 부딪힌다. 이전 컨텍스트를 비전 토큰으로 저장하면 모델에 더 저렴한 메모리 계층을 제공할 수 있다. 시스템은 지난 대화 내용을 이미지로 요약하거나 압축한 뒤, 필요할 때만 세부 내용을 디코딩할 수 있다. 이렇게 하면 현재 사용하는 텍스트 컨텍스트를 간결하게 유지하면서 이전 단계의 사실과 인용, 레이아웃을 다시 불러올 수 있다. 기존 토크나이저가 잘 처리하지 못하는 복잡한 표나 수식이 포함된 페이지를 모델이 다루는 데도 도움이 된다.
사용자에게는 실용적인 작업 방식이 열린다. AI 비서가 분량이 긴 PDF와 계약서, 스프레드시트를 통째로 읽고 간결한 메모리로 저장한 뒤, 요청을 받으면 구조를 유지해 정확한 부분을 복원할 수 있다. 디코더는 문자만이 아니라 구조를 재구성하므로 표에서 행을 복사하거나 도표 설명을 추출하는 작업도 간편해진다. 압축된 페이지 스냅샷을 색인하고 필요할 때 해당 부분을 디코딩하는 효율적인 기업용 검색 방식도 가능해질 수 있다.
개발자와 연구자에게는 처리량이 중요하다. 이 시스템은 GPU 한 대당 하루 수십만 페이지를 생성해 언어·비전 모델용 대규모 학습 자료를 만들 수 있다. 빠른 처리 속도는 낮은 비용으로 지도 학습 데이터를 구축하는 데 도움이 된다. 금융과 의료, 과학처럼 차트와 서식에 의존하는 산업에서는 구조를 더 잘 보존하면서 디지털화 파이프라인을 앞당길 수 있다. 다만 압축된 결과를 이후 학습에 사용할 때는 주의가 필요하다. 사소한 디코딩 오류도 대규모로 쌓이면 노이즈가 있는 레이블로 이어질 수 있다.
한계와 위험, 남은 질문
압축률이 높을수록 필요한 토큰 예산은 줄지만 정확도는 낮아진다. 보고된 정확도는 압축률 약 20배에서 60% 수준으로 떨어진다. 많은 작업은 사소한 오류를 감수할 수 있지만, 이름과 숫자, 법률 조항처럼 거의 완벽한 복원이 필요한 경우도 있다. 사용자는 중요한 페이지의 압축률을 낮추고, 정확한 재현이 필요하지 않은 컨텍스트에만 강한 압축을 적용하도록 정책을 마련해야 한다.
추론 능력과 관련한 의문도 있다. 모델은 텍스트 토큰을 기준으로 학습됐기 때문에 텍스트를 대상으로 추론을 잘 수행한다. 비전 토큰은 다른 귀납적 편향을 갖는다. 디코더는 우선 텍스트를 복원한 뒤 추론해야 한다. 이 추가 단계가 긴 사고 과정을 요구하는 작업에 영향을 줄 수 있다. 중요한 컨텍스트가 이미지 계층에 저장된 상황에서 다단계 추론을 시험하고, 정확도가 중요한 작업에는 대체 수단을 마련할 필요가 있다.
지연 시간과 인프라 계획도 여전히 중요하다. 인코딩과 디코딩 단계가 추가되면 작업량이 늘어난다. 문서가 대용량이거나 대화가 길어질 때 절감 효과가 나타난다. 배포 전에는 여러 유형의 문서를 대상으로 실제 처리 시간과 메모리, 비용을 측정해 텍스트를 압축할 때와 원문을 그대로 전달할 때의 기준을 정해야 한다. 저장 형식도 달라진다. 원시 텍스트 파일 대신 이미지나 이미지와 유사한 텐서가 사용되면 검색 시스템과 규정 준수 파이프라인에 영향을 줄 수 있다.
개인정보 보호와 보안에도 주의를 기울여야 한다. 민감한 파일을 이미지나 비전 토큰으로 압축해도 위험이 사라지는 것은 아니다. 압축된 저장소에도 접근 제어와 암호화, 감사 추적을 적용해야 한다. 저해상도 스캔본이나 알아보기 어려운 손글씨 등은 여전히 모델에 어려운 과제다. 중요한 작업 흐름에서는 동적 모드 선택과 사람의 검토를 병행하는 것이 바람직하다.
DeepSeek OCR 사용해 보기
Hugging Face의 프로젝트 페이지에서 모델 카드와 빠른 시작 안내, 다운로드를 확인할 수 있다. 코드와 가중치는 학술·상업적 이용을 모두 허용하는 라이선스와 함께 GitHub에도 공개돼 있다. 개발자는 다음 페이지에서 시작할 수 있다: Hugging Face 모델 페이지, 그리고 다음 저장소를 참고할 수 있다: GitHub 저장소.
참조 환경에는 Python 3.12.9와 CUDA 11.8이 명시돼 있으며, PyTorch와 Transformers, Tokenizers, Einops, Addict, Easydict, Flash Attention 등이 의존성에 포함된다. 빠른 처리를 위해 Nvidia GPU 사용이 권장된다. 프리셋 모드를 이용하면 세부 정보와 비용 사이의 균형을 조절할 수 있다. 일반적인 업무 문서라면 Small 모드부터 시작하는 것이 적절하다. 밀도 높은 과학·법률 문서는 더 높은 해상도나 동적 모드가 유리할 수 있다.
일반적인 작업 과정은 PDF를 페이지 이미지로 변환하고, 선택한 해상도로 각 페이지를 DeepEncoder에 입력한 다음, 생성된 비전 토큰을 언어 모델로 디코딩하는 것이다. 검색에는 일반 텍스트를, 표와 섹션 제목을 보존하려면 마크다운을 출력 형식으로 사용할 수 있다. GitHub 저장소에는 일괄 처리 스크립트와 처리량을 높이는 방법도 포함돼 있다. 팀은 압축률을 높일 때 정확도를 점검하고, 중요한 페이지에는 보수적인 설정을 적용해야 한다.
핵심 내용
- DeepSeek-OCR은 긴 텍스트를 이미지로 저장해 압축하고, 디코더로 필요할 때 내용을 복원한다.
- 설정과 문서 복잡성에 따라 토큰 사용량을 약 7~20배 줄인다.
- 보고된 디코딩 정확도는 압축률 약 10배에서 97%, 약 20배에서 60% 수준이다.
- DeepEncoder와 토큰당 약 5억7,000만 개의 매개변수를 활성화하는 전문가 혼합 디코더로 구성된다.
- 모드는 Tiny부터 Large까지 있으며 매우 복잡한 페이지를 위한 동적 옵션도 제공해 사용자가 토큰 예산을 직접 설정할 수 있다.
- 벤치마크에서 널리 쓰이는 OCR 기준 모델보다 적은 토큰을 사용하면서 OmniDocBench에서 높은 성능을 보였다.
- 처리량은 Nvidia A100 GPU 한 대당 하루 20만 페이지 이상, 서버 20대 클러스터에서 하루 약 3,300만 페이지로 제시됐다.
- 마크다운 표와 차트 데이터 등 구조화된 결과를 지원하며 도표와 수식, 여러 언어를 처리할 수 있다.
- 오픈소스 코드와 가중치는 허용 범위가 넓은 라이선스로 Hugging Face와 GitHub에서 제공된다.
- 주요 활용 분야는 긴 컨텍스트 메모리 비용 절감, 대규모 문서 디지털화, 학습 데이터 생성이며, 정확도가 중요한 작업에는 신중한 설정이 필요하다.
