문샷 AI의 키미 K2.5 레딧 AMA, 오픈소스 최첨단 모델의 복잡한 현실을 드러내다

595기가바이트가 개발자의 현실과 마주할 때

업계 분석가들이 지금까지 만들어진 가장 강력한 오픈소스 인공지능 모델이라고 부르는 모델을 공개한 지 이틀 뒤, 문샷 AI 연구진은 레딧에 접속해 기대와 불만이 뒤섞인 이용자들을 마주했다. 베이징에 본사를 둔 스타트업 문샷에는 축하할 이유가 충분했다. 키미 K2.5는 미국 AI 대기업과의 성능 격차를 좁히고 미국의 반도체 수출 통제 한계를 시험한다는 헤드라인을 장식했다. 하지만 단일 소비자용 GPU부터 소규모 전문가용 하드웨어 랙까지 다양한 환경에서 대규모 언어 모델을 실행하는 방법을 논하는 포럼 r/LocalLLaMA에서 개발자들이 가장 궁금해한 것은 더 현실적인 문제였다. 도대체 언제 이 모델을 실제로 써볼 수 있느냐는 것이었다.

세 시간 동안 진행된 ‘무엇이든 물어보세요(AMA)’ 세션은 2026년 최첨단 AI 개발의 속살을 뜻밖에도 솔직하게 보여주는 자리가 됐다. 기업 홍보 자료에 등장하는 매끈한 모습이 아니라, 오류를 디버깅하고 성격 변화를 관리하며 오늘날 오픈소스 AI를 규정하는 근본적인 긴장과 씨름하는 복잡한 현실이었다. 문샷은 누구나 내려받아 맞춤 설정할 수 있도록 모델 가중치를 공개했다. 파일 크기는 약 595기가바이트다. 스레드에 참여한 개발자 대다수에게 이런 개방성은 여전히 이론에 불과했다.

문샷 팀원 세 명이 ComfortableAsk4494, zxytim, ppwwyyxx라는 사용자명으로 참여했다. 약 187개 댓글에 걸쳐 모델 아키텍처와 훈련 방법론, AI 모델의 성격을 결정하는 요소에 관한 철학적 질문에 답했다. 다음 단계의 발전이 어디에서 나올지도 설명했는데, 단순히 매개변수를 더 늘리는 것은 아니었다.

좀처럼 사라지지 않는 크기 문제

첫 질문들은 Kimi K2.5를 획기적 성과라기보다 물류상의 골칫거리로 다뤘다. 한 이용자는 문샷이 왜 대표 모델과 함께 더 작은 모델도 만들지 않느냐고 직설적으로 물었다. “8B, 32B, 70B 같은 소형 모델이 지능 밀도를 높이기에 좋은 지점”이라고 썼다. 여기서 B는 매개변수 수를 십억 단위로 나타낸다. 다른 이용자는 거대한 모델을 실제로 실행할 수 없는 개발자가 많아져 이제 축하하기도 어렵다고 했다. 또 다른 이용자는 미국 경쟁사 모델을 크기 기준으로 제시하며, 사양이 낮은 GPU에서도 구동할 수 있는 코딩 특화 모델을 요청했다.

문샷 팀은 그 자리에서 소형 모델을 발표하지는 않았다. 다만 이런 요구가 낯설지 않다는 듯한 말로 수요를 인정했다. 한 공동 진행자는 “요청 잘 받았습니다!”라고 썼다. 다른 진행자는 문샷이 허깅페이스에 이미 일부 소형 전문가 혼합 모델을 공개했다면서도, 소형 모델과 대형 모델은 서로 다른 엔지니어링 투자가 필요한 경우가 많다고 덧붙였다.

가장 많은 것을 드러낸 답변은 문샷이 로컬 사용에 최적화된 약 1,000억 매개변수 모델을 만들 생각이 있느냐는 질문에 나왔다. 키미 팀은 대신 다른 절충안을 제시했다. 여러 작업에서 이른바 “사용성 임계치”를 넘길 수 있는 2,000억 또는 3,000억 매개변수 모델이었다. 이 답변은 오픈 가중치 모델을 만드는 연구소가 처한 딜레마를 보여준다. 2,000억~3,000억 매개변수 모델은 1조 매개변수 시스템보다 더 많은 사람이 이용할 수 있겠지만, 여전히 여러 GPU를 쓰거나 정밀도를 낮춰 메모리를 아끼는 공격적 양자화 기술이 필요하다.

스레드에 참여한 개발자들은 조금 더 작은 모델을 원한 게 아니었다. 자신이 실제로 보유한 하드웨어에 맞는 크기의 모델, 그리고 로컬 배포를 취미 이용자의 부차적 관심사가 아니라 핵심 제약 조건으로 다루는 로드맵을 원했다. 이번 대화는 데이터센터급 인프라가 필요한 거대 모델을 공개하는 연구소와 자기 장비에서 시스템을 실행하려는 개발자 사이에 오픈소스 AI 커뮤니티의 균열이 커지고 있음을 드러냈다.

스케일링 법칙은 벽에 부딪혔나?

하드웨어 불만을 지나면서 스레드는 이제 많은 연구자가 대규모 언어 모델의 핵심 질문으로 꼽는 주제로 옮겨갔다. 스케일링 법칙은 모델 크기와 데이터 규모, 성능 사이에 예측 가능한 관계가 있다는 개념으로, 수년간 AI 발전을 이끌어 왔다. 한 참여자는 스케일링이 “벽에 부딪혔느냐”고 직접 물었다.

키미 관계자는 업계 전반에서 점점 더 자주 나오는 진단으로 답했다. “이용 가능한 연산량만큼 고품질 데이터가 빠르게 늘어나지 않기 때문에, 인터넷 데이터를 활용한 기존의 다음 토큰 예측 방식으로 규모를 키워도 개선 폭은 줄어들 것”이라고 썼다. 이 지적은 근본적인 제약을 짚는다. 인터넷에 존재하는 양질의 텍스트에는 한계가 있고, AI 연구소들은 이미 그 대부분을 모델 훈련에 사용했다.

이어 팀은 선호하는 돌파구를 제시했다. 키미 K2.5가 최대 100개의 하위 에이전트를 병렬로 조율하는 기능인 에이전트 스웜(Agent Swarm)을 “추론 시점 스케일링”의 한 형태로 꼽으며, 이를 통해 성능 향상의 새로운 경로가 열릴 수 있다고 했다. 추론 시점 스케일링은 초기 훈련 단계가 아니라 모델이 실제로 질문에 답하는 추론 과정에서 연산량을 늘리는 것을 뜻한다.

팀의 설명에 따르면 스케일링은 사전 훈련을 더 크게 하는 것만을 의미하지 않는다. 추론 시점에 구조화된 작업량을 늘린 다음 강화학습을 통해 그 과정에서 얻은 통찰을 훈련에 반영하는 방법도 있다. 한 공동 진행자는 “새로운 스케일링 패러다임이 가능해질 수도 있다”며 “앞으로는 인간의 사전 지식이 적거나 전혀 없어도 학습하는 모델이 나올 가능성이 크다”고 썼다.

이는 발전의 기준이 매개변수 수와 사전 훈련 손실 곡선에서 계획을 세우고 작업을 위임하며 결과를 검증하는 시스템으로 옮겨갈 수 있음을 시사한다. 단일 신경망의 거대한 순전파에 의존하는 대신 도구와 하위 에이전트를 기본 구성 요소로 활용하는 방식이다.

에이전트 스웜의 내부: 하위 에이전트 100개가 메모리를 공유하는 법

에이전트 스웜은 언뜻 익숙한 아이디어에 새 포장을 씌운 듯하다. 여러 AI 에이전트가 하나의 작업에 협력한다는 구상이다. 그러나 이번 AMA에서는 메모리가 어디에 저장되는지, 조율은 어떻게 이뤄지는지, 왜 오케스트레이션이 잡음으로 무너지지 않는지에 관한 더 중요한 세부 사항이 드러났다.

한 개발자는 다중 에이전트 시스템에서 흔히 제기되는 우려를 꺼냈다. 하위 에이전트가 100개에 달하면 오케스트레이터 에이전트가 지연 시간과 이른바 “컨텍스트 로트” 양쪽에서 병목이 되곤 한다는 것이다. 컨텍스트 로트란 대화 기록에 내부 대화와 도구 사용 흔적이 쌓이면서 모델이 하려던 일의 맥락을 놓쳐 성능이 떨어지는 현상을 말한다.

키미 공동 진행자는 기업 환경에서 에이전트 시스템을 구축하는 이들에게 중요한 설계 선택을 설명했다.

하위 에이전트는 각자 작업 메모리를 사용하고 모든 내용을 공유 컨텍스트에 흘려보내는 대신 결과를 오케스트레이터에 돌려줍니다. 덕분에 전체 컨텍스트 길이를 새로운 차원으로 확장할 수 있습니다!

다른 개발자는 성능 주장에 의문을 제기했다. 문샷은 적절한 작업에서 에이전트 스웜이 약 4.5배 속도 향상을 낼 수 있다고 공개적으로 설명해 왔지만, 회의론자들은 이 수치가 단지 해당 작업의 병렬화 가능성을 반영하는 것 아니냐고 물었다. 팀은 이에 동의하며 작업에 따라 달라진다고 답했다. 경우에 따라 시스템은 병렬 에이전트가 필요하지 않다고 판단해 추가 연산을 피한다. 오케스트레이터가 하위 에이전트의 토큰 예산을 관리하고 각 에이전트에 적절한 규모의 작업을 할당한다고도 설명했다.

홍보가 아니라 엔지니어링의 관점에서 보면, 문샷은 익숙한 기업 시스템 설계 방식을 설명하고 있었다. 제어 계층을 깔끔하게 유지하고, 작업 프로세스의 출력을 제한하며, 조정자가 소화하지 못할 로그로 넘쳐나지 않도록 하는 것이다. 이런 아키텍처는 미래 AI 시스템이 단일 구조의 챗봇보다 분산 컴퓨팅 클러스터에 가까운 형태가 될 수 있음을 보여준다.

시스템 1에서 시스템 2로의 전환

이번 AMA에서 시사한 가장 중대한 변화는 새로운 벤치마크 점수가 아니었다. 연구 우선순위에 관한 설명이었다. 한 질문은 문샷이 연산 자원을 ‘시스템 1’ 사전 훈련에서 ‘시스템 2’ 강화학습으로 옮기고 있는지 물었다. 이 용어는 심리학자 대니얼 카너먼이 대중화한 인지 방식에서 유래했다. 시스템 1은 빠르고 직관적인 사고, 시스템 2는 느리고 숙고하는 추론을 가리킨다.

AI에 적용하면 폭넓은 패턴 학습에서 벗어나 여러 단계를 거치는 작업에서 추론과 올바른 행동을 명시적으로 보상하는 훈련으로 옮겨간다는 뜻이다. 키미 관계자는 강화학습 연산이 계속 늘어날 것이라며, “특히 에이전트 분야에서” 새로운 RL 목적 함수가 등장할 가능성이 높다고 말했다.

이 발언은 로드맵처럼 읽힌다. 모델이 도구를 더 많이 활용하고 작업을 세분화하게 되면서, 연구소들은 단순히 토큰을 예측하는 모델이 아니라 에이전트로서 제대로 작동하도록 훈련하는 데 더 많은 예산을 투입할 것이다. 기업에는 중요한 변화다. 강화학습을 통한 개선에는 절충점이 따르는 경우가 많기 때문이다. 모델이 더 단호해지거나 도구를 과도하게 사용하거나 기업의 기대와 잘 맞지 않는 보상 신호에 지나치게 최적화될 수 있다.

GPU 보유량이 훨씬 많은 미국 연구소와 문샷 사이의 연산 격차를 묻자 팀은 솔직하게 답했다. 한 공동 진행자는 “그 격차가 좁혀지고 있다고 보기는 어렵습니다”라며 “하지만 AGI를 이루려면 연산이 얼마나 필요할까요? 두고 봐야죠”라고 썼다. 다른 진행자는 더 철학적으로 답했다. “이용 가능한 연산량에 영향을 미치는 요인은 너무나 많습니다. 하지만 어떤 상황이든 혁신은 제약을 좋아합니다.”

키미가 가끔 자신을 클로드라고 부르는 이유

오픈 가중치 모델이 공개되면 으레 따라붙는 의심이 있다. 경쟁 모델에서 지나치게 많이 배운 것은 아닐까 하는 것이다. 이 의심은 한 AI가 다른 AI의 출력으로 훈련되는 증류에 관한 비난으로 빠르게 굳어질 수 있다. 한 이용자는 오픈 모델 커뮤니티에서 퍼지는 가장 껄끄러운 주장 중 하나를 제기했다. K2.5가 때때로 자신을 앤스로픽의 대표 모델인 “클로드”라고 소개한다는 것이다. 그 말에는 경쟁 모델을 대대적으로 베꼈다는 함의가 담겨 있었다.

문샷은 그런 행동을 부인하지 않았다. 대신 어떤 조건에서 그런 일이 발생하는지 설명했다. 적절한 시스템 프롬프트를 주면 모델은 높은 확률로 “키미”라고 답하며, 특히 사고 모드에서 그렇다는 것이다. 하지만 시스템 프롬프트가 비어 있으면 팀이 “정의되지 않은 영역”이라고 부르는 상태로 흘러가는데, 이는 의도적인 훈련 선택보다 사전 훈련 데이터의 분포를 반영한다.

이어 팀은 훈련 과정에서의 구체적인 선택과 연결해 설명했다. 문샷은 사전 훈련 때 최신 인터넷 코딩 데이터의 비중을 높였으며, 개발자들이 AI 코딩 어시스턴트를 논할 때 앤스로픽 모델을 자주 언급해 이 데이터에는 “클로드” 토큰과 연관된 내용이 더 많이 담긴 것으로 보인다고 했다. 팀은 벤치마크 결과를 제시하며 증류 의혹에 반박했다.

실제로 K2.5는 여러 벤치마크에서 클로드를 앞서는 것으로 보입니다. HLE, BrowseComp, MMMU Pro, MathVision 등이 그 예입니다.

기업 도입을 고려하는 이들에게 중요한 것은 인터넷상의 논란이 아니다. 정체성 혼란은 실제로 발생할 수 있는 실패 유형이며, 모델의 자기 설명을 우연에 맡기지 않고 시스템 프롬프트를 관리하면 대체로 완화할 수 있다는 점이다. 이번 AMA는 프롬프트 관리를 사용자 경험을 꾸미는 요소가 아니라 안정적인 배포에 필수적인 운영 위생으로 다뤘다.

보상 모델의 영혼을 찾아서

스레드에서 반복해서 나온 주제는 K2.5의 문체가 이전 키미 모델보다 더 평범하게 느껴진다는 것이었다. 이용자들은 이를 “도움이 되는 표준형 어시스턴트”에 더 가깝다고 표현했다. 많은 개발자가 이제 사후 훈련을 거친 모델의 기본 성격으로 여기는 말투다. 한 이용자는 키미 K2의 성격이 좋았다며 무슨 일이 있었는지 물었다.

키미 공동 진행자는 새 버전이 나올 때마다 성격이 어느 정도 바뀐다며, 성격은 주관적이고 평가하기 어렵다고 인정했다. “상당히 어려운 문제”라고 썼다. 팀은 이 문제를 개선하고 사용자마다 성격을 더 맞춤 설정할 수 있도록 하고 싶다고 밝혔다.

코딩 능력을 강화하면 창작 글쓰기와 감성 지능이 저하되는지에 관한 별도 대화에서 키미 관계자는 모델 규모가 충분히 크다면 본질적인 충돌은 없다고 주장했다. 다만 버전이 바뀌어도 “글쓰기 감각”을 유지하기는 어렵다고 했다. 보상 모델이 끊임없이 변하기 때문이다. 팀은 내부 벤치마크, 일종의 메타 평가를 통해 창작 글쓰기의 진전을 추적하고 이에 따라 보상 모델을 조정한다.

또 다른 답변은 기업용 AI 사양서에는 어색하게 들릴 수 있지만 이런 도구를 매일 쓰는 사람에게는 익숙한 표현을 사용했다. 팀은 보상 모델의 “영혼”을 언급하고, 사용자의 취향을 반영한 “상태”를 저장해 모델 출력에 반영하는 방안을 제시했다. 이 대화는 기업이 종종 과소평가하는 제품 개발의 새로운 경계를 보여준다. 말투의 변화는 단순한 미적 문제가 아니다. 모델이 결정을 설명하고, 단서를 달고, 모호성을 처리하며, 고객과 직원을 대하는 방식까지 바꿀 수 있다.

AI 연구의 진짜 일은 디버깅

가장 많은 것을 드러낸 문화적 단서는 훈련과 강화학습 과정에서 예상치 못한 일이 있었느냐는 질문에 나왔다. 한 공동 진행자는 강조를 위해 굵게 표시한 한 단어로 답했다. 디버깅이었다.

사전 훈련이든 사후 훈련이든, 한 가지가 늘 최우선 과제로 떠오릅니다. 디버깅입니다.

이 답변은 세션 전반에 흐르는 주제를 보여줬다. 모델 규모에 따라 새 아이디어를 평가하는 “스케일링 사다리” 방법론을 묻는 질문에 zxytim은 실패 사례를 들려줬다. 팀은 이전 모델 세대에 선형 어텐션을 적용한 실험적 아키텍처인 키미 리니어(Kimi Linear)를 서둘러 넣으려 한 적이 있었다. 특정 규모에서 스케일링 사다리 테스트를 통과하지 못했다. 팀은 한발 물러서서 공동 진행자가 “고된 디버깅 과정”이라고 부른 작업을 거쳤고, 몇 달이 지나서야 제대로 작동하게 만들었다.

“통계적으로 소규모에서 작동하는 아이디어 대부분은 스케일링 사다리를 통과하지 못합니다”라고 이어 말했다. “통과하는 아이디어는 대체로 단순하고 효과적이며 수학적 근거가 탄탄합니다. 연구란 성공을 축하하는 일이 아니라 대부분 실패를 관리하는 일입니다.”

AI 업체를 평가하는 기술 책임자에게 이 고백은 시사하는 바가 크다. 최첨단 성능은 우아한 돌파구만으로 나오지 않는다. 끈질기게 오류 원인을 분리하고, 잘될지 모르는 문제에 수개월을 기꺼이 투입하는 조직 문화에서 나온다. 이런 현실 점검은 제품 출시 때 흔히 제시되는 매끈한 서사와 뚜렷한 대조를 이룬다.

K3 로드맵과 지속 학습

이번 AMA는 키미 차세대 모델을 은근히 예고하는 자리이기도 했다. 개발자들은 긴 컨텍스트를 기존 어텐션 방식보다 효율적으로 처리하는 것을 목표로 하는 문샷의 선형 어텐션 연구를 키미 K3에 적용할지 물었다. 팀원들은 선형 방식이 유력한 선택지라고 시사했다. 한 팀원은 “키미 리니어가 K3에 들어갈 가능성이 높습니다”라며 “다른 최적화 기법도 적용할 예정입니다”라고 썼다.

다른 대화에서 한 공동 진행자는 K3가 “K2.5보다 크게, 어쩌면 10배 더 나아질 것”이라고 내다봤다. 팀은 지속 학습도 적극적으로 탐구 중인 방향으로 꼽으며, 에이전트가 더 긴 시간 동안 효과적으로 작업하는 미래를 시사했다. 에이전트가 한 번의 대화로 끝나는 작업이 아니라 지속적인 프로젝트를 맡으려면 기업에 꼭 필요한 역량이다.

한 공동 진행자는 “지속 학습이 에이전트의 자율성을 높이고 훨씬 오랜 시간 효과적으로 작업할 수 있게 해줄 것이라고 믿습니다”라고 썼다. 에이전트 스웜과 관련해서는 시스템이 더 안정화되면 개발자들이 오케스트레이션 기반 구조를 이용할 수 있도록 공개할 계획이라고 밝혔다. “가능하면 곧 공개하겠습니다”라고 덧붙였다.

이번 AMA가 보여준 2026년 오픈 AI의 현실

이번 세션이 모든 의문을 해소한 것은 아니다. 멀티모달 훈련 방식과 보상 해킹 방어, 데이터 거버넌스에 관한 기술적인 질문 가운데 일부는 추후 공개될 기술 보고서로 답변이 미뤄졌다. 드문 일은 아니다. 많은 연구소가 운영상 가장 중요한 세부 사항을 이제 민감한 정보로 취급한다.

그럼에도 스레드는 AI 경쟁의 중심이 어디로 옮겨갔는지 보여줬다. 가장 중요한 격차는 중국과 미국 사이, 혹은 오픈 모델과 폐쇄형 모델 사이에 있는 게 아니다. 모델이 약속하는 것과 시스템이 실제로 해낼 수 있는 것 사이의 격차다. 오케스트레이션이 제품의 핵심이 되고 있다. 문샷은 모델만 내놓는 것이 아니다. 다음 단계의 성능 향상은 작업을 나누고 도구를 사용하며 구조화된 결과를 빠르게 돌려주는 에이전트에서 나온다는 관점을 제시하고 있다.

오픈 가중치와 하드웨어 현실이 충돌하면서 개발자들은 데이터센터가 필요한 개방성이 아니라 로컬에서 실행되는 개방성을 요구하고 있다. 경쟁의 무대도 원시적인 지능에서 신뢰성으로 이동하고 있다. 벤치마크에서 2점 앞서는 데서 벗어나 도구 호출의 정확성을 디버깅하고, 다중 에이전트 작업에서 메모리를 관리하며, 사용자가 결과를 신뢰하게 만드는 정량화하기 어려운 “감각”을 지키는 문제로 옮겨가고 있다.

문샷은 주목받는 모델 출시와 지정학적 담론이 커지는 가운데 레딧에 등장했다. 그곳에서 기다리던 개발자들이 궁금해한 것은 더 실용적인 질문이었다. 개방성이 실제 사용 가능성을 뜻하게 되는 때는 언제인가? 그런 점에서 이번 AMA는 키미 K2.5를 홍보하는 데 그치지 않았다. 더 큰 모델에서 구조화된 연산으로, 폐쇄형 API에서 여전히 상당한 엔지니어링이 필요한 오픈 가중치 배포로, 성공을 축하하는 문화에서 실패를 관리하는 문화로 전환하는 업계의 단면을 보여줬다.

한눈에 보기

• 문샷 AI는 595GB 오픈소스 모델 키미 K2.5를 출시한 뒤 r/LocalLLaMA에서 레딧 AMA를 열고 실용성에 관한 질문을 받았다
• 개발자들은 로컬 하드웨어용 소형 모델(매개변수 8B~70B)을 요구했지만, 문샷은 폭넓은 사용성을 확보하려면 200B~300B 매개변수가 필요하다고 제안했다
• 팀은 고품질 훈련 데이터 부족으로 스케일링 법칙의 개선 폭이 줄고 있음을 인정하고, 하위 에이전트 100개를 조율하는 에이전트 스웜을 통한 “추론 시점 스케일링”으로 방향을 돌리고 있다
• 에이전트 스웜은 컨텍스트 로트를 피하기 위해 하위 에이전트마다 작업 메모리를 분리하며, 오케스트레이터가 토큰 예산과 작업 할당을 관리한다
• 강화학습 연산을 늘려 시스템 1의 패턴 매칭에서 시스템 2의 추론과 에이전트 행동 훈련으로 초점을 옮길 예정이다
• 문샷은 모델이 자신을 “클로드”라고 부르는 정체성 혼란이 증류가 아니라 클로드 언급이 자주 포함된 코딩 데이터의 비중을 높인 결과라고 설명했다
• 성격과 “영혼”은 버전 간 측정과 유지가 여전히 어려우며, 사용자별 취향 상태를 구현할 계획이다
• 키미 K3에는 선형 어텐션 아키텍처와 장기 작업을 위한 지속 학습 기능이 포함될 것으로 예상된다