MIT 연구진, GPT-6 아스트라가 가중치 직접 수정해 큐웬 수학 점수 끌어올렸다고 밝혀

읽는 시간 9분

Asia Daily에서 AI로 작성

최종 업데이트: November 6, 2026 • 12:13 UTC

MIT Researchers Say GPT-6 Astra Lifted Qwen Math Scores by Directly Editing Its Weights

작은 수치 수정으로 점수 크게 올라

MIT 컴퓨터과학·인공지능연구소 연구진은 OpenAI의 GPT-6 아스트라가 약 8억 개에 달하는 수치 매개변수 가운데 131,072개만 바꿔 소형 큐웬 모델의 수학 점수를 7.9%에서 48.1%로 끌어올렸다고 밝혔다. 이번 개입은 모델이 답을 내놓을 공간이 다 찰 때까지 텍스트를 반복 생성하는 특정 실패 양상을 겨냥했다.

작은 수치 수정으로 점수 크게 올라
가중치를 프로그래밍한다는 것은 무슨 뜻인가?
아스트라가 큐웬의 반복을 멈춘 방법
패치를 찾는 데는 몇 시간의 조사가 필요했다
숫자에서 게임과 도형, 언어 읽어내기
자동차 수리와 게임 플레이 네트워크 구축
더 큰 바둑 네트워크에는 다른 작업 방식이 필요했다
까다로운 두 실험에서 드러난 한계
연구진이 다음으로 시험하려는 것
핵심 내용

리키야 다케히, 제이든 테오, 알렉스 장, 오마르 캇탑은 11월 2일 ‘가중치 공간 프로그래밍의 불씨’라는 제목의 연구 게시물에서 실험 내용을 설명했고, 2026년 11월 3일 관련 보도가 나왔다. 이들의 접근법은 언어 모델이 다른 신경망의 가중치, 즉 정보 처리 방식을 결정하는 수치를 살펴보고 해석한 뒤 직접 다시 쓰도록 하는 것이다.

가장 두드러진 결과는 Qwen3.5-0.8B에서 나왔다. 아스트라가 가중치 약 0.016%를 수정한 뒤 MATH-500 정확도는 40.2%포인트 올라 원래 점수의 약 6배가 됐다. GSM8K 수학 문제 정확도는 13.8%에서 67.1%로, IFEval 지시 이행 점수는 21.0%에서 62.3%로 상승해 시작 점수의 거의 3배에 이르렀다.

실험은 수학에 그치지 않았다. 아스트라는 소형 네트워크의 용도를 파악하고, 모의 주행 제어기를 수리했으며, 규칙과 소스 코드만으로 게임 플레이 네트워크를 작성했다. 다른 실험에서는 한계도 드러났다. 가중치만으로는 사용자에게 과도하게 동조하는 경향을 파악하는 데 어려움을 겪었고, 다른 언어 모델에서는 수정으로 얻은 수학 성능 향상이 미미했다.

개발자들에게 당장 기대할 수 있는 가능성은 새로운 형태의 모델 수리다. 또 한 차례의 기존 학습으로 네트워크를 가르치는 대신, AI 비서가 실패 원인을 조사하고 그 원인이 된 수치 구조를 바꿀 수 있다. 큐웬 실험은 점수 상승 폭만큼이나 실패의 성격이 중요하다는 점도 보여준다.

가중치를 프로그래밍한다는 것은 무슨 뜻인가?

신경망은 여러 층의 계산을 거쳐 입력을 출력으로 변환한다. 가중치는 신호가 구성 요소 사이를 얼마나 강하게 전달하는지 제어한다. 학습 과정에서는 일반적으로 예시와 수학적 오차 측정값을 바탕으로 유용한 수정 방향을 판단해 가중치를 반복해서 조정한다.

경사 하강법은 이런 조정값을 계산하는 흔한 방법이다. 오차를 줄이려면 가중치를 어느 방향으로 옮겨야 하는지 추정한다. 이번 실험에서 아스트라는 학습 루프가 수정값을 계산하도록 하는 대신 대상 네트워크를 추론하고 직접 변경했다.

MIT CSAIL 박사과정 학생인 다케히는 소셜미디어 게시물에서 제안한 작업 흐름을 다음과 같이 설명했다.

모델은 학습 대신 원시 가중치를 읽고 수정할 수 있는 코드처럼 다룰 수 있습니다. 실패를 진단하고 직접 패치하는 방식입니다.

소프트웨어 수리와 비교하면 이해하기 쉽다. 고장 난 애플리케이션을 조사하는 프로그래머는 문제가 있는 함수를 찾아 다시 작성할 수 있다. 이 경우 아스트라는 원치 않는 행동과 관련된 패턴을 수치 구조에서 찾았다. 신경망 가중치는 일반 소프트웨어보다 해석하기 어렵다. 각 가중치의 역할을 설명하는 사람이 읽을 수 있는 이름이 대개 없기 때문이다.

실험마다 제공된 지원 수준은 달랐다. 일부 실험에서는 아스트라가 가중치와 구조 설명만 받았다. 다른 실험에서는 파이썬 환경과 예시, 또는 대상 모델 실행 권한도 제공됐다. 큐웬 실험에서는 기존 학습을 하지 않았지만 상당한 연산과 연습 문제, 시험이 필요했다.

아스트라가 큐웬의 반복을 멈춘 방법

큐웬의 초기 출력은 아스트라가 조사할 문제가 매우 분명했다. 초반 96개 질문 가운데 85개 답변은 최대 출력 길이인 32,768토큰에 도달했다. 토큰은 언어 모델이 읽고 생성하는 텍스트 조각으로, 단어 전체나 단어 일부인 경우가 많다. 잘려 나간 답변의 약 95%는 반복으로 끝났다.

전체 MATH-500 평가에서도 같은 문제가 나타났다. 기준 모델 답변의 93.0%가 토큰 한도에 도달했다. 아스트라는 반복 행동이 15층과 19층의 피드포워드 구성 요소 출력과 연관된 수치 방향에서 비롯됐다고 추적했다. 다층 퍼셉트론(MLP)이라고도 불리는 이 구성 요소는 각 층 안에서 정보를 변환한다.

수치 방향은 단일 스위치가 아니라 여러 값에 걸쳐 나타나는 패턴이다. 아스트라는 두 층 각각에서 출력 열 64개에 반복과 연관된 방향을 뺐다. 이로써 가중치 131,072개가 바뀌었고, 토큰 한도에 도달한 MATH-500 답변 비율은 33.1%로 줄었다.

정답이 어떻게 달라졌는지를 보면 성능 개선의 원인을 알 수 있다. 별도로 확보한 질문 1,152개에서 답변 579개는 오답에서 정답으로 바뀌었고, 5개는 정답에서 오답으로 바뀌었다. 개선된 579개 가운데 576개는 원래 출력 한도 때문에 답변이 잘렸던 사례였다. 따라서 성능 향상 대부분은 반복으로 중단됐던 답변을 수정된 모델이 끝까지 완성하면서 나타났다.

패치 후에도 MATH-500 답변의 약 3분의 1은 출력 한도를 다 썼다. 시험 조건에서는 수정된 네트워크가 훨씬 유용해졌지만, 반복 문제는 여전히 상당했다.

패치를 찾는 데는 몇 시간의 조사가 필요했다

아스트라가 큐웬에서 가장 좋은 결과를 낸 시도에는 평가 요청 50회의 예산이 사용됐다. 각 요청은 최대 수백 개의 예시를 평가할 수 있었다. 조사에는 대화 158회, 파이썬 실행 80회, 총 20.3시간이 걸렸다. 이 가운데 4.7시간은 서비스 중단을 기다리는 데 쓰였다.

작업 환경에는 GSM8K와 MATH 학습 세트에서 가져온 연습 문제 14,000개 이상, 큐웬 가중치 접근 권한, CPU에서 실행되는 파이썬 샌드박스가 포함됐다. 샌드박스에서는 코드를 최대 300회 실행할 수 있었다. 다른 시도에는 평가 요청 10회 또는 25회의 예산이 사용됐다.

보고된 정확도 수치는 특정 생성 설정에서 얻은 결과이기도 하다. 평가에는 사고 모드, 32,768토큰 출력 한도, 온도 0.6이 적용됐다. 온도는 다음 토큰을 선택할 때 무작위성이 얼마나 반영되는지를 제어한다. 모델 카드에서는 사고 모드의 텍스트 작업에 온도 1.0을 권장한다. 시작 시점의 동작을 재현하고 결과를 비교할 때 이 차이는 중요하다.

실제 작업 순서는 다음과 같았다.

연구진은 가중치를 살펴보고 동작을 시험할 수 있도록 대상 모델, 연습 문제, 도구를 아스트라에 제공했다.
아스트라는 반복 출력을 조사하고 15층과 19층을 겨냥한 수정 방안을 마련했다.
평가에서는 수학과 지시 이행의 개선, 출력 한도에 도달한 답변 감소를 측정했다.
연구팀은 11월 2일 연구 내용을 공개하고 벤치마크와 시험 프레임워크를 개발 중이라고 밝혔다.

최종 수정은 작았지만, 이를 찾아내는 과정은 훨씬 규모가 컸다. 이 접근법이 기존 미세 조정보다 시간이나 연산 자원을 절약할 수 있을지는 아직 실용적으로 검증되지 않았다.

숫자에서 게임과 도형, 언어 읽어내기

아스트라의 가중치 분석 실험은 근접 정책 최적화(PPO)라는 강화학습 기법으로 학습한 게임 플레이 네트워크 4개로 시작됐다. PPO는 보상을 통해 행동을 개선한다. 네트워크들은 구조와 입력, 가능한 행동이 같았다. 아스트라는 후보 게임 목록을 받지 않고도 이 네트워크를 브레이크아웃, 퐁, 팩맨, 프리웨이로 식별했다.

연구진은 아스트라가 첫 번째 층의 패턴과 출력 층의 행동 선택 방식 차이를 살펴봤다고 밝혔다. 브레이크아웃 식별 사례에서 아스트라는 답에 99%의 확신을 부여했다. 이 확신도는 아스트라가 자체적으로 평가한 식별 신뢰도다.

소형 확산 모델 3개를 이용한 실험도 진행됐다. 각 모델은 원, 삼각형, 정사각형 가운데 하나를 생성하도록 학습됐다. 모델을 실행하지 않고도 아스트라는 출력 층 가중치에서 윤곽선을 찾아 도형을 식별했다. 아스트라가 그린 도형은 비어 있었지만 모델은 속이 채워진 도형을 생성했다. 이 특이한 세부 사항은 아스트라의 해석이 분석한 수치 구조와 연결돼 있음을 보여줬다.

언어 식별 실험에서는 각각 매개변수 720만 개를 가진 모델 3개를 사용했다. 각 모델은 파이썬 코드, 로마자 표기 일본어, 영어 가운데 하나에서 다음 문자를 예측하도록 학습됐다. 아스트라는 중간 층만 제공받고도 두 차례 모두 학습 언어를 정확히 식별했다.

아스트라는 이전에 나온 텍스트를 반복하는 데 도움을 주는 어텐션 구성 요소인 복사 헤드도 찾아냈다. 파이썬 모델에는 이런 헤드가 더 많았는데, 이는 코드에서 변수명과 함수명이 반복해서 쓰이는 특성과 맞아떨어졌다. 로마자 표기 일본어 모델은 마지막 모듈에 기록된 방향이 더 적었다. 자주 쓰이는 문자의 종류가 더 적기 때문인 것으로 해석됐다.

자동차 수리와 게임 플레이 네트워크 구축

키네틱스 환경의 모의 자동차에는 도움이 되지 않는 습관이 있었다. 경사면으로 돌진한 뒤 빠져나오지 못했다. 먼저 후진하면 충분한 공간을 확보해 경사면을 성공적으로 올라갈 수 있었다. 아스트라는 제어기 가중치와 장면 설명, 실패 기록 하나를 제공받고 도구 없이 한 차례 응답으로 수정안을 내놨다.

패치는 가중치의 3.5%를 바꿨고 1,024개 시험에서 모두 성공했다. 아스트라는 네트워크에 위치와 속도를 추적하는 작은 경로를 추가한 다음, 자동차가 표식을 지나면 원래 네트워크에 제어를 돌려줬다.

미니애타 게임인 브레이크아웃, 씨퀘스트, 애스터릭스에서는 정책 네트워크를 처음부터 작성하는 다른 과제가 주어졌다. 정책 네트워크는 게임 상태를 행동으로 변환한다. 아스트라는 규칙과 소스 코드, 요구되는 구조를 받았지만 학습 예시나 경사 계산, 도구는 제공받지 않았으며 평가 전에 게임을 해볼 수도 없었다.

아스트라가 작성한 네트워크는 세 게임 모두에서 1억 스텝 학습한 PPO 기준 모델을 이겼다. 수치상 차이가 가장 컸던 게임은 브레이크아웃이었다. 아스트라의 점수는 517.4로, 1억 스텝 학습 기준 모델의 15.8과 5억 스텝 학습 모델의 25.3을 크게 앞섰다. 후자와 비교하면 약 20배 높은 점수다.

우위의 정도는 게임마다 달랐다. 5억 스텝 학습한 PPO 모델과 비교하면 아스트라는 애스터릭스에서 비슷한 수준에 도달했고, 씨퀘스트에서는 기준 점수의 약 60%를 기록했다. 아스트라의 브레이크아웃 설계는 명시적인 전략을 가중치로 구현했다. 공이 어디에 떨어질지 추정한 뒤 패들을 그 위치로 움직이는 방식이다.

더 큰 바둑 네트워크에는 다른 작업 방식이 필요했다

바둑 실험에서는 매개변수가 약 150만 개인 네트워크를 사용했다. 이 네트워크는 아스트라의 컨텍스트 창, 즉 한 번에 처리할 수 있는 정보량에 직접 넣기에는 너무 컸다. 연구진은 가중치를 살펴보고 수정할 수 있도록 파이썬 샌드박스를 제공했다.

구조는 입력 243개, 유닛 512개로 구성된 은닉층 6개, 출력 82개로 이뤄졌다. 아스트라는 이 구조를 간결한 바둑 프로그램처럼 구성했다. 앞쪽 층은 돌과 활로, 즉 돌무더기를 살아 있게 하는 빈 이웃 지점을 표현했다. 중간 층은 연결된 돌무더기 사이에 정보를 전달해 위험을 파악했다.

마지막 층은 상대 돌을 잡고, 위협받는 돌무더기를 살리며, 눈을 지키고, 돌무더기에 활로가 하나만 남은 상태인 단수를 피하는 수를 평가했다. 반복 대국으로 학습한 전략이 아니라 수치 가중치로 구성한 전략이었다.

성능 평가를 전혀 하지 않은 상태에서도 아스트라의 네트워크는 더 작은 PPO 네트워크 2개를 상대로 절반이 넘는 승률을 기록했다. 평가 50회의 예산을 사용했을 때는 2,000만 판으로 학습한 같은 크기의 네트워크보다 성능이 좋았다. 대국 결과를 통해 아스트라는 패배를 살펴보고 기력을 높인 변경 사항을 유지할 수 있었다.

까다로운 두 실험에서 드러난 한계

젬마 3 270M은 큐웬과 유용한 대조를 이뤘다. 반복 루프에 빠지는 경우가 거의 없었다. 대신 아스트라는 산술 오류와 잘못된 대수 계산 등 일반적인 추론 오류를 찾아냈다. 숫자에 반응하는 뉴런의 강도를 두 배로 높이는 등 소규모 수정을 했지만 MATH-500 정확도 향상은 최대 약 1%포인트에 그쳤다.

이 비교는 실용적인 차이를 보여준다. 반복 행동을 없애면 모델이 이미 가진 능력을 활용할 수 있다. 여러 종류의 수학 실수를 바로잡으려면 하나의 공통 수치 패턴을 제거하는 것보다 폭넓은 해결책이 필요하다.

사용자가 틀렸는데도 동의하는 경향인 아첨성은 직접 살펴보기 어려웠다. 연구진은 같은 질문과 답변 데이터로 젬마 3 270M 모델 두 쌍을 미세 조정했다. 한 모델은 정답을 말하도록, 다른 모델은 사용자의 제안에 동의하도록 학습됐다.

아스트라는 가중치만으로 두 모델을 안정적으로 구별하지 못했다. 모델의 답변을 보지 않고 아스트라가 작성한 텍스트에 대한 어텐션 패턴을 살펴보도록 하자 세 쌍 모두에서 아첨성 모델을 정확히 식별했다. 이 모델들은 중간층 어텐션을 사용자가 제안한 내용에 더 많이 할당했다.

어텐션 측정값은 텍스트를 처리할 때 모델이 처리 자원의 일부를 어디에 두는지 보여준다. 이 실험에서 어텐션 측정이 유용했다는 점은 실행을 통한 분석이 성공적인 진단의 중요한 요소임을 보여준다. 과도한 동조를 탐지하는 것과 그 행동을 바꾸는 것은 별개의 과제였다.

연구진이 다음으로 시험하려는 것

MIT 연구팀은 모델 분석, 표적 수리, 기존 학습 데이터 없이 기능을 바꾸는 방법, 서로 다른 구조 간 유용한 구성 요소 이전 등에 활용할 가능성을 보고 있다. 모델 직접 수정은 이미 ROME(2022년 NeurIPS 발표)와 MEMIT(2023년 ICLR 발표) 등 연구가 축적된 분야다. 이번 연구는 범용 언어 모델이 수정 작업 자체를 추론하는 접근법을 살펴본다.

재귀적 자기 개선도 제안된 방향 가운데 하나다. AI 시스템이 모델 개선을 돕고, 개선된 모델이 추가 개선을 더 잘 수행할 수 있다는 구상이다. 이번 실험에서는 사람이 과제와 도구, 평가 예산을 정했고 아스트라는 다른 네트워크를 대상으로 작업했다. 신뢰할 수 있는 반복 개선 과정을 구축하려면 추가 실험이 필요하다.

연구팀은 실험 기록과 수정 결과물을 공개했다. 공개 저장소에는 모델 호출 기록 1,125건이 담긴 것으로 설명됐다. 다음 단계로는 일관된 평가를 위한 벤치마크와 실험 프레임워크 개발을 제시했다. 공개 일정은 밝히지 않았다.

AI 애플리케이션을 만드는 이들에게 가장 구체적이고 이해하기 쉬운 발견은 더 제한적이다. 반복되는 결함 때문에 모델이 유용한 작업을 끝내지 못할 때, 작은 수치 수정으로 큰 개선을 얻을 수 있다는 것이다. 젬마와 아첨성 실험 결과가 보여주듯, 각 수정 방안에는 개별적인 진단과 검증이 필요하다.