알리바바 메티스 에이전트, 불필요한 AI 도구 호출 96% 줄이고 정확도 새 기준 세워

지나치게 적극적인 AI 에이전트의 숨은 비용

현대 인공지능 에이전트는 운영 비용을 부풀리고 사용자를 불편하게 하는 근본적인 의사결정 약점을 안고 있다. 알리바바 연구진은 현재 대형 언어 모델에 심각한 메타인지 결함이 있다고 지적했다. 이들 시스템은 외부 도구를 호출해야 하는 상황과 내부 지식만으로 충분한 상황을 구분하는 데 어려움을 겪는다. 그 결과 불필요한 API 호출이 잇따라 발생해 성능이 느려지고 추론 품질이 떨어지며 연산 예산도 소진된다.

현재의 에이전트형 모델은 무엇보다 과업 완수를 우선하도록 훈련된다. 이런 일방적인 초점은 개발자들이 이른바 '성급한 호출'이라고 부르는 행동을 낳는다. 사용자 질문에 필요한 정보가 모두 담겨 있는데도 시스템이 웹 검색, 코드 실행, 이미지 분석 도구를 자동으로 찾는 것이다. 알리바바 연구에 따르면 이런 중복 호출은 우려할 만한 수준에 달해, 일반적인 배포 환경에서 도구 호출의 최대 98%가 불필요한 것으로 나타났다. 훈련 과정에서 과업을 성공적으로 해결하는 능력은 보상하지만 비효율적인 자원 소비에는 불이익을 주지 않기 때문에 이런 양상이 지속된다.

불필요한 API 호출은 매번 순차 처리 지연을 일으키며, 이런 지연이 누적되면 사용자가 체감할 정도로 응답 속도가 느려진다. 사용자는 답답한 응답 시간을 경험하고, 조직은 늘어난 인프라 비용을 부담한다. 속도와 비용 문제뿐 아니라 도구를 과도하게 사용하면 추론 품질도 직접적으로 저하된다. 불필요한 외부 질의는 모델의 컨텍스트 창에 환경적 잡음을 더해 일관된 사고 과정을 방해하고 정확한 결론을 흐트러뜨릴 수 있다. 에이전트가 이런 잡음에 불필요하게 의존하면 연산 비용은 늘고 최종 결과물의 품질은 떨어진다.

최적화 교착 상태의 해소

이전에는 정확성과 효율성을 하나의 보상 신호로 결합하는 기존 강화학습 기법으로 이런 비효율을 해결하려 했다. 그러나 이렇게 얽힌 접근법은 풀기 어려운 최적화 딜레마를 낳는다. 도구 사용에 지나치게 큰 페널티를 주면 모델이 필요한 외부 호출까지 피하게 돼 복잡한 과업의 정확성이 희생된다. 페널티가 약하면 단순한 문제에서 낭비를 억제하지 못한다. 보상 구조를 공유하면 의미적 모호성이 생겨, 빠르지만 틀린 답과 느리지만 정확한 답이 같은 점수를 받을 수 있다. 정확성과 효율성을 위한 훈련 신호가 서로 얽히면 모델은 핵심 추론 능력을 떨어뜨리지 않으면서 도구 사용을 제어하는 법을 배울 수 없다.

이 한계를 극복하기 위해 알리바바 연구진은 계층적 분리 정책 최적화(Hierarchical Decoupled Policy Optimization), 즉 HDPO를 개발했다. 이 프레임워크는 최적화를 서로 독립적인 두 경로로 나눈다. 정확성 경로는 모든 모델 롤아웃에서 과업의 정답률을 극대화하고, 효율성 경로는 실행 비용을 줄이는 데 초점을 맞춘다. 두 신호는 독립적으로 계산되며 최종 손실 계산 단계에서만 결합된다. 중요한 점은 효율성 보상이 정확성을 전제로 한다는 것이다. 오답에는 빠른 응답이나 최소한의 도구 사용에 대한 점수를 주지 않아 모델이 빠르지만 틀린 답을 내도록 학습되는 것을 막는다.

이러한 분리는 교육 과정의 단계적 발전을 닮은 암묵적 인지 커리큘럼을 만든다. 초기 훈련 단계에서는 모델이 핵심 추론과 지식 습득을 익히도록 정확성을 강조한다. 역량이 성숙하고 모델이 꾸준히 정답에 도달하면 효율성 신호의 비중이 자연스럽게 커진다. 이 메커니즘을 통해 시스템은 먼저 과업 해결 능력을 익힌 다음, 중복되고 비용이 많이 드는 API 호출을 피하며 자립성을 높인다. 그 결과 정확성과 효율성 목표가 서로 상쇄될 수 있는 그래디언트 충돌을 없애 두 목표 모두에 대해 명확한 학습 신호를 동시에 제공한다.

메티스 아키텍처 살펴보기

연구팀은 HDPO를 적용해 실제로 이 원칙을 구현한 멀티모달 추론 에이전트 메티스(Metis)를 개발했다. 메티스는 Qwen3-VL-8B-Instruct 비전·언어 기반 모델을 바탕으로 파이썬 코드 실행, 텍스트 검색, 이미지 검색 기능을 갖췄다. 80억 개 매개변수로 이뤄진 비교적 소형 모델이라는 점은 더 큰 경쟁 모델들과 뚜렷한 대조를 이루며, 효율성 향상이 단순한 규모의 우위를 넘어설 수 있음을 보여준다.

훈련 파이프라인은 기본 역량과 정교한 효율성을 모두 갖추도록 설계된 엄격한 2단계 방식으로 진행된다. 첫 단계에서는 세심하게 선별한 데이터를 활용한 지도 미세조정으로 초기 역량을 마련한다. 연구진은 공개된 도구 활용 멀티모달 궤적 데이터를 확보한 뒤, 실행 실패나 피드백 불일치가 포함된 품질 낮은 사례를 강도 높게 걸러냈다. 기반 모델이 도구 없이 해결할 수 있는 훈련 샘플은 모두 제거해 데이터셋에 진정한 전략적 도구 사용 사례만 남겼다. 구글 제미나이 3.1 프로를 자동 평가자로 활용해 남은 사례가 습관적인 도구 호출이 아니라 꼭 필요한 호출을 보여주는지 확인했다.

두 번째 단계에서는 HDPO 프레임워크를 통한 강화학습을 적용한다. 이 단계에서 메티스는 외부 도구를 호출할지 판단해야 하는 다중 턴 상호작용을 경험한다. 훈련 데이터에서는 학습 신호를 혼란스럽게 만들 수 있는 손상된 시각 자료나 의미적 모호성이 있는 프롬프트를 제외한다. 알고리즘은 의미 있는 그래디언트를 만들기 위해 정답과 오답을 비교하므로, 모델이 늘 성공하는 지나치게 쉬운 과업과 일관되게 실패하는 지나치게 어려운 과업도 걸러냈다. 이러한 선별을 통해 최적화 과정에서 실행 가능한 학습 신호를 유지하고, 모델이 개선될 수 없는 평탄한 그래디언트 구간을 피한다.

98% 낭비에서 전략적 정밀성으로

평가 결과, 효율적인 도구 사용과 높은 정확성은 서로 충돌하는 목표가 아니라 함께 달성할 수 있는 목표인 것으로 나타났다. 메티스는 HRBench와 V*Bench를 포함한 시각 인지 및 문서 이해 데이터셋은 물론, WeMath와 MathVista 같은 엄격한 수학 추론 과제에서도 최첨단 성능을 달성했다. 특히 매개변수 80억 개의 메티스는 시각 및 추론 벤치마크 모두에서 훨씬 큰 에이전트형 모델인 300억 개 매개변수의 스카이워크-R1V4보다 뛰어난 성과를 냈다. 훨씬 적은 연산 자원으로 분야의 새로운 기준을 세운 것이다.

정량적 개선은 테스트 과정에서 관찰된 행동의 질적 변화와도 맞아떨어진다. 한 실험에서 연구진은 박물관 안내판 이미지와 함께 중앙 문구가 무엇인지 물었다. 기존 에이전트형 모델은 불필요하게 이미지를 자르고 처리하는 파이썬 스크립트를 자동으로 작성해 지연과 복잡성을 더했다. 메티스는 원본 입력에서 문구를 분명하게 읽을 수 있음을 파악하고 외부 도구를 전혀 사용하지 않은 채 한 번의 추론으로 과업을 마쳤다. 이는 기계적인 도구 의존이 아니라 진정한 시각적 이해를 보여준다.

반면 작은 삽도에 겹쳐 그려진 선들이 있는 복잡한 차트를 보여주고 특정 데이터 지점에서 두 번째로 높은 선을 식별하라고 하자, 메티스는 자체 해상도로는 시각적 세부 정보를 구분할 수 없다고 정확히 판단했다. 전체 이미지로 추측하는 대신 파이썬을 호출해 해당 영역만 잘라 확대했고, 필요한 정밀도를 확보했다. 이 사례는 코드 실행이 모든 입력에 대한 기본적인 대안이 아니라, 시각적 증거가 실제로 모호할 때만 사용하는 정밀 도구임을 보여준다.

더 똑똑한 에이전트의 경제성

AI 제품을 만드는 스타트업과 대기업에 메티스의 성과는 지속 가능한 단위 경제성으로 직결된다. 오픈AI, 앤트로픽, 구글의 인기 API를 이용하는 현재의 AI 에이전트는 중복 호출만으로도 월간 비용이 수천 달러까지 쌓일 수 있다. 연구에서 입증한 98%에서 2%로의 감소율을 적용하면, API 이용에 매달 1만 달러를 쓰는 스타트업은 낭비성 도구 호출을 없애 비용을 최대 9,600달러 줄일 수 있다. 제품이 최소기능제품 단계를 넘어 수천 명의 활성 사용자가 있는 운영 환경으로 확장될수록 이러한 절감은 더욱 중요해진다.

직접적인 비용 절감 외에도 지연 시간 감소는 사용자 경험 측면에서 경쟁 우위를 만든다. 소비자용 제품과 기업용 제품 모두 빠른 응답 속도에서 이점을 얻으며, 응답 속도는 사용자 유지율 및 참여도 지표와 밀접한 상관관계가 있다. 제품이 수백 명에서 수천 명의 활성 사용자로 확장되면 불필요한 API 호출로 생기는 순차 처리 병목이 누적돼 시스템 전반의 성능 저하로 이어진다. 초기 개발 단계에서는 무리 없이 작동하던 제품도 효율성 최적화가 없으면 운영 트래픽을 감당하지 못하는 경우가 많다. 특히 성장이 가속화되는 시점에 위기가 닥칠 수 있다.

라틴아메리카와 기타 신흥 경제권처럼 소비자의 가격 민감도가 높은 시장에서는 운영 효율성이 사업의 지속 가능성을 좌우한다. 경쟁사가 중복 연산에 자본을 소모하는 동안 건전한 이익률을 유지하는 기업은 지속 가능한 경쟁 우위를 확보할 수 있다. 이번 연구는 어느 스타트업이나 동일한 기반 모델에 접근할 수 있는 환경에서 효율성이 핵심적인 경쟁 차별화 요소가 된다는 점을 시사한다. 이런 상황에서는 HDPO 같은 프레임워크와 함께 지능형 캐싱, 신뢰도 임계값, 전략적인 모델 선택을 도입하는 조직이 유리하다.

새로운 훈련 철학

HDPO 프레임워크는 도구 활용 학습을 바라보는 연구자들의 관점에 개념적 변화를 가져온다. 이전 방법은 주로 모델이 도구 호출을 올바르게 실행하는 방법을 가르치는 데 집중해 판단력보다 기술적 숙련도를 중시했다. 알리바바 연구팀은 외부 도구를 아예 사용하지 않을 때를 판단하는 메타인지적 지혜를 길러야 한다고 주장한다. 그러려면 기술적 실행만 보여주는 게 아니라 전략적으로 도구 사용을 자제하는 사례를 명시적으로 담은 훈련 데이터가 필요하다. 이전 데이터셋에서는 대체로 이런 미묘한 차이를 간과했다.

데이터 선별 파이프라인은 기존 도구 활용 데이터셋에 흔히 나타나는 심각한 결함을 해결한다. 공개된 데이터셋 대부분에는 모델이 전략적으로 도구를 쓰기보다 습관적으로 호출하도록 학습한 잡음 섞인 궤적이 들어 있다. 연구진은 외부 도움 없이 해결할 수 있는 사례를 걸러내고 자동 평가자로 필요성을 확인해, 신중하게 도구 사용을 자제하는 행동에 보상을 주는 훈련 환경을 만들었다. 이는 추론과 행동을 결합하지만 명시적인 이중 경로 최적화는 적용하지 않는 ReAct나 운영 효율성보다 도구 사용 학습에 중점을 둔 Meta Toolformer 같은 프레임워크와 대조된다.

HDPO가 만들어내는 암묵적 커리큘럼은 전문 교육에서 나타나는 인간의 학습 양상을 닮았다. 초보 에이전트는 먼저 과업을 정확히 해결하는 능력을 익혀 주어진 자원을 활용해 문제를 안정적으로 풀 수 있게 된다. 역량이 자리 잡으면 시스템은 자연스럽게 효율성 최적화로 넘어가, 익숙한 문제는 직접 해결하고 실제로 새로운 문제나 복잡한 예외 사례에만 외부 도구를 사용하도록 학습한다. 이런 단계적 발전은 두 목표를 동시에 학습하도록 훈련한 시스템의 취약성을 피한다. 그런 시스템은 효율성 제약이 가해질 때 정확성이 떨어지는 경우가 많다.

오픈소스 접근성과 세계적 영향

알리바바는 메티스와 HDPO 훈련 코드를 관대한 아파치 2.0 라이선스로 공개해 제한적인 조건이나 로열티 없이 상업적으로 이용할 수 있도록 했다. 이러한 공개 방식 덕분에 스타트업은 독점 솔루션을 기다리거나 프리미엄 이용료를 지불하지 않고도 이 기술을 바로 도입할 수 있다. 다만 논문이 2026년 4월에 발표된 만큼 문서와 커뮤니티 지원은 아직 초기 단계에 있어, 제대로 구현하고 맞춤화하려면 상당한 기술 역량이 필요하다.

이번 공개는 AI 에이전트 생태계가 기능 추가를 넘어 효율성 최적화로 성숙해지는 시점에 이뤄졌다. 랭체인과 라마인덱스 같은 기업은 플랫폼에 유사한 최적화 기능을 계속 통합하고 있으며, 독점 솔루션도 각기 다른 비용 구조로 관리형 서비스를 제공한다. 스페인어권 시장과 신흥 경제권의 개발자들은 이러한 효율성 프레임워크를 조기에 도입해 현지 인프라 제약과 가격 민감성에 최적화된 경쟁력 있는 제품을 만들 기회를 얻을 수 있다.

연구팀은 잡음이 많고 중복된 도구 호출을 없애는 일이 다른 지표와 맞바꾸는 방식이 아니라 정확도를 직접 높인다고 강조했다. 연구진의 결론은 인공지능 개발 전반의 더 큰 패러다임 전환을 시사한다. 도구 사용 빈도로 역량을 드러내는 시스템에서 벗어나 전략적으로 사용을 자제하며 판단력을 보여주는 에이전트로 나아가는 것이다. 향후 AI 개발은 모든 도구를 빠짐없이 호출하기보다 필요한 행동을 선별해 지능적으로 실행하는 데 우선순위를 둘 것으로 보인다.

핵심 내용

• 알리바바의 메티스 에이전트는 HDPO 프레임워크를 활용해 불필요한 AI 도구 호출을 98%에서 2%로 줄인다
• HDPO(계층적 분리 정책 최적화)는 정확성과 효율성을 독립적인 훈련 경로로 분리한다
• 매개변수 80억 개의 메티스는 시각 및 추론 벤치마크에서 훨씬 큰 매개변수 300억 개 모델보다 뛰어난 성능을 보인다
• 전략적인 도구 사용은 에이전트가 효율성을 최적화하기 전에 정확성을 익히도록 하는 암묵적 인지 커리큘럼을 만든다
• 낭비성 호출을 없애면 스타트업의 API 비용을 최대 96% 절감할 수 있다
• 메티스와 HDPO 코드는 제한 없이 상업적으로 이용할 수 있는 아파치 2.0 라이선스로 공개됐다
• 이 프레임워크는 AI 에이전트가 내부 지식으로 해결할 문제와 외부 도구가 필요한 문제를 구분하지 못하는 메타인지 결함을 해결한다