KAIST, 화면을 보고 웹사이트를 사용하는 AI 에이전트 KORMo-Web 공개

읽는 시간 7분
KAIST unveils KORMo-Web, an AI agent that uses websites by watching the screen

실제 웹사이트 작업에 도전하는 소형 AI 모델

KAIST 연구진이 마우스 클릭과 키보드 입력으로 웹사이트를 조작하는 인공지능 에이전트 KORMo-Web을 공개했다. 가장 작은 모델은 실제 웹사이트에서 진행된 평가에서 한국어와 영어로 각각 할당된 작업의 42.3%를 완료했다.

목차
  1. 실제 웹사이트 작업에 도전하는 소형 AI 모델
  2. AI는 어떻게 사람처럼 웹사이트를 이용할까?
  3. 행동을 요청하기 전에 AI에 가르친 것
  4. 성공률 42.3%는 무엇을 의미할까?
  5. 한국어 평가 데이터가 중요한 이유
  6. 세 가지 모델과 실행 도구
  7. 시연에서 실용적인 작업 위임으로
  8. 핵심 내용

KAIST 문화기술대학원 임경택 교수가 이끈 연구팀은 2026년 11월 17일 공개 소식을 발표했다. 시스템이 화면에서 무엇을 보고 어떻게 행동할지 학습하도록 1,000만 개가 넘는 웹 화면 샘플과 10만 건이 넘는 웹사이트 상호작용 기록을 활용했다.

KORMo-Web은 ChatGPT와 Claude 같은 서비스를 이용하고, 네이버 쇼핑과 쿠팡에서 상품을 검색하며, 이메일 초안을 작성하고 온라인 커뮤니티에서 활동할 수 있다. 연구진은 실제 웹사이트에서 수행한 40개 작업을 4분으로 압축한 시연 영상도 공개했다.

핵심 발상은 간단하다. 서비스마다 별도의 소프트웨어 연결을 구축하는 대신, AI가 사람이 보는 화면을 이해하고 그 화면의 조작 요소를 직접 다루도록 하는 것이다.

KAIST는 개인용 컴퓨터에서 직접 실행할 수 있는 40억 매개변수 버전을 포함해 세 가지 모델 크기를 공개했다. 모델 가중치와 학습 데이터, 한국어 평가 데이터, 크롬 확장 프로그램 코드도 함께 제공해 개발자들이 시스템을 실행하고 연구하는 데 필요한 구성 요소를 갖췄다.

AI는 어떻게 사람처럼 웹사이트를 이용할까?

KORMo-Web은 AI 에이전트다. 단순히 글로 답하는 대신 요청을 수행하기 위해 행동한다는 뜻이다. 사용자가 지시를 내리면 시스템은 웹 화면을 해석하고, 조작 요소를 선택한 뒤, 요청한 결과를 얻기 위해 텍스트를 입력한다.

예를 들어 쇼핑 작업에서는 검색창의 위치를 파악하고 상품명을 입력한 뒤 결과를 탐색해야 한다. 다른 AI 서비스를 통해 자료를 준비하려면 입력란을 찾아 요청을 제출하고 응답을 처리해야 한다.

광고

많은 소프트웨어 서비스는 다른 프로그램이 정보를 요청하거나 작업을 수행할 수 있도록 애플리케이션 프로그래밍 인터페이스(API)를 제공한다. 반면 KORMo-Web은 눈에 보이는 웹사이트를 통해 작동하는 것을 목표로 해 서비스마다 전용 연결을 구축할 필요를 줄인다.

임 교수는 프로젝트의 목표를 설명하며 다음과 같이 말했다.

우리의 목표는 서비스마다 외부 애플리케이션 프로그래밍 인터페이스(API)를 하나씩 연결하는 것이 아니라, AI가 사람처럼 화면을 이해하고 컴퓨터를 직접 사용하도록 하는 것입니다,

이 방식은 페이지의 기반이 되는 HTML이나 문서 객체 모델(DOM)을 주로 활용하는 자동화와도 다르다. 이러한 구조는 웹페이지가 어떻게 구성돼 있는지 설명한다. KORMo-Web은 표시된 화면과 사람들이 웹사이트를 사용하는 방식에 관한 기록을 중심으로 학습한다.

행동을 요청하기 전에 AI에 가르친 것

연구진은 한국에서 흔히 이용하는 웹사이트를 포함해 한국어와 영어 웹 화면으로 1,000만 개가 넘는 학습 샘플을 구축했다. 버튼이나 텍스트 입력란의 위치만 가르치는 것이 목표는 아니었다.

연구팀은 이 단계를 ‘원자 수준 웹 사전학습’이라고 부른다. 쉽게 말해 큰 작업을 수행하기 전에 웹사이트의 작은 구성 요소부터 익히는 과정이다. 메뉴가 어디 있는지, 버튼이 무슨 기능을 하는지, 입력란에 무엇을 입력할 수 있는지, 조작 요소가 어떤 상태인지 등을 학습한다.

버튼의 모양과 기능은 서로 관련돼 있지만 다른 정보다. 에이전트는 알맞은 조작 요소를 식별하고, 이를 사용하면 사용자의 작업이 어떻게 진전되는지도 이해해야 한다. 이러한 세부 사항을 학습하면 행동을 선택하는 기반을 갖출 수 있다.

이후 연구진은 한국어와 영어 웹 상호작용 기록을 10만 건 넘게 추가했다. 궤적이라고도 하는 이러한 행동 순서는 웹사이트 이용이 한 번의 클릭이 아니라 여러 단계에 걸쳐 어떻게 진행되는지 보여준다.

두 학습 단계는 서로 다른 필요를 충족한다. 화면 샘플은 에이전트가 눈앞에 있는 것을 인식하고 해석하도록 가르친다. 상호작용 기록은 일련의 행동이 어떻게 지시를 완료된 작업으로 이어지게 하는지 가르친다.

광고

성공률 42.3%는 무엇을 의미할까?

매개변수 40억 개를 가진 KORMo-Web-4B는 실제 웹사이트에서 에이전트가 작업을 수행하도록 하는 평가인 Online-Mind2Web에서 영어와 한국어 모두 42.3%의 작업 성공률을 기록했다.

공식 KORMo-Web-4B 공개 페이지에는 평가 절차와 전체 결과가 나와 있다. 모든 모델은 실제 웹사이트 작업 612개, 즉 영어 300개와 한국어 312개를 동일하게 수행했다. 모델마다 프롬프트와 행동 형식은 달랐지만, GPT-6로 명시된 동일한 언어 모델 평가자가 모든 실행 결과를 채점했다. 성공률은 전체 작업 수를 분모로 계산하므로 실행이 중단되거나 결과가 비어 있으면 실패로 집계된다. 해당 페이지에는 전체 평가 하네스 사양과 시스템 프롬프트, 도구 스키마도 안내돼 있다.

영어와 한국어 성공률 순으로 제시한 전체 결과는 Qwen3.5-4B가 20.0%와 13.5%, Fara-1.5-4B가 20.7%와 7.7%, UI-TARS-1.5-7B가 22.3%와 20.2%, OpenWebRL-4B가 32.7%와 15.4%, KORMo-Web-4B가 42.3%와 42.3%, KORMo-Web-9B가 51.0%와 48.1%였다.

연구진은 비교 대상에 포함된 공개 모델 가중치 보유 에이전트 가운데 가장 높은 결과라고 밝혔다. 이 모델은 기존 비교에서 가장 좋은 결과보다 영어에서 9.6%포인트, 한국어에서 22.1%포인트 높은 성적을 거뒀다.

이 격차를 역산하면 이전 최고 성적은 영어 32.7%, 한국어 20.2%였다. 따라서 한국어에서 개선 폭이 훨씬 컸으며, KORMo-Web의 점수는 기존 비교 점수의 두 배를 넘었다.

퍼센트포인트는 두 백분율 사이의 차이를 나타낸다. 예를 들어 20.2%에서 42.3%로 오르면 22.1%포인트 상승한 것이다. 이는 이번 평가에서 한국어 결과가 상당히 개선됐음을 보여준다.

성공률은 사용자에게 실용적인 신뢰도 지표도 제공한다. 성공률이 42.3%라면 할당된 작업의 절반에도 못 미치는 수만 성공적으로 완료한 셈이다. 나머지 57.7%는 성공으로 분류되지 않아, 사용자가 결과를 확인하지 않고 일상적으로 작업을 맡길 수 있으려면 개선의 여지가 크다.

한국어 평가 데이터가 중요한 이유

KAIST는 그래픽 사용자 인터페이스 에이전트용 주요 벤치마크 4종을 한국어 환경에 맞게 조정한 평가 데이터도 공개했다. 그래픽 사용자 인터페이스란 사람이 소프트웨어를 조작하는 버튼, 메뉴, 텍스트 상자 등의 시각적 조작 요소를 말한다.

한국어 평가 데이터는 한국 웹 환경에 맞춰 사람들이 직접 구축했다. 이를 통해 연구자들은 개발을 주도해 온 영어 환경과 더불어 현지 웹사이트와 언어 사용 환경에서도 에이전트를 시험할 수 있다.

Online-Mind2Web에서 한국어와 영어 점수가 모두 42.3%라는 점은 보고된 평가에서 두 언어의 성능을 나란히 비교할 수 있다는 점에서 유용하다. 기존 한국어 비교 결과보다 개선 폭이 더 컸다는 점도 현지 언어 요소를 이번 공개의 핵심으로 만든다.

광고

평가 데이터를 공개하면 다른 개발자들도 같은 유형의 작업으로 시스템을 시험할 수 있다. 학습 데이터와 상호작용 기록까지 함께 제공해 학습 과정의 어떤 요소가 성능을 높이는지 연구할 기반도 더 명확해진다.

세 가지 모델과 실행 도구

이번 공개에는 매개변수 40억 개, 90억 개, 110억 개 모델이 포함됐다. 매개변수는 모델이 학습 과정에서 습득하는 내부 수치이며, 매개변수 수는 모델 크기를 나타내는 일반적인 기준이다.

4B와 9B 버전은 Qwen3.5를 기반으로 한다. KORMo-Web-11B라고 불리는 11B 버전은 KAIST 자체 KORMo 기반 모델 제품군을 출발점으로 삼았다. 기반 모델은 폭넓게 학습된 AI 시스템으로, 특정 역할에 맞춰 추가 학습을 할 수 있다. 여기서는 웹사이트 조작이 그 역할이다.

KORMo-Web-4B는 개인용 컴퓨터에서 직접 실행하도록 설계됐다. 더 큰 원격 시스템에만 의존하지 않고 사용자의 컴퓨터에서 웹 비서를 이용할 수 있게 하려는 연구팀의 목표에서 작은 크기는 핵심 요소다.

공개 자료는 모델 자체에 그치지 않는다. KAIST는 학습된 모델 가중치와 방대한 웹 학습 데이터, 사용자 행동 순서, 한국어 평가 데이터, 크롬 확장 프로그램 코드, 설치 안내, 동영상과 예시를 제공한다.

연구진은 최소 컴퓨터 하드웨어 요구 사항을 명시하지 않았다. 공식 공개 페이지에도 구매나 이메일 발송, 댓글 같은 공개 소통 전에 사용자의 확인이 필요한지 나와 있지 않다. 돈을 쓰거나 다른 사람과 소통하는 작업에 에이전트를 사용하려는 사람에게는 중요한 사항이다.

시연에서 실용적인 작업 위임으로

시연에는 ChatGPT로 발표 자료를 준비하고, Claude로 최신 연구를 조사하며, 노션에서 결과를 정리하고 쇼핑 웹사이트를 검색하는 등 익숙한 작업이 담겼다. 이메일 초안 작성과 온라인 커뮤니티 활동까지 포함돼 결과물이 다른 사람에게 전달될 수 있는 작업으로 범위가 넓어졌다.

4분짜리 영상은 웹사이트 작업 40개를 압축해 보여준다. 실제 사용을 고려하는 사람에게는 별도로 보고된 작업 성공률과 특정 작업에 어느 정도 확인이 필요한지가 더 유용한 신뢰도 지표다.

광고

이메일 초안은 발송 전에 검토할 수 있다. 상품 검색 결과는 사용자의 예산과 요구 사항에 비춰 확인할 수 있다. 댓글을 게시하거나 구매를 완료할 때는 사용자가 언제 승인해야 하는지 명확히 정해야 한다. 이런 차이를 고려하면 올바른 조작 요소를 클릭하는 능력만큼 어떤 작업을 맡길지 선택하는 일도 중요하다.

임 교수는 이러한 지원 기능을 개인용 컴퓨터에 구현하는 것이 목표라며 다음과 같이 말했다.

앞으로 개인용 컴퓨터에 설치된 소형 AI가 사용자를 대신해 다양한 웹 작업을 수행하는 환경을 만들고자 합니다.

KORMo-Web은 이러한 목표를 다른 사람이 살펴보고 직접 실행할 수 있는 형태로 제시한다. 공개된 모델 세 가지와 방대한 학습 자료, 한국어 시험 도구가 그 내용이다. 현재 결과는 실제 웹사이트 작업을 완료하는 데 진전이 있음을 보여주지만, 보고된 평가에서 성공적으로 수행한 작업은 여전히 절반에 못 미친다.

핵심 내용

  • KAIST는 2026년 11월 17일 눈에 보이는 조작 요소를 통해 웹사이트를 이용하는 AI 에이전트 KORMo-Web을 발표했다.
  • 학습에는 한국어와 영어 웹 화면 샘플 1,000만 개 이상과 상호작용 기록 10만 건 이상이 사용됐다.
  • 4B 모델은 Online-Mind2Web에서 두 언어 모두 42.3%의 작업 성공률을 기록했다.
  • 기존 비교 대상 가운데 가장 성적이 좋았던 모델보다 영어에서 9.6%포인트, 한국어에서 22.1%포인트 앞섰다.
  • 이번 공개에는 세 가지 모델 크기와 한국어 평가 데이터, 학습 자료, 크롬 확장 프로그램 코드가 포함됐다.
  • 가장 작은 모델은 개인용 컴퓨터에서 실행할 수 있지만, 보고된 성공률을 고려하면 사용자가 확인해야 할 작업이 상당히 남아 있다.
이 기사 공유

추천 기사