백만 번의 교류로 발명한 단어가 공유된 의미를 갖다
빈 어휘 목록에서 시작한 인공지능 에이전트 10개가 서로를 위해 사물을 식별하는 법을 배워, 벨기에 브뤼셀자유대학교(VUB)와 나뮈르대학교 연구진의 실험에서 백만 번의 상호작용 후 최대 99.76%의 성공률을 기록했다. 이들의 단어와 의미는 사람이 작성한 사전을 따르는 대신 반복된 교류를 통해 형성됐다.
목차
연구진은 와인의 화학 측정값과 NASA 외계행성 데이터부터 새와 사람 얼굴 사진까지 37개 공개 데이터셋으로 이 방법을 시험했다. 주요 데이터셋 7개의 테스트 상호작용 성공률은 95.77%에서 99.76% 사이였다.
핵심 성과는 사물을 어떻게 지칭할지 합의를 이룬 것이었다. 각 에이전트는 자신이 발명한 단어와 관찰한 속성 사이의 연관성을 따로 저장했다. 피드백을 거치며 각자의 연관성은 집단이 소통할 수 있을 만큼 서로 호환되게 됐다. 구성원들이 주변 환경을 서로 다르게 인식하는 경우에도 마찬가지였다.
「연속적인 세계에서의 창발적 의사소통: 대규모 개념 기반 어휘의 자기조직화」라는 제목의 연구 논문은 컴퓨터 시뮬레이션에서 진행한 실험을 설명한다. 에이전트는 사물과 이미지의 수치 표현을 사용했다. 연구진은 이 접근법의 적용 분야로 로봇, 자율주행차, 산업용 센서를 꼽았다.
단어가 유용해지는 과정
각 상호작용에는 에이전트 두 개가 참여한다. 하나는 화자, 다른 하나는 청자가 되며 상호작용이 이어지는 동안 역할은 새로 배정된다. 둘 다 여러 개체가 있는 장면을 접하지만, 목표 개체가 무엇인지 알려주는 것은 화자뿐이다.
화자는 청자가 목표를 고르는 데 도움이 되는 단어를 선택해야 한다. 어휘에 적합한 단어가 없으면 새로 만든다. 논문에서는 「demoxu」와 같은 임의의 3음절 문자열을 사용해, 단어 자체에는 미리 정해진 의미가 담기지 않도록 했다.
청자는 해당 단어를 자신이 저장한 개념과 비교해 개체 하나를 고른다. 두 에이전트 모두 선택이 맞았는지 피드백을 받는다. 선택이 틀리면 청자에게 목표가 공개돼, 이해를 수정하는 데 필요한 정보를 얻는다.
연구진은 단어 발명, 개념 표현, 결과를 통한 학습 절차를 제공했다. 구체적인 어휘와 그에 연결된 범주는 상호작용 과정에서 형성됐다. 성공적인 교류는 유용한 연관성을 강화하고, 이후 경험은 단어에 연결된 개념을 조정한다.
나뮈르대학교 교수이자 공동 저자인 카트리엔 뵐스는 국지적인 교류가 집단 전체의 합의를 만드는 과정을 대학 발표문에서 다음과 같이 설명했다.
중앙 컴퓨터가 규칙을 강요하지 않는다는 점이 흥미롭습니다. 매번 두 에이전트가 국지적인 수준에서 서로 소통하게 합니다. 이러한 개별 상호작용과 업데이트만으로 집단 전체에 걸쳐 전역적인 관례가 자발적으로 형성됩니다.
에이전트가 의미를 저장하는 방식
각 개체는 속성을 나타내는 값의 목록인 특성 벡터 형태로 에이전트에 입력된다. 예를 들어 와인 시료는 화학 측정값으로 표현할 수 있다. 이미지는 시각 시스템이 추출한 수치 특성으로 나타낼 수 있다.
단어는 개념 원형, 즉 해당 단어가 적용되는 관찰 유형을 수학적으로 표현한 것과 연결된다. 원형에는 전형적인 값과 그 값의 변동 폭, 그리고 가장 중요한 특성이 기록된다. 이를 통해 에이전트는 새로 접한 개체가 익숙한 단어에 얼마나 잘 부합하는지 판단할 수 있다.
맥락도 중요하다. 화자는 해당 단어의 개념이 장면 속 다른 개체보다 목표에 더 잘 들어맞는지 살핀다. 따라서 유용한 단어는 모든 사물에 영구적인 꼬리표를 붙이기보다, 당면한 다른 선택지와 구분하는 데 도움을 준다.
에이전트는 이러한 표현을 각자 따로 보유한다. 서로의 내부 설정이나 중앙 지식 기반에 접근할 수 없다. 각자의 표현은 자기 관찰에 기반한 채로 남지만, 단어를 통해 서로 호환되는 선택을 내리면서 공유된 의사소통이 발달한다.
이미지 데이터셋에는 기존 시각 인코더인 DINOv2의 384차원 특성을 사용했다. 시각 인코더는 이미지에서 다른 소프트웨어가 처리할 수 있는 수치 정보를 만들어낸다. 이후 어휘 학습은 이 정보를 바탕으로 이뤄졌다.
공유 어휘는 얼마나 잘 작동했나
표준 실험에서는 에이전트 10개로 이뤄진 집단을 대상으로 백만 번의 상호작용을 통해 학습시켰다. 이어서 연구진은 학습과 분리해 둔 개체를 포함해 10만 번의 테스트 상호작용에서 의사소통을 평가하고, 서로 독립적으로 진행한 10회 실험의 결과를 평균 냈다.
주요 결과 7개는 이 방법의 높은 성과와 과제별 차이를 모두 보여준다.
- 시각적 사물 속성을 다루는 데이터셋 CLEVR: 의사소통 성공률 99.76%.
- 와인 분석 데이터: 99.76%.
- 외계행성 데이터: 99.67%.
- 버섯 데이터: 98.10%.
- MS COCO 이미지 데이터: 95.77%.
- CelebA 얼굴 이미지: 96.66%.
- 새 이미지: 95.88%.
이 비율은 청자가 의도된 개체를 얼마나 자주 선택했는지를 측정한다. 와인 및 CLEVR 과제에서 99.76%는 테스트 상호작용 1만 건당 약 24건이 실패했다는 뜻이다. MS COCO의 95.77%는 1만 건당 약 423건이 실패했다는 뜻이다.
두 결과의 차이는 3.99%포인트다. 주요 과제 전반에서 의사소통은 높은 성공률을 보였지만, 자연 이미지 데이터셋의 오류는 와인 및 외계행성 과제보다 많았다.
연구진은 어휘 크기와 관례 일치도도 측정했다. 관례 일치도는 에이전트들이 단어를 얼마나 일관되게 사용하는지를 보여준다. 두 측정치는 과정의 서로 다른 측면을 살핀다. 집단이 목표를 안정적으로 식별하려면 쓸 만한 표지 집합과 그 사용법에 대한 충분한 합의가 모두 필요하다.
센서가 달라도 합의는 가능하다
기계가 세상을 정확히 같은 방식으로 관찰하는 경우는 드물다. 센서 보정 설정이 다를 수 있고, 측정값에 잡음이 섞일 수도 있으며, 한 장치가 다른 장치는 감지하지 못하는 특성을 포착할 수도 있다. 이번 연구는 이런 조건의 변화를 시험했다.
VUB 인공지능 교수이자 공동 저자인 폴 반 에케는 사람들이 빨간 차를 식별하는 사례를 들어 연구 동기를 설명했다. 사람마다 눈에 들어오는 색상 값은 약간 다르지만 같은 묘사를 이해할 수 있다. 공유된 단어는 각자의 개별 측정값을 넘어선다.
실험에서는 에이전트의 관찰값을 바꿔 이 아이디어를 적용했다. 보정 차이와 비슷한 수치 오프셋, 관찰값의 잡음, 그리고 사용할 수 있는 특성의 종류가 구성원마다 다른 집단을 포함했다.
CLEVR 실험에서 잡음이 심한 조건의 의사소통 성공률은 87.67%였다. 사용 가능한 센서에 더 큰 차이가 있는 조건에서는 성공률이 83.47%였다. 이런 조건에서도 상당한 수준으로 조율할 수 있었지만, 표준 CLEVR 실험보다는 정확도가 낮았다.
논문은 지각 구조가 서로 다른 집단을 이형적(heteromorphic)이라고 설명한다. 쉽게 말해 구성원마다 받는 정보의 종류나 양이 다르다는 뜻이다. 각 구성원이 접근할 수 있는 관찰값을 이용하면서 이런 차이에도 호환되는 지칭 방식을 만들어내는 것이 과제다.
입력이 사라지면 바뀌는 어휘
연구진은 학습 도중 정보가 갑자기 사라지는 경우도 시험했다. 한 실험에서는 센서 측정값을 대신하는 입력의 절반을 학습 중간에 제거했다. 변화 이후 의사소통 성공률은 93.82%에 달했다.
상호작용을 계속하면 에이전트는 조건 변화에 따라 개념을 수정할 기회를 얻는다. 여러 특성과 연결된 단어는 일부 특성이 사라지고 남은 관찰값의 중요성이 커질 때 다른 방식으로 유용해질 수 있다.
논문은 환경 변화에 대한 적응도 보고한다. 따라서 지속적인 학습이 이 접근법의 핵심이다. 집단은 사용을 통해 관례를 만들고 관찰 조건이 달라지면 계속 조정한다.
미래의 기계 시스템에서는 장비가 노후화되거나 작동 조건이 바뀔 때 이런 능력이 중요할 수 있다. 이번 실험에서 직접 확인된 것은 시뮬레이션 과제 안에서 에이전트가 어휘를 조정했다는 점이다.
집단이 커질수록 더 많은 교류가 필요하다
연구에서는 에이전트 2개, 10개, 25개, 50개, 100개로 이뤄진 집단을 살폈다. 유용한 단어 하나가 더 널리 퍼져야 하므로 집단이 커지면 필요한 범위도 넓어진다. 교류는 여전히 개별 쌍 사이에서 이뤄진다.
에이전트 100개를 대상으로 한 CLEVR 실험에서 백만 번의 상호작용 후 의사소통 성공률은 92.69%였다. 학습을 1천만 번의 상호작용까지 늘리자 성공률은 6.47%포인트 오른 99.16%를 기록했다.
상호작용 횟수를 보면 이런 규모의 과제가 왜 어려운지 알 수 있다. 참여가 고르게 분배된다고 가정하면, 에이전트 2개씩 참여하는 백만 번의 교류에서 에이전트 10개 집단은 구성원당 평균 20만 회 참여하게 된다. 에이전트 100개 집단에서는 같은 교류 횟수로 구성원당 평균 2만 회 참여한다.
교류를 1천만 번으로 늘리면 에이전트 100개 집단의 구성원당 평균 참여 횟수는 20만 회가 된다. 개별 만남은 무작위로 선정되지만, 이 비교는 관례를 집단 전체에 퍼뜨리려면 규모가 큰 집단에 훨씬 더 많은 학습 기회가 필요할 수 있는 이유를 보여준다.
사람은 단어가 가리키는 대상을 살펴볼 수 있다
연구진은 설계의 장점으로 해석 가능성을 꼽는다. 단어는 값과 특성별 가중치를 확인할 수 있는 원형을 가리킨다. 연구진은 어떤 관찰이 개념 형성에 기여했는지, 사용 과정에서 그 표현이 어떻게 달라지는지 추적할 수 있다.
화학 측정값에 이름이 붙은 데이터셋에서는 단어와 해당 측정값의 특정 범위를 연결해 살펴볼 수 있다. 이미지 데이터의 개념은 시각 인코더가 만든 특성과 연결되므로, 그 의미를 설명하려면 이미지의 수치 표현도 이해해야 한다.
VUB 인공지능 연구소의 박사과정 연구자이자 공동 저자인 제롬 보토코 에킬라는 에이전트가 자신의 지각을 토대로 개념을 만들도록 한 목적을 다음과 같이 설명했다.
데이터가 사람에게는 이해하기 어렵더라도, 에이전트는 센서를 통해 지각하는 것과 정확히 맞아떨어지는 효과적인 개념을 구성합니다.
사람의 감독은 이러한 연관성이 형성되는 과정을 살펴보는 방식으로 이뤄질 수 있다. 두 에이전트가 같은 단어를 적용할 때 입력이나 환경이 변한 뒤에도 의도된 개체를 계속 선택하는지는 유용한 점검 기준이다. 연구에서 사용된 피드백 구조는 이 관계를 학습의 중심에 둔다.
발표와 협력, 활용 가능성
이번 연구에는 VUB의 제롬 보토코 에킬라, 라라 페르하이엔, 옌스 네번스, 폴 반 에케와 나뮈르대학교의 카트리엔 뵐스가 참여했다. 연구비는 플란데런 연구재단(FWO)과 벨기에 국립과학연구기금(FNRS)의 WEAVE 프로젝트를 통해 지원됐다.
VUB의 논문 기록에 따르면 해당 학술지는 「전산언어학회 논문집」 제14권, 2234~2257쪽이며 DOI는 10.1162/TACL.a.799다. 게재 시점은 2026년 8월로 기재돼 있다.
논문과 발표는 다음 순서로 공개됐다.
- 2026년 4월: 논문 제출.
- 2026년 5월: 논문 수정.
- 2026년 8월: 대학 논문 기록에 학술지 게재 사실 등재.
- 2026년 10월 14일: 대학이 연구 결과 발표.
연구진은 자율주행차, 로봇, 산업용 센서를 기계의 지각에 맞춘 의사소통의 잠재적 사용자로 꼽는다. 라이다는 빛을 이용해 거리를 측정하고, 소나는 소리를 사용하며, 적외선 센서는 온도와 관련된 복사를 감지하고, 화학 장비는 물질을 측정한다. 공유 어휘는 이런 입력 전반에서 기계가 유용한 패턴을 지칭하는 데 도움을 줄 수 있다.
다음 실용 단계는 실제 장비와 변화하는 주변 환경, 작동 요구 조건에서 이런 관례가 어떻게 작동하는지 시험하는 것이다. 적용 일정은 제시되지 않았다. 현재까지의 성과는 다양한 데이터 사이에 공유된 지칭 방식을 구축하고, 잡음과 지각 차이, 입력 손실 조건에서 성능을 측정한 방법을 실험으로 검증했다는 것이다.
핵심 내용
- VUB와 나뮈르대학교 연구진이 공개 데이터셋 37개에서 어휘 형성을 시험했다.
- 에이전트 10개 집단은 백만 번의 상호작용을 통해 학습한 뒤 10만 번의 테스트 상호작용을 거쳤다.
- 주요 데이터셋 7개의 성공률은 95.77%에서 99.76% 사이였다.
- 연구진은 학습 절차를 제공했고, 에이전트는 피드백을 통해 구체적인 단어와 그에 연결된 개념을 형성했다.
- 실험에서는 잡음이 있는 관찰, 서로 다른 지각 구조, 입력 누락에 대한 적응을 시험했다.
- 에이전트 100개 집단은 CLEVR에서 1천만 번의 상호작용 후 99.16%의 성공률을 기록했다.
- 이 연구는 컴퓨터 시뮬레이션을 사용했다. 로봇, 차량, 산업용 센서에 활용하는 방안은 제안 단계다.
