같은 말, 다른 점수
워싱턴대가 주도한 연구에 따르면 주요 인공지능 모델 4종은 동일한 구어 답변을 평가할 때 중국과 나이지리아 억양보다 미국과 영국 억양에 대체로 더 높은 점수를 줬다. 이 차이는 말하는 방식과 발언 내용에 대한 판단 모두에 영향을 미쳤다.
목차
이 연구는 10월 25일 헝가리 부다페스트에서 열린 EMNLP 2026에서 발표됐다. 연구진은 구글의 Gemini 2.5 Pro와 Gemini 2.5 Flash, 오픈AI의 GPT Audio 1.5, 알리바바의 Qwen3 Omni를 시험했다. 채용 면접과 발표, 영어 구사 능력 시험 등 점수에 따라 취업이나 교육 기회가 달라질 수 있는 상황을 살펴봤다.
미국과 영국 억양은 대체로 가장 높은 평가를 받았고, 인도 억양은 중간, 중국과 나이지리아 억양은 가장 낮은 평가를 받았다. 연구진이 5개국 출신 인간 화자 52명을 대상으로 면접 실험을 반복했을 때는 인공지능 음성으로 시험했을 때보다 격차가 더 컸다.
가장 우려스러운 결과는 답변 내용에 관한 것이었다. 일부 화자는 정확히 같은 단어를 읽었고 모델에도 내용만 평가하라고 지시했지만, 답변의 실질적 내용에 더 낮은 점수를 받았다. 아이디어에 초점을 맞춰야 하는 평가에 억양이 영향을 미친 것이다.
공동 주저자인 오레바오헤네 아히아 워싱턴대 폴 G. 앨런 컴퓨터과학·공학대학원 박사과정생은 모델의 설명에서 드러난 양상을 다음과 같이 전했다.
모델들은 화자의 말을 알아들었지만, 억양을 바탕으로 화자들 사이에 암묵적인 서열을 두고 있었습니다.
연구진이 발언 내용을 동일하게 유지한 방법
연구진은 일레븐랩스가 생성한 음성을 사용해 남성과 여성 목소리로 동일한 대본을 5가지 영어 억양으로 읽게 했다. 텍스트를 같게 유지함으로써 소리의 변화가 평가를 바꾸는지 살펴볼 수 있었다.
대본은 면접 답변, 수업 발표, 학회 발표, 영어 구사 능력 시험 답변으로 구성됐다. 모델 4종은 각각 전달 방식과 내용을 1점부터 7점까지 별도로 평가한 뒤, 판단 이유를 간략히 설명했다.
전달 방식은 발음과 명료성 등 말하는 방식에 관한 평가다. 내용은 아이디어와 관련성 등 답변 자체를 평가한다. 두 항목을 나눠 살펴보면 목소리에 대한 판단이 발언 내용에 대한 평가에도 이어지는지 확인할 수 있다.
5가지 억양은 영어 사용 인구가 많고 연구진이 연고가 있는 지역을 기준으로 선정했다. 따라서 이 연구는 세계 곳곳에서 쓰이는 모든 영어 변종이 아니라 특정 억양들을 비교했다.
연구 책임 저자인 앨런대학 부교수 율리아 츠베트코프는 주요 범용 모델을 선정한 이유를 다음과 같이 설명했다.
실제 환경에서 기업들이 도입할 모델이 바로 이런 최첨단 모델이기 때문에 이를 확인하고자 했습니다.
인간 화자에서는 격차가 더 크게 나타나
연구진은 이어 같은 5개국 출신 52명의 면접 답변을 시험했다. 참가자들은 대본에 적힌 답변 4개를 읽고, 대본 없이 질문에도 답했다.
대본을 읽는 실험에서는 화자들이 동일한 표현을 말하는 상황을 다시 비교할 수 있었다. 대본 없이 답하는 실험은 사람들이 직접 답변을 구성하는 발화까지 시험 범위를 넓혀, 실제 면접 상황에 더 가까운 환경을 만들었다.
인간 화자의 녹음에서는 억양별 점수 격차가 생성 음성에서보다 더 컸다. 따라서 인간 화자를 대상으로 한 검증은 연구에서 중요한 부분이었다. 대규모 통제 실험에 사용된 인공 음성에만 해당하는 양상이 아니었기 때문이다.
연구 결과는 점수 순위와 차이의 방향을 제시하지만, 모델별·억양별 정확한 평균 점수와 수치상 격차는 공개된 설명에 제시되지 않았다. 어떤 집단이 낮은 점수를 받는 경향이 있었는지는 알 수 있지만, 일반적인 감점 폭은 밝혀지지 않았다.
정확한 음성 기록이 중요한 이유
모델들은 중국과 나이지리아 억양에 낮은 점수를 준 이유로 발화가 불명확하거나 알아듣기 어렵다고 자주 설명했다. 그러나 연구진은 모델들이 해당 녹음을 정확한 문자로 옮기는 데 매우 능숙하다는 사실을 확인했다.
아히아는 모델의 비판과 음성 기록 성능 사이의 불일치를 다음과 같이 설명했다.
중국과 나이지리아 화자들이 '웅얼거린다'거나 '알아듣기 어렵다'고 반복해서 주장했지만, 모델들은 실제로 억양이 있는 발화를 매우 정확하게 받아썼습니다.
음성 기록은 누군가 말한 단어를 글로 옮기는 것을 뜻한다. 시스템이 답변을 정확히 기록하면서도 알아듣기 어렵다고 비판한다면, 그 설명을 면밀히 살펴볼 필요가 있다. 연구진은 여기서 드러난 불일치를 모델들이 특정 억양을 선호하는 듯한 양상과 연결했다.
내용 점수는 문제의 심각성을 더했다. 화자는 전달 방식에서 한 번, 표현이 바뀌지 않은 답변의 질에서 또 한 번 감점될 수 있었다. 면접에서는 답변 내용이 같아도 말하는 목소리 때문에 더 약한 답변으로 평가될 수 있다.
미국 영어와 연관된 선호
연구진은 음향 특성, 즉 말소리의 측정 가능한 속성도 분석했다. 각 억양의 “음향적 거리”를 계산해 미국 영어를 기준으로 발음 패턴이 얼마나 다른지 측정했다.
이 비교에서 중국과 나이지리아 억양은 미국 영어 기준과 거리가 가장 멀었다. 영국과 인도 억양은 더 가까웠다. 측정된 거리가 커질수록 점수가 낮아지는 경우가 많아, 점수 양상이 소리의 차이와 관련이 있음을 보여줬다.
연구진은 몇 가지 가능한 설명을 제시했다. 학습 자료가 일부 억양을 알아듣기 어렵다고 묘사하거나, 특정 화자의 사례를 충분히 포함하지 않거나, 전문직 종사자의 말투에 대한 익숙한 기대를 강화했을 수 있다는 것이다.
이러한 설명은 연구진이 제시한 가능성이다. 실질적인 우려는 분명하다. 편향된 사례로 학습한 모델은 답변을 공정하게 평가하라는 지시를 받더라도 그 선호를 평가에 반영할 수 있다.
나이지리아에서는 영어가 공용어로 쓰이고, 인도 학교에서는 영어로 수업을 진행한다. 그럼에도 연구에서 두 나라 화자는 미국과 영국 화자보다 낮은 평가를 받았다. 한 국가에서 영어를 오랫동안 사용한다고 해서 이 모델들이 동등하게 대우하는 것은 아니었다.
시험 대상과 이해관계
이번 실험은 채용 플랫폼이나 영어 시험 제공업체가 실제 운영하는 채점 제품이 아니라 범용 인공지능 모델을 평가했다. 기업은 이런 모델을 이용해 응용 프로그램을 만들 수 있지만, 상용 평가 시스템은 각기 다른 설계와 절차를 갖고 있다.
지원자에게 우려되는 점은 답변 내용과 함께 말소리 때문에도 점수가 깎일 수 있는 평가 절차다. 학생의 구두 발표나 시험에서도 비슷한 문제가 생길 수 있다. 이번 연구는 이런 판단이 사람의 기회를 좌우하기 전에 어떻게 이뤄지는지에 주목한다.
영어 시험은 대규모로 시행되기도 한다. 연구 논문이 인용한 수치에 따르면, 일부 구술 답변을 인공지능으로 채점하고 비자와 이민 절차에 활용되는 피어슨의 PTE 아카데믹은 2023년 약 120만 회 응시됐다.
PTE 아카데믹은 조사 대상 제품에 포함되지 않았다. 연구진은 자동 구술 평가가 얼마나 널리 쓰이는지를 설명하기 위해 이 사례를 들었다. 논문 저자들은 인공지능으로 채점하는 영어 시험에 대한 공개 감사 사례를 알지 못한다고 밝혔으며, 상용 시스템의 내부 작동 방식은 대개 공개되지 않는다.
구글과 오픈AI는 연구비를 일부 지원했으며, 두 회사의 모델도 시험 대상에 포함됐다. 이 연구가 해당 기업의 시스템을 살펴본다는 점에서 이 지원 관계 역시 연구의 배경에 해당한다.
연구 발표 일정
이번 연구는 “다르게 들리는 대가: 음성 언어 모델의 억양 편향”이라는 제목으로 발표됐다. DOI는 10.18653/2026.emnlp-main.1612이며, 2026년 자연어 처리 실증 방법 학회(EMNLP) 논문집에 수록됐다.
학회 발표는 11월의 공식 발표보다 앞서 이뤄졌다.
- 2026년 10월 25일: 연구진이 헝가리 부다페스트에서 열린 EMNLP에서 연구 결과를 발표했다.
- 2026년 11월 5일: 5개 억양 집단과 모델 4종, 인간 화자 52명을 대상으로 한 검증 결과를 설명하는 자료를 통해 연구 결과가 공개됐다.
두 단계의 시험은 연구 결과의 핵심이다. 생성 음성을 사용하면 많은 사례에서 텍스트를 동일하게 유지할 수 있다. 이어 인간 화자의 녹음에서도 같은 전반적 선호가 나타났으며, 억양별 격차는 더 컸다.
연구진이 개발자에게 요구한 개선
츠베트코프는 음성 시스템을 사용할 사람들을 더 잘 대표하는 학습 및 평가 데이터를 마련해야 한다고 촉구했다. 연구진은 단일 평균 점수에만 의존하지 말고 다양한 인구 집단과 방언별 결과를 공개할 것도 개발자들에게 요구했다.
평균은 모든 사람의 결과를 하나의 수치로 합산한 값이다. 시스템이 다수 집단에서는 잘 작동하지만 소수 집단에서는 성능이 낮다면, 이 평균만으로는 소수 집단의 경험이 잘 드러나지 않을 수 있다.
츠베트코프는 가상의 사례를 들어 우려를 설명했다.
일반 인구에서는 평균 정확도가 97%지만, 소수 집단에서는 20%에 그치는 상황을 원치 않습니다.
연구진은 국가 내 지역별 차이를 포함해 더 다양한 인간 억양을 살펴볼 계획이다. 시스템이 신고자의 발화를 어떻게 처리하느냐에 따라 즉각적인 결과가 따를 수 있는 자동 응급 대응 등 의료 분야의 음성 응용도 조사할 예정이다.
채용과 영어 평가에서 연구진은 억양에 따른 공정성을 직접 시험할 것을 권고했다. 억양이 달라도 사람들이 비슷한 대우를 받는지, 내용 평가는 내용에만 초점을 맞추는지, 시스템이 밝힌 판단 근거가 실제 녹음을 알아듣는 능력과 일치하는지를 평가해야 한다.
핵심 요점
- 인공지능 모델 4종은 대체로 미국과 영국 억양을 가장 높게, 인도 억양을 중간으로, 중국과 나이지리아 억양을 가장 낮게 평가했다.
- 화자가 같은 단어를 말했는데도 내용 점수가 달라지는 경우가 있었다.
- 인간 화자 52명을 대상으로 한 시험에서 생성 음성을 사용했을 때보다 억양별 점수 격차가 더 컸다.
- 모델들은 불명확하다고 묘사한 발화도 정확하게 받아썼다.
- 연구는 상용 채용·영어 시험 제품이 아니라 범용 모델을 조사했다.
- 연구진은 억양별 평가 결과 공개를 촉구했으며, 지역별 발화와 의료 분야 음성을 추가로 연구할 계획이다.
