"한국, AI 비싸게 쓴다"…한국어 토큰 소모, 영어 최대 2.59배 높아.
최근 글로벌 AI 기업이 사용량(토큰)만큼 비용을 청구하는 종량제 요금제를 확대하면서 이용자의 비용 부담이 커지고 있다.
여기에 동일한 AI 모델이라도 한국어가 영어보다 토큰을 최대 3.5배 더 소모한다는 연구 결과가 나오면서 비영어권 이용자가 사실상 더 많은 비용을 치르는 '비영어권 언어세(Non-English Tax)' 문제가 실제로 확인됐다.
■ 한국어 영어 대비 최대 3.5배 토큰 소모..."앤트로픽 모델이 가장 비싸"
AI 연구원 아란 코마츠자키는 SNS를 통해 유명 AI 에세이 원문을 각국 언어로 번역한 뒤 각각의 토크나이저 프로그램에 대입했다. 이를 통해 영어 원문 대비 각 언어가 몇 개의 토큰으로 쪼개지는지 6개 대형언어모델(LLM)별로 정밀 평가했다.
