Большие языковые модели обрабатывают текст не целыми словами, а токенами — фрагментами слов, символами или их последовательностями. Провайдеры обычно взимают плату за количество токенов, поэтому чем больше их требуется для одного и того же сообщения, тем дороже обходится запрос. Например, при токенизации с помощью GPT-5 одно предложение на английском языке разбивается на 13 токенов, на малаяламском — на 26, а на амхарском — на 78. Таким образом, обработка амхарского предложения требует в шесть раз больше токенов, чем английского.

Исследователи сравнили токенизаторы нескольких крупных семейств моделей на основе FLORES-200 — набора предложений, переведенных примерно на 200 языков. Они измерили отношение максимального количества токенов к минимальному для одинакового содержания на разных языках. Наиболее равномерно сработал токенизатор NLLB-200 от Meta* — разница составила 2,7 раза. У моделей Google Gemini и Gemma показатель достиг 5,1 раза, у Claude — 9,3, а у GPT-5 — 13,8. Наибольший разрыв, 17 раз, обнаружили у семейства Falcon.

Различия особенно заметны за пределами примерно 20 языков с наиболее высоким присутствием в интернете.

Причем дело не только в объеме текста: даже языки с относительно небольшим количеством символов могут разбиваться на гораздо большее число токенов. Проблема связана с тем, как устроены токенизаторы. Их обучают на текстах, в которых одни языки и системы письма представлены значительно лучше других. Поэтому языки, использующие менее распространенную письменность, оказываются в невыгодном положении.

«Налог на токенизацию» бьет не только по малым языкам. Среди «пострадавших» — пенджабский (~200 млн носителей), бенгальский (~266 млн носителей), и урду (~288 млн носителей).

Дополнительные токены увеличивают стоимость запросов, повышают задержки и уменьшают объем текста, который помещается в контекстное окно модели. Это может ограничивать использование ИИ для работы с длинными документами и создания автономных ИИ-агентов, особенно в регионах, где вычислительные ресурсы и доступ к интернету уже ограничены.

При этом авторы отмечают, что проблема решаема. Например, токенизатор NLLB-200, специально разработанный для многоязычного перевода, показал наименьший разрыв между языками в исследовании. Модели Gemini и Gemma также продемонстрировали, что универсальные системы могут добиться более равномерной токенизации. При этом обновление модели не гарантирует улучшения токенизации для языков, недостаточно представленных в интернете.

Исследователи призывают разработчиков ИИ публиковать показатели эффективности токенизации для разных языков, учитывать многоязычность при создании новых токенизаторов и пересмотреть ценообразование. Один из возможных вариантов — рассчитывать стоимость обработки текста с учётом языка или количества символов, а не только токенов. Авторы также предлагают поддерживать создание открытых текстовых корпусов для языков, которые недостаточно представлены в обучающих данных. Это поможет снизить неравенство в доступе к ИИ и сделать его использование менее затратным для носителей разных языков.

*Деятельность компании Meta Platforms Inc. запрещена на территории РФ.