Listen to the article
Один и тот же текст на узбекском латинском шрифте требует от 1,55 до 2,17 раза больше токенов, чем его английский эквивалент, у пяти крупнейших провайдеров ИИ, что делает узбекскоязычные приложения ощутимо дороже в эксплуатации, — к такому выводу пришло исследование Gorgona AI, опубликованное под названием Одно значение, разная цена: сколько стоит узбекский язык для ИИ?
Исследователи сравнили токенизаторы OpenAI, Anthropic, Google, Qwen и DeepSeek, прогнав 1 337 параллельных текстов — идентичный контент, переведённый на разные языки, — через 15 токенизаторов, а затем верифицировав результаты на реальных выходных данных моделей. Поскольку языковые модели ИИ тарифицируются по токенам, взимают одинаковую ставку за токен вне зависимости от языка и измеряют контекстные окна в токенах, текст, требующий вдвое больше токенов, удваивает счёт, вдвое сокращает количество документов, умещающихся в одном контекстном окне, и при эквивалентной скорости генерируется вдвое дольше.
Почему узбекский обходится дороже
Токенизаторы формируют словари на основе обучающих данных, которые существенно смещены в сторону английского языка. Английское слово, как правило, занимает один токен; узбекское слово с его агглютинативными суффиксами в среднем дробится почти на три. Исследование отмечает, что штраф носит не исключительно морфологический характер: турецкий язык также является агглютинативным и также использует латинский шрифт, однако в исследовании 2026 года, на которое ссылаются авторы, он потребовал примерно на одну пятую меньше токенов, чем узбекский латинский, на токенизаторе GPT-4o: 30 идентичных предложений дали 348 токенов на английском, 551 — на русском, 609 — на турецком, 763 — на узбекском латинском и 814 — на узбекском кириллическом. Турецкий оказался дешевле узбекского на 13 из 15 протестированных токенизаторов. Авторы объясняют разницу объёмом узбекских текстов, использованных при обучении модели, и долей словарных слотов, выделенных для узбекского языка, а не структурой алфавита как таковой.
На корпусе FLORES — охватывающем новостные материалы, статьи из энциклопедий и путеводители — наценка по сравнению с английским составила от 1,78 раза у OpenAI до 2,13 раза у DeepSeek. Русский язык на тех же текстах обходится в 1,35–1,60 раза дороже английского; узбекский — ещё в 1,24–1,54 раза дороже русского. Авторы установили, что жанр практически не влияет на эти соотношения: в рамках одной модели вариация по типам текстов не превышала восьми процентов.
Выбор модели важнее, чем язык сам по себе
Исследование наглядно показывает, как выбор провайдера усиливает языковой штраф. Claude Opus 5.5 и GPT-5.6 Sol имеют одинаковые прейскурантные цены, однако обработка входных данных объёмом в один миллион слов на английском языке, переведённых на узбекский, обойдётся в $14,78 на Claude против $8,70 на GPT — разница в 1,7 раза, — поскольку токенизатор Anthropic уже использует в 1,57 раза больше токенов, чем OpenAI, на английском тексте, а на узбекском латинском этот показатель возрастает до 1,70 раза. Все цены в исследовании взяты из официальных прайс-листов провайдеров по состоянию на 14 октября 2026 года, без учёта кэширования. В полном диапазоне протестированных моделей стоимость одного и того же узбекского входного текста варьировалась от $0,37 на Claude Haiku 5.5 до $14,78 на Claude Opus 5.5, что, по мнению авторов, делает тарификацию за миллион токенов ненадёжной основой для бюджетных сравнений; вместо этого они рекомендуют проводить бенчмаркинг на собственных реальных текстах.
Стоимость выходных данных подчиняется той же закономерности. В ходе теста с 3 904 запросами, отправленными как в GPT-5.6 Luna, так и в Claude Haiku 5.5 — с заданием резюмировать абзац и ответить на вопрос по нему в четырёх языковых вариантах, — видимые узбекские ответы обошлись в 1,7–1,8 раза дороже английских, несмотря на практически одинаковое количество символов.
Отдельный вывод касается скрытых токенов рассуждений. Claude Haiku 5.5 при отсутствии явных инструкций предпочитал рассуждать внутренне перед ответом. Это происходило в 28% случаев при выполнении задач по резюмированию на узбекском языке против 10% на английском, и в 95% случаев при выполнении задач по ответам на вопросы на узбекском против 63% на английском. Пользователи не видят этих рассуждений, однако оплачивают их как выходные токены. С учётом рассуждений эффективная стоимость узбекского ответа достигала 2,1–2,3 раза от стоимости английского эквивалента. Авторы предупреждают, что данное наблюдение охватывает лишь одну модель и два типа задач.
Кириллица, апострофы и предстоящая реформа алфавита
У всех провайдеров, кроме Anthropic, узбекская кириллица обходится на 7–23% дороже узбекского латинского шрифта, причём наибольший разрыв зафиксирован у DeepSeek. Claude обрабатывает оба шрифта одинаково. Авторы объясняют кириллическую наценку объёмом обучающих данных, а не сложностью шрифта.
Даже вариант апострофа, используемый в буквах oʻ и gʻ, несёт измеримые издержки. В настоящее время для этого апострофа взаимозаменяемо используются четыре различных символа Unicode, которые токенизаторы воспринимают как разные знаки. На новостном корпусе NTREX тексты со смешанными формами апострофа обходились на 0,6% дороже текстов, стандартизированных под прямой апостроф, у OpenAI; на 1,9% дороже — у Anthropic и на 4,2% дороже — у Qwen. Gemini от Google автоматически нормализует апострофы и не зафиксировал никакой разницы.
Новый закон об алфавите Узбекистана, подписанный 21 октября 2026 года и вступающий в силу 22 апреля 2027 года, заменяет oʻ и gʻ на ö и ğ, вводит ş и ç вместо sh и ch, а также упраздняет ng как диграф. Реформированный шрифт сокращает тексты примерно на четыре процента по количеству символов. Количество токенов снижается на два-четыре процента у токенизаторов Claude, Gemini и Qwen, тогда как у OpenAI и DeepSeek изменения незначительны. Исследование приходит к выводу, что реформа не потребует от компаний существенного пересмотра бюджетов на ИИ; главным практическим преимуществом авторы считают то, что каждое слово получит единственное каноническое написание, что упростит поиск по документам, дедупликацию и поиск в базах знаний.
Открытые данные как инфраструктура
Выводы исследования согласуются с независимой работой Дусмамата Каримова, который в октябре протестировал около 460 000 символов из узбекской Википедии и gazeta.uz на семи токенизаторах. Модели с открытым исходным кодом демонстрируют, что наценка обусловлена дизайном словаря: GigaChat 3 обрабатывает тот же узбекский текст на 25% меньшим количеством токенов, чем токенизатор OpenAI; NeuronAI-Uzbek сокращает разрыв до всего двух процентов. YandexGPT эффективно обрабатывает русский язык, однако берёт за узбекский вдвое больше, чем за русский.
Прогресс идёт медленно. При переходе OpenAI с токенизатора GPT-4 на GPT-4o наценка для узбекского языка на текстах FLORES снизилась с 2,19 до 1,78 — примерно на одну пятую. У Qwen переход с версии 3 на 3.5 сократил наценку для узбекского латинского шрифта лишь на шесть процентов, тогда как русский язык подешевел на 23 процента.
Авторы рассматривают открытые корпусы узбекских текстов как цифровую инфраструктуру, утверждая, что их расширение снизит затраты на ИИ для всех — от стартапов до государственных ведомств. В преддверии перехода на новый алфавит в апреле 2027 года они рекомендуют подготовить параллельные корпусы на обоих шрифтах, инструменты конвертации с открытым исходным кодом и единые типографские стандарты. Создание полного стека — корпусов, морфологических словарей, токенизаторов и бенчмарков качества — потребует скоординированных усилий компаний, университетов и государства в диалоге с разработчиками моделей, заключает исследование.