Maqolani tinglash
O'zbek lotin yozuvida yozilgan bir xil matn beshta yirik sun'iy intellekt provayderi bo'yicha inglizcha ekvivalentiga qaraganda 1,55 dan 2,17 baravarigacha ko'proq token talab qiladi — bu esa o'zbek tilidagi ilovalarni ishlatishni o'lchab bo'ladigan darajada qimmatlashtiradi. Bu xulosalar Gorgona AI tomonidan Bir Ma'no, Turli Narx: O'zbek Tili Sun'iy Intellekt Uchun Qancha Turadi?
Tadqiqotchilar OpenAI, Anthropic, Google, Qwen va DeepSeek tokenayzerlarini taqqosladilar: 1 337 ta parallel matn — turli tillarga tarjima qilingan bir xil kontent — 15 ta tokenayzer orqali o'tkazildi, so'ngra natijalar jonli model natijalari bilan tekshirildi. Sun'iy intellekt til modellari token bo'yicha hisob-kitob qilgani, tildan qat'i nazar bir xil token narxini taqdim etgani va kontekst oynalarini tokenlar bilan o'lchagani sababli, ikki baravar ko'proq token talab qiladigan matn hisobni ikki baravarga oshiradi, bitta kontekst oynasiga sig'adigan hujjatlar sonini ikki baravarga kamaytiradi va teng tezlikda ikki baravar ko'proq vaqt oladi.
Nima uchun o'zbek tili qimmatroq
Tokenayzerlar o'z lug'atlarini asosan ingliz tiliga og'ib ketgan o'quv ma'lumotlaridan tuzadi. Inglizcha so'z odatda bitta tokenni egallaydi; o'zbekcha so'z esa agglyutinativ qo'shimchalari tufayli o'rtacha deyarli uchtaga bo'linadi. Tadqiqot shuni ta'kidlaydiki, bu jazo faqat morfologik xususiyat bilan bog'liq emas: turk tili ham agglyutinativ va ham lotin yozuvidan foydalanadi, biroq mualliflar tomonidan keltirilgan 2026 yilgi tadqiqotda GPT-4o tokenayzerida u o'zbek latiniga qaraganda taxminan besh baravar kam token talab qildi — o'sha tadqiqotda 30 ta bir xil jumla ingliz tilida 348, rus tilida 551, turk tilida 609, o'zbek latinida 763 va o'zbek kirilida 814 token hosil qildi. Turk tili sinovdan o'tkazilgan 15 ta tokenayzerdan 13 tasida o'zbek tilidan arzonroq chiqdi. Mualliflar bu farqni alifbo tuzilishiga emas, balki model o'qitilishi davomida ko'rilgan o'zbek matni hajmiga va lug'at slotlarining o'zbek tiliga ajratilgan ulushiga bog'laydilar.
FLORES korpusida — yangiliklar, ensiklopediya maqolalari va sayohat qo'llanmalarini qamrab olgan — ingliz tiliga nisbatan qo'shimcha xarajat OpenAI da 1,78 baravardan DeepSeek da 2,13 baravarigacha tashkil etdi. Bir xil matnlarda rus tili ingliz tiliga qaraganda 1,35 dan 1,60 baravar qimmatroq; o'zbek tili esa rus tiliga qaraganda yana 1,24 dan 1,54 baravar qimmatroq. Mualliflar janr bu nisbatlarga deyarli ta'sir qilmasligini aniqladilar: har qanday alohida model doirasida matn turlari bo'yicha farq sakkiz foizdan oshmadi.
Model tanlash tildan ko'ra muhimroq
Tadqiqot provayder tanlashning til jarimasi ta'sirini qanday kuchaytirishi mumkinligini ko'rsatib beradi. Claude Opus 5.5 va GPT-5.6 Sol bir xil ro'yxat narxlariga ega, biroq bir million so'zli inglizcha matnni o'zbekchaga tarjima qilish uchun Claude'da kiritma sifatida qayta ishlash $14,78 ga tushsa, GPT'da bu $8,70 ni tashkil etadi — ya'ni 1,7 barobar farq — chunki Anthropic tokenizatori inglizcha matnda OpenAI'nikiga qaraganda allaqachon 1,57 marta ko'proq token ishlatadi, o'zbek lotin yozuvida esa bu ko'rsatkich 1,70 martaga yetadi. Tadqiqotdagi barcha narxlar 2026-yil 14-oktabr holatiga ko'ra rasmiy provayder narx jadvallaridan olingan bo'lib, keshlash hisobga olinmagan. Sinovdan o'tkazilgan modellarning to'liq doirasida bir xil o'zbek kiritmasining narxi Claude Haiku 5.5 da $0,37 dan Claude Opus 5.5 da $14,78 gacha farq qildi; mualliflarning ta'kidlashicha, bu holat million token uchun belgilangan narxni byudjet taqqoslashlari uchun noto'g'ri asos qilib qo'yadi; ular o'z haqiqiy matnlari asosida mezon o'lchov o'tkazishni tavsiya etadi.
Chiqarma xarajatlar ham xuddi shunday qonuniyatga bo'ysunadi. GPT-5.6 Luna va Claude Haiku 5.5 ga yuborilgan 3 904 ta so'rov sinovida — har bir modeldan to'rt tildagi variant bo'yicha paragrafni qisqacha bayon etish va unga doir savolga javob berish so'ralgan — ko'rinadigan o'zbek tilidagi javoblar deyarli bir xil miqdordagi belgilarni ishlab chiqarganiga qaramay, inglizcha javoblarga qaraganda 1,7 dan 1,8 baravar qimmatga tushdi.
Alohida bir topilma yashirin mulohaza tokenlariga oiddir. Claude Haiku 5.5 aniq ko'rsatmalar berilmaganda javob berishdan oldin ichki mulohaza yuritishni tanladi. U buni o'zbek tilidagi qisqacha bayon topshiriqlarining 28 foizida amalga oshirdi, ingliz tilidagi topshiriqlarda esa bu ko'rsatkich 10 foizni tashkil etdi; o'zbek tilidagi savol-javob topshiriqlarida esa 95 foiz, ingliz tilidagida 63 foiz bo'ldi. Foydalanuvchilar bu mulohazani ko'rmaydi, biroq u chiqarma tokenlar sifatida hisoblanadi. Mulohaza hisobga olinganda, o'zbek tilidagi javobning haqiqiy narxi inglizcha ekvivalentidan 2,1 dan 2,3 baravar yuqori bo'ldi. Mualliflar bu kuzatuv faqat bitta model va ikki turdagi topshiriqni qamrab olishini ta'kidlaydi.
Kirill yozuvi, tutuq belgisi va yaqinlashib kelayotgan alifbo islohoti
Anthropic'dan boshqa provayderlarda o'zbek kirill yozuvi o'zbek lotin yozuviga qaraganda 7 dan 23 foizgacha qimmatroq tushadi, eng katta farq esa DeepSeek'da kuzatiladi. Claude ikkala yozuvni bir xil tarzda ko'rib chiqadi. Mualliflar kirill yozuvi uchun qo'shimcha to'lovni yozuv murakkabligi emas, balki o'quv ma'lumotlari hajmi bilan izohlaydi.
Hatto harflarda ishlatiladigan tutuq belgisi varianti hamoʻ va gʻ o'lchanadigan xarajatga ega. Hozirda ushbu apostrof uchun to'rtta turli Unicode belgisi bir-birining o'rnida ishlatilmoqda va tokenizatorlar ularni alohida belgilar sifatida qabul qiladi. NTREX yangiliklar korpusida aralash apostrof shakllaridan foydalanilgan matnlar OpenAI'da standart to'g'ri apostrofga o'tkazilgan matnlarga qaraganda 0,6 foiz, Anthropic'da 1,9 foiz va Qwen'da 4,2 foiz qimmatga tushadi. Google'ning Gemini'si apostroflarni avtomatik ravishda normallashtiradi va hech qanday farq qayd etmadi.
O'zbekistonning yangi alifbo to'g'risidagi qonuni 2026-yil 21-oktabrda imzolangan va 2027-yil 22-apreldan kuchga kirgan bo'lib, oʻ va gʻ harflarini ö va ğ harflari bilan almashtiradi, shuningdek o'rniga qo'yadi ş va ç uchun sh va ch, hamda ng digraf harfini olib tashlaydi. Isloh qilingan yozuv matnlarni belgilar soni jihatidan taxminan to'rt foizga qisqartiradi. Token soni Claude, Gemini va Qwen tokenizatorlarida ikki-to'rt foizga kamayadi, ammo OpenAI va DeepSeek tokenizatorlarida bu o'zgarish ahamiyatsiz darajada qoladi. Tadqiqot shunday xulosaga keladiki, islohot kompaniyalarni sun'iy intellekt byudjetlarini sezilarli darajada qayta ko'rib chiqishga majbur qilmaydi; mualliflar ta'kidlashicha, asosiy amaliy foyda shundaki, har bir so'z yagona qonuniy imlo shakliga ega bo'ladi, bu esa hujjatlarni qidirish, dublikatlarni aniqlash va bilimlar bazasidan ma'lumot olishni soddalashtiradi.
Ochiq ma'lumotlar — raqamli infratuzilma sifatida
Tadqiqot natijalari Dusmamat Karimovning mustaqil ishiga mos keladi: u oktyabr oyida yettita tokenizator yordamida O'zbek Vikipediyasi va gazeta.uz saytidan olingan taxminan 460 000 belgini sinab ko'rdi. Ochiq manbali modellar shuni ko'rsatadiki, narx farqi lug'at dizayni bilan bog'liq: GigaChat 3 bir xil o'zbekcha matnni OpenAI tokenizatoriga qaraganda 25 foiz kam token bilan qayta ishlaydi; NeuronAI-Uzbek esa bu farqni atigi ikki foizga tushiradi. YandexGPT ruscha matnni samarali qayta ishlaydi, ammo o'zbekcha matn uchun ruscha matnга nisbatan ikki baravar ko'p haq oladi.
Ilgarilanish sekin kechmoqda. OpenAI GPT-4 tokenizatoridan GPT-4o tokenizatoriga o'tganida, FLORES matnlaridagi o'zbekcha ustama 2,19 dan 1,78 ga tushdi — bu taxminan besh qismdan birini tashkil etadi. Qwen'da esa 3-versiyadan 3.5-versiyaga o'tish o'zbekcha lotin yozuvidagi ustamani atigi olti foizga kamaytirdi, rus tili esa 23 foiz arzonlashdi.
Mualliflar ochiq o'zbekcha matn korpuslarini raqamli infratuzilma sifatida talqin etib, ularni kengaytirish startaplardan tortib davlat idoralarigacha bo'lgan barcha foydalanuvchilar uchun sun'iy intellekt xarajatlarini kamaytirishi mumkinligini ta'kidlaydi. 2027 yil aprelida rejalashtirilgan alifbo o'tishidan oldin ular ikkala yozuvda parallel korpuslar, ochiq manbali konvertatsiya vositalari va yagona tipografik standartlarni tayyorlashni tavsiya etadi. To'liq stekni — korpuslar, morfologik lug'atlar, tokenizatorlar va sifat mezonlarini — yaratish kompaniyalar, universitetlar va davlatning model ishlab chiquvchilari bilan muloqotda muvofiqlashtirилган sa'y-harakatlarini talab etadi, degan xulosaga keladi tadqiqot.