В центре внимания оказалась публикация, которую 3DNews вынес в заголовок «Налог на родной язык»: общение с ИИ не по-английски обходится до 17 раз дороже. Речь идёт о наглядной демонстрации того, как токенизация и устройство словарей современных языковых моделей влияют на итоговый счёт за использование сервисов. Авторы материала сопоставили, во сколько обходится обработка сопоставимых по смыслу запросов на разных языках, и разрыв оказался не косметическим, а кратным. Тема возникла не на пустом месте: она продолжает давнюю дискуссию о языковом неравенстве в генеративном ИИ, но теперь переводит её из плоскости «качества ответов» в плоскость прямых денег. Публикация появилась на фоне активного развития рынка ИИ-сервисов и роста числа пользователей, которые работают с моделями не на английском. В том же новостном потоке соседствуют сообщения о новых моделях и платформах — от Google Genie 4 до инициатив Akamai и Opera в области локального инференса, — что подчёркивает: вопросы стоимости и доступа к ИИ становятся частью повседневной повестки. Для российских читателей сюжет особенно актуален, поскольку русский язык относится к числу тех, для которых «языковая надбавка» проявляется заметно.

Ключевая деталь — само соотношение. Если верить приведённым оценкам, для некоторых языков и письменностей стоимость обработки единицы осмысленного текста превышает английский показатель вплоть до 17 раз. Причина в том, что биллинг у большинства провайдеров строится на токенах — фрагментах слов, на которые модель разбивает входной и выходной текст. Чем хуже язык представлен в словаре токенизатора, тем больше токенов уходит на одну и ту же фразу, а значит, тем выше расход и по входу, и по выходу. Для кириллицы, иероглифики и языков с богатой морфологией это особенно чувствительно, поскольку одно слово может распадаться на несколько токенов вместо одного-двух, как в английском. Помимо прямой стоимости токенов, есть и косвенные эффекты: более длинные последовательности токенов занимают больше контекстного окна, что ограничивает объём обрабатываемого текста за один запрос и может требовать дополнительных вызовов модели. В результате пользователь неанглийского языка платит дважды — и за большее число токенов, и за необходимость укладываться в лимиты, которые рассчитаны в первую очередь на англоязычные сценарии.

Технически механизм выглядит так: современные модели используют подсловные токенизаторы вроде BPE или его вариаций, обученные на преимущественно англоязычных корпусах. В результате частые английские слова получают собственные «дешёвые» токены, а редкие или нелатинские конструкции дробятся на мелкие куски. Разработчики могут частично смягчить эффект, расширив словарь под конкретные языки, но это требует переобучения и дополнительных затрат. Кроме того, на итоговую цену влияет не только токенизация, но и длина ответа: модели нередко отвечают на неанглийском более многословно, что увеличивает число генерируемых токенов и счёт. В сумме эти факторы и дают наблюдаемый разрыв, который пользователь видит уже в биллинге облачного сервиса или в лимитах подписки. Важно, что проблема носит системный характер: она воспроизводится не у одного провайдера, а определяется самой архитектурой токенизации, общей для большинства современных больших языковых моделей. Именно поэтому «налог» воспринимается как структурная особенность, а не как временный сбой или маркетинговая уловка.

Контекст проблемы шире одной публикации. Последние годы идут споры о том, что англоцентричность моделей проявляется и в качестве, и в стоимости: неанглийские языки хуже покрыты обучающими данными, чаще дают ошибки и требуют более длинных подсказок. На этом фоне крупные провайдеры конкурируют за снижение цен на токены, но скидки чаще касаются «удобных» языков. Параллельно появляются локальные и региональные модели, ориентированные на конкретные языки, а также решения с открытыми весами, которые можно развернуть у себя и не платить за каждый токен. Именно на стыке этих трендов и возникает вопрос, станет ли многоязычность конкурентным преимуществом или останется платной опцией. В новостном потоке 3DNews можно заметить, что игроки рынка движутся в разных направлениях: одни наращивают облачные мощности и среды для инференса, другие предлагают запуск ИИ непосредственно на устройстве пользователя. Такое разнообразие подходов создаёт предпосылки для конкуренции не только по качеству моделей, но и по экономике их использования на разных языках.

Для российского рынка сюжет имеет прямое практическое значение. Русский язык в большинстве зарубежных моделей токенизируется заметно хуже английского, поэтому компании, которые строят сервисы на API иностранных провайдеров, платят за тот же объём работы больше. Это касается чат-ботов поддержки, систем анализа документов, генерации контента и внутренних ассистентов. В условиях, когда доступ к ряду зарубежных сервисов ограничен, а цены номинированы в валюте, «языковая надбавка» становится дополнительным фактором давления на бюджет. Одновременно это аргумент в пользу отечественных моделей и локальных развёртываний: если считать не цену за токен, а стоимость решения задачи на русском, разница может оказаться заметной. Отраслевые специалисты уже не первый год указывают, что качество и экономика работы на русском должны оцениваться отдельно, а не экстраполироваться с англоязычных бенчмарков. Для заказчиков это означает необходимость пересмотра методик оценки ИИ-проектов: сравнение цен за токен без учёта языка может давать искажённую картину совокупной стоимости владения.

Если сравнивать с альтернативами, картина неоднозначна. Подход «платить за токены» удобен и прозрачен, но плохо учитывает языковую специфику. Локальные модели с открытыми весами снимают вопрос биллинга, однако требуют оборудования, специалистов и затрат на поддержку. Промежуточный вариант — провайдеры, которые заявляют более дружелюбную токенизацию для конкретных языков или фиксированную цену за запрос вместо цены за токен. Наконец, часть команд оптимизирует расходы вручную: сокращает подсказки, кэширует ответы, использует меньшие модели для типовых задач. Все эти стратегии работают, но ни одна не устраняет первопричину — неравномерное покрытие языков в словарях и данных. При этом каждая из них имеет свои компромиссы: локальный инференс может уступать облачным моделям по качеству на сложных задачах, а фиксированная цена за запрос — скрывать ограничения по объёму контекста. Выбор стратегии зависит от конкретных приоритетов команды и чувствительности продукта к языковым нюансам.

Что будет дальше, пока неясно, и это оставляет несколько открытых вопросов. Станут ли провайдеры публиковать «языковые коэффициенты» стоимости наряду с прайсом за токен, чтобы клиенты могли планировать бюджет? Появятся ли отраслевые стандарты оценки стоимости задачи, а не токена? Насколько быстро локальные модели закроют разрыв в качестве на русском и других языках, чтобы экономический аргумент совпал с техническим? Пока же главный вывод публикации прост: в эпоху генеративного ИИ язык запроса превращается в ценообразующий фактор, и этот «налог» стоит учитывать при выборе платформы, планировании нагрузок и расчёте юнит-экономики продуктов. Для российского рынка это дополнительный стимул внимательнее относиться к собственным языковым моделям и к оценке их реальной эффективности — не только по бенчмаркам, но и по счёту, который в итоге оплачивает пользователь.