Разработчик Эдуард, ранее создавший локальный переводчик и синтез голоса для кабардинского языка, представил новый этап своего проекта — полноценный NLP-стек для этого языка. В основе работы лежит приложение для iOS, которое поддерживает чтение с синтезом речи, распознавание голоса и интеллектуальные функции, такие как ранжирование предложений, семантический поиск и чат по книге. Для реализации этих возможностей потребовались лемматизация, определение частей речи, выделение именованных сущностей, анализ тональности и эмбеддинги. Для английского, немецкого и испанского языков Apple предоставляет готовые решения, но для кабардинского, по словам разработчика, доступен «ноль по всем пяти пунктам». Перед началом работы Эдуард обратился к нейросети Gemini Pro, которая оценила сложность задачи как экстремальную.

Gemini Pro охарактеризовала кабардинский язык как «финального босса мировой лингвистики», выделив три ключевые проблемы. Первая — полисинтетизм: кабардинские глаголы могут включать до десятка аффиксов, как в слове «умыгъэпӏащӏэ», что означает «не заставляй его торопиться». Вторая — однобуквенные корни, состоящие из одной согласной, например, «п» (варить) или «т» (давать), что делает наивный стемминг бессмысленным. Третья — эргативный строй, где окончания существительных меняются в зависимости от переходности глагола. Экспертная система рекомендовала использовать только сложные конечные автоматы (FST) в профессиональных лабораториях или нейросети. Однако Эдуард решил обжаловать этот вердикт, используя свой проверенный подход: словари как основа плюс простые правила.

В распоряжении разработчика оказались три ключевых словаря: кабардино-русский словарь на 32 700 статей, орфографический словарь с 138 000 словоформ и морфемный словарь, содержащий приставки, суффиксы и корни. Для сравнения, в машинном Wiktionary кабардинский представлен всего 1,8 мегабайтами данных. Эдуард решил не строить стеммер, который раздевает слово до корня — это привело бы к путанице с однобуквенными корнями. Вместо этого он сфокусировался на лемматизации, где лемма — это не голый корень, а словарный инфинитив на «-н», который уже включает превербы. Из 81 312 лемм, собранных из словарей, 38 442 оказались глагольными инфинитивами. Алгоритм снимает с словоформы только словоизменение (падеж, число, финитные суффиксы) и личные префиксы, не трогая превербы, после чего сверяет результат со словарём.

Тестирование на двух народных сказках дало результаты, близкие к целевой планке в 75%. В сказке «Бдзэжьеящэмрэ бдзэжьеймрэ» (Рыбак и рыбка) из 669 слов 77% получили лемму и часть речи. В «Шырыкъу зыщыгъ джэду» (Кот в сапогах) из 1132 слов покрытие составило 73%. Разработчик отмечает, что тексты записывались на слух, поэтому часть ошибок связана с неидеальной грамотностью оригинала. Нераспознанными остались в основном сложные глаголы с множеством аффиксов, а также имена собственные, такие как «маркиз» и «Къэрэбас», которые отсутствуют в словарях. Эдуард подчёркивает, что 73-77% против «абсолютно невозможно» — это принципиально иной результат, достигнутый без использования GPU или нейросетей.

Отдельной проблемой стала буква «палочка» (Ӏ), которая в кабардинском алфавите может записываться по-разному: латинская I, кириллическая ӏ (U+04CF) или даже символ |. Из-за отсутствия стандартной раскладки на устройствах пользователей каждый использует свой вариант, что приводит к несовпадению строк в словаре и тексте. После нормализации всех вариантов к единому символу покрытие резко возросло. Кроме того, словарь начал выполнять функцию спелл-чекера: например, слово «бдзэжэй» (рыбка) не нашлось в точности, но при снятии мягкого знака и вариации э/е было обнаружено правильное написание «бдзэжьей». Разработчик предупреждает, что слепая автоматическая замена опасна, но для языков без встроенной проверки правописания это может стать полезным инструментом.

Для российского рынка, где кабардинский язык является одним из государственных в Кабардино-Балкарии, такой проект имеет практическое значение. Создание приложения с синтезом речи и распознаванием может помочь в сохранении языка, особенно среди молодёжи, которая всё реже использует его в цифровой среде. Конкуренты, такие как Google и Яндекс, пока не предлагают аналогичных решений для кабардинского, ограничиваясь базовым переводом. В отличие от них, подход Эдуарда не требует дорогих вычислительных ресурсов и может быть адаптирован для других «обделённых» языков. Разработчик планирует расширить покрытие глаголов, добавить обработку именованных сущностей и улучшить точность до 85-90%, используя только словарные данные и правила, без нейросетей. Однако остаются открытые вопросы: сможет ли такой словарно-правиловый подход справиться с полисинтетическими конструкциями, где аффиксы меняют смысл корня, и насколько он будет масштабируем для других языков с похожей структурой, таких как адыгейский или абхазский.

Значимость проекта для России выходит за рамки одного языка. Кабардинский относится к адыго-абхазской группе, и его структура близка к адыгейскому, который также является государственным в Адыгее. Успешная реализация NLP-стека на основе словарей без нейросетей может стать моделью для цифровизации других миноритарных языков страны, таких как ингушский, чеченский или осетинский, где аналогичные ресурсы часто ограничены. В условиях, когда крупные технологические компании сосредоточены на массовых языках, подобные инициативы позволяют сохранять лингвистическое разнообразие и дают инструменты для образования и повседневного общения. Эдуард отмечает, что его подход не требует GPU или больших вычислительных мощностей, что делает его доступным для региональных разработчиков и исследователей, работающих с ограниченными бюджетами.