«Писарь»: русская диктовка на базе GigaAM работает мгновенно и без видеокарты
Разработчик представил приложение «Писарь» для голосового ввода текста на русском языке. Оно использует открытую модель GigaAM от Сбера, работает локально на процессоре и обеспечивает задержку транскрипции менее секунды. Проект с открытым исходным кодом уже привлёк внимание сторонних разработчиков.
В сообществе разработчиков появилась новость о создании приложения для голосового ввода под названием «Писарь». Автор проекта, столкнувшись с ограничениями популярной модели Whisper, решил проверить возможности открытой модели GigaAM, выпущенной Сбером. Оказалось, что она не только точнее распознаёт русскую речь, но и работает значительно быстрее, не требуя графического ускорителя. Так родилась идея создать собственный инструмент диктовки, который за две недели превратился в полноценный продукт. История началась со случайно услышанной информации о том, что у Сбера есть открытая модель, которая по бенчмаркам русского языка обходит Whisper. Автор проверил и понял, что она не просто не хуже, а работает мгновенно, да ещё и на обычном процессоре, без GPU. Текст появляется быстрее, чем успеваешь отпустить кнопку. Дальше, по словам разработчика, «понеслось»: он собрал диктовку для себя, раздал друзьям, всем понравилось, начали пользоваться, и посыпались запросы на улучшения. Из этого за пару недель вырос целый продукт.
Приложение работает следующим образом: пользователь зажимает правую клавишу Command, произносит фразу и отпускает клавишу — текст с пунктуацией и заглавными буквами мгновенно вставляется туда, где стоял курсор. Замеры показали высокую производительность: фраза длительностью 6 секунд вставляется за 0,08 секунды, запись на 30 секунд транскрибируется менее чем за полсекунды, а загрузка модели занимает 0,22 секунды. Вся обработка происходит локально, аудио не покидает компьютер. Модель весит 204 МБ, само приложение — 32 МБ, и всё работает на центральном процессоре без использования GPU. Код открыт под лицензией MIT. С названием автор мудрить не стал: раз пишет под диктовку, пусть будет «Писарь».
Ключевое отличие «Писаря» от Whisper заключается в специализации. Whisper — универсальная модель, поддерживающая около сотни языков, но русский для неё не приоритет. Она тяжёлая, на процессоре работает медленно, поэтому многие обёртки вынуждены задействовать видеокарту, что приводит к нагреву ноутбуков и задержкам. Кроме того, качество русского языка у Whisper страдает: падежи, окончания и пунктуация часто ошибочны. GigaAM же обучена Сбером специально на русском, поэтому показывает более высокую точность, автоматически расставляет знаки препинания и заглавные буквы, а также корректно обрабатывает английские вкрапления в русской речи (термины, названия). Ограничение: диктовать целиком на английском не получится — буквы будут латинскими, но написание фонетическим. Для полностью английской речи автор рекомендует использовать Whisper. Таким образом, «Писарь» — это инструмент именно про русскую диктовку.
После первой версии, розданной друзьям, посыпались запросы на улучшения. Одним из первых стало добавление визуальной индикации записи — появилась плашка с эквалайзером, потому что было непонятно, идёт запись или нет. Затем была реализована функция обновления по воздуху: приложение само проверяет свежую версию на GitHub и скачивает её, чтобы не качать архив руками каждый раз. Далее последовали более серьёзные пожелания: пользователи хотели, чтобы система убирала слова-паразиты («ну», «короче», «эээ») и приводила текст в порядок. Так появился «Мозг» — локальная нейросеть, также от Сбера (6,5 ГБ), с альтернативой в виде QWEN (2,5 ГБ). Это позволило добавить голосовые команды: во время диктовки можно сказать «Писарь причеши/переведи/сократи», и текст будет обработан. Или же можно выделить абзац, зажать Command, произнести команду, и текст изменится на месте. Всё это работает без выхода в интернет.
Проект быстро вышел за рамки личного использования. Через несколько дней после публикации пришёл первый сторонний разработчик, который с тех пор отправил три пул-реквеста, в основном с косметическими правками. За две недели утилита превратилась в приложение, которым пользуются незнакомые автору люди. Это свидетельствует о востребованности локальных и быстрых решений для русскоязычной диктовки. В отличие от облачных сервисов, таких как Google Speech-to-Text или Яндекс.Спич, «Писарь» не требует подключения к интернету и не отправляет аудио на удалённые серверы, что важно для конфиденциальности. По сравнению с Whisper, который часто используют в связке с видеокартой, «Писарь» демонстрирует значительно меньшие задержки и энергопотребление.
Для российского рынка ИИ появление «Писаря» — показательный кейс. Он демонстрирует, что открытые модели, созданные внутри страны, могут находить практическое применение в прикладных инструментах, причём без необходимости в дорогостоящем оборудовании. GigaAM от Сбера становится основой для независимых разработок, а лицензия MIT и открытый код позволяют сообществу вносить вклад. Это снижает барьер для создания русскоязычных голосовых интерфейсов и может стимулировать рост локальных решений в области речевых технологий. В условиях, когда многие глобальные сервисы ориентированы в первую очередь на английский, такие проекты закрывают важный пробел для русскоязычных пользователей.
На фоне роста интереса к локальным ИИ-инструментам «Писарь» показывает, что даже небольшая команда или отдельный разработчик может создать продукт, конкурирующий с решениями крупных компаний. Вопросы остаются по поводу масштабируемости: как приложение будет справляться с разными акцентами, шумным окружением, специализированной лексикой. Также неясно, планирует ли автор добавлять поддержку других языков или улучшать интеграцию с операционными системами. Тем не менее, проект уже доказал свою состоятельность и может стать основой для новых российских разработок в области речевых технологий.