Вопреки распространённому мнению, главное препятствие для работы ИИ на телефоне давно не в том, помещается ли модель в память устройства. Современные методы квантизации, вроде стандарта Q4_K_M, позволяют сжимать веса до 4 бит на число, уменьшая потребление памяти вчетверо при минимальной потере качества на большинстве задач. Более того, прямо сейчас, пока пользователи читают статьи в браузере на десктопе, на их устройство уже могла быть загружена языковая модель на несколько миллиардов параметров, доступная для вызова через открытые вкладки. Apple Intelligence, встроенный в iPhone, также является примером того, как маленькие языковые модели незаметно интегрируются в повседневную жизнь. Речь идёт о моделях размером от 1 до 7 миллиардов параметров, которые уже активно используются на смартфонах и в браузерах, и их потенциал часто недооценивают из-за предвзятости, унаследованной от предыдущих поколений.

Путь к современным компактным моделям начался не с гонки за размером, а с переосмысления подходов к обучению. Ключевой прорыв произошёл в 2022 году, когда DeepMind представила модель Chinchilla на 70 миллиардов параметров, которая, будучи обученной по оптимальной схеме, превзошла Gopher с 280 миллиардами параметров. Это показало, что данные важнее размера: гигантские модели часто оказываются недоученными из-за недостаточного объёма данных. Позже проект TinyLlama продемонстрировал, что модель на 1,1 миллиарда параметров, обученная на трёх триллионах токенов, не упирается в потолок, а продолжает учиться, опровергая прежние теории. Особого внимания заслуживает подход Microsoft, описанный в статье «Textbooks Are All You Need»: вместо сбора мусора из интернета компания сгенерировала датасет «учебникового» качества, на основе которого модель на 1,3 миллиарда параметров начала писать код лучше, чем модели в десять раз больше. Дополнительным катализатором стала дистилляция, когда маленькая модель обучается на ответах большой фронтир-модели, перенимая её повадки без повторения всего пути.

Решающим фактором, превратившим лабораторные эксперименты в практические решения, стала квантизация. Когда разработчик Георгий Герганов создал проект llama.cpp и показал, что веса можно сжимать до 4 бит и запускать модели на обычных ноутбуках, это открыло шлюзы. Сначала LLaMA заработала на Mac, затем на Raspberry Pi, а потом и на телефонах. К 2026 году линии пересеклись: модель на 4 миллиарда параметров демонстрирует возможности, которые полтора года назад были доступны только моделям на 30 миллиардов. Сегодня в библиотеках моделей можно найти десятки семейств компактных ИИ, каждое со своими особенностями. Gemma 4 от Google, например, благодаря хитрости с эмбеддингами занимает около 5 ГБ памяти, понимает картинки и на свежих iPhone выдаёт около 40 токенов в секунду, что является лучшим результатом в своём классе. Phi-4-mini от Microsoft сильна в математике и коде, но проседает в языковых задачах, а Qwen 3.5 от Alibaba удивляет контекстом в 262 тысячи токенов, что аномально для модели на 4 миллиарда параметров.

На российском рынке появление таких моделей открывает новые возможности для локальных разработок, особенно в условиях ограничений на использование зарубежных облачных сервисов. Llama 3.2 в размерах 1B и 3B, несмотря на скромные бенчмарки, обладает зрелой экосистемой и хорошо справляется с задачами, требующими понимания контекста, что важно для русскоязычных приложений. SmolLM3 привлекает полной прозрачностью: открыты все данные обучения, что критично для предприятий, заботящихся о лицензионной чистоте. Однако важно различать настоящие компактные модели и дистиллированные версии, такие как DeepSeek-R1 с маркировкой «1.5B» или «7B». Настоящий DeepSeek-R1 — это 671 миллиард параметров, а все мелкие теги — лишь дистилляции, обученные на рассуждениях от R1, которые копируют манеру думать вслух, но являются другими моделями.

Сравнение альтернатив показывает, что выбор компактной модели зависит от конкретных задач. Для универсальной работы на телефоне с обработкой изображений лидирует Gemma 4, для математических и кодовых задач — Phi-4-mini, а для работы с длинными контекстами и мультиязычностью — Qwen 3.5. Пользователям, которые хотят запускать модели самостоятельно, доступны инструменты вроде Ollama, LM Studio, llama.cpp или MLX, позволяющие скачивать веса и работать с ними локально. Параллельно развивается второй мир — модели, встроенные непосредственно в платформы, такие как Apple Intelligence, где пользователю не нужно заботиться о технических деталях. Этот дуализм — ручное управление против автоматической интеграции — будет определять развитие рынка в ближайшие годы.

Перспективы компактных ИИ выглядят многообещающими, но остаются открытые вопросы. Главный из них — как будет развиваться экосистема вокруг этих моделей, особенно в условиях, когда большие фронтир-модели продолжают расти. Возможно, что в будущем мы увидим гибридные подходы, где маленькие модели работают как локальные «мозги» для быстрых задач, а сложные запросы отправляются в облако. Для российских пользователей и разработчиков это означает возможность создавать автономные ИИ-решения, не зависящие от внешних серверов, что особенно актуально в условиях санкционных ограничений. В любом случае, тот факт, что 400-миллиардная модель смогла запуститься на iPhone, пусть и с черепашьей скоростью, является символом того, что границы возможного для мобильного ИИ сдвигаются быстрее, чем многие ожидают.