В статье, основанной на вебинаре, автор рассказывает о развертывании локального ИИ-агента на виртуальной машине VK Cloud с подключенной через Passthrough профессиональной видеокартой на 24 ГБ. На этом стенде работают языковая модель на 20 млрд параметров, отдельная модель для генерации изображений, агентная платформа с инструментами и скиллами, а также ночная задача по расписанию. Внешние LLM-сервисы при этом не используются: модель запущена на арендованной GPU, а все промпты и файлы остаются внутри проекта в облаке. Такой подход обеспечивает контроль над данными и устраняет зависимость от внешних поставщиков, хотя и требует внимания к конфигурации и поиску ошибок.

В ходе настройки автор столкнулся с двенадцатью ошибками за один вечер, большинство из которых были связаны с конфигурацией и связями между компонентами. Модель отвечала пустой строкой без явных ошибок в логах, агент не мог подключиться к Ollama, панель не проходила авторизацию, ключ отклонялся из-за прав доступа, а gateway показывал зеленый статус, игнорируя изменения в конфигурации. Разбор этих случаев показывает, как важно анализировать логи и не полагаться на внешние индикаторы. В частности, автор подчеркивает, что при переполнении контекста не следует увеличивать окно, а нужно искать причину в логах, и что скилл по расписанию оказался удобнее панели управления.

Технические детали включают выбор видеокарты A30 на 24 ГБ, которая обеспечивает пропускную способность памяти 933 ГБ/с. Для модели, занимающей около 13 ГБ, этого достаточно с запасом при одном пользователе и последовательных запросах. Однако при одновременной работе четырех-пяти пользователей память быстро заканчивается, и запросы выстраиваются в очередь. Для таких нагрузок рекомендуется рассмотреть карты с 141 ГБ памяти, которые позволяют запускать более крупные модели и не сжимать контекст. Также автор отмечает, что для задач, не ограничивающихся агентами, например, рендеринга видео или генерации изображений, потребуются карты с дополнительными возможностями, такие как L40S.

Контекст включает опыт автора с внешними LLM-сервисами, где токены тарифицируются, и чем больше запросов и длиннее контекст, тем выше расходы. В собственном контуре экономика другая: после оплаты GPU за инференс платить не нужно, поэтому агента можно запускать каждые десять минут без дополнительных затрат. Это открывает возможности для регулярных задач, таких как разбор очередей или сбор материалов по темам. Однако автор предупреждает, что локальная модель на 20 млрд параметров не является универсальной заменой Claude или GPT: она хорошо справляется с короткими задачами, но на длинных конвейерах с несколькими проверками теряет качество.

Для российского рынка этот подход особенно актуален в свете регуляторных требований, таких как 168-ФЗ о защите русского языка, и необходимости контроля над данными. Локальный контур позволяет избежать передачи промптов и файлов внешним поставщикам, что снижает риски утечки конфиденциальной информации. Однако автор отмечает, что полная изоляция невозможна: если агент использует веб-поиск, поисковый запрос уходит внешнему провайдеру. В таких случаях поиск можно отключить в конфигурации и передавать агенту только заранее подготовленные файлы. Это особенно важно для компаний, работающих с чувствительными данными, где даже косвенная передача информации нежелательна.

Сравнение с альтернативами показывает, что аренда GPU в облаке дает гибкость и контроль, но требует ручной настройки и отладки. В отличие от готовых API, где все работает из коробки, локальный контур требует больше усилий на начальном этапе. Однако в долгосрочной перспективе это может быть экономически выгоднее при интенсивном использовании, а также обеспечивает независимость от состояния внешних сервисов и их политики. Автор подчеркивает, что, несмотря на сложности, преимущества контроля над данными и отсутствие тарификации за токены делают этот подход привлекательным для организаций, которые активно используют ИИ-агентов в своей работе.

Перспективы развития включают возможность масштабирования на более мощные GPU и оптимизацию конфигурации для мультиагентных задач. Автор планирует продолжить исследование, возможно, тестируя другие модели и инструменты. Открытым остается вопрос баланса между производительностью и стоимостью, а также поиск способов улучшить качество модели на длинных задачах. В целом, опыт показывает, что локальный ИИ-агент на арендованной GPU — это рабочая альтернатива облачным сервисам, требующая внимательного подхода к настройке и эксплуатации. Дальнейшие эксперименты могут включать использование более крупных моделей или интеграцию с другими инструментами для расширения функциональности.