Эксперты по кибербезопасности Юрий Туманов, AppSec-инженер «Ростелекома», Игорь Коркин из Positive Technologies и Оксана Докучаева из ФМБА России представили аналитический материал, в котором описали новую реальность угроз, связанных с использованием ИИ-ассистентов. Они отмечают, что генеративные модели не отменили традиционные атаки, но кардинально изменили экономику попыток: стоимость подготовки фишингового письма, легенды или вредоносного скрипта резко снизилась. Теперь атакующему не нужно тратить часы на ручной подбор формулировок или перевод — текст, голос и изображение генерируются за секунды, адаптируясь под контекст конкретной жертвы. Это делает социальную инженерию более убедительной, а старые методы обнаружения, основанные на грамматических ошибках или неестественных фразах, перестают работать.

Ключевая идея материала — ИИ играет пять ролей в кибербезопасности, и каждая требует отдельного внимания. Первая роль — ускоритель атак: модель штампует сотни вариантов обращений для фишинга, преобразует код, собирает эксплойты и генерирует логику, которая проявляется только в момент выполнения. Вторая роль — доверенный ассистент, который может быть скомпрометирован через пользовательское устройство: если злоумышленник получает доступ к браузерной сессии, он видит историю запросов, подключенные документы, коннекторы к базам данных и системам автоматизации. Третья — новая поверхность атаки в виде самой модели: её системный промпт, база знаний, память и права доступа становятся мишенями. Четвёртая роль — инструмент защитника, а пятая — цель для атак на цепочку поставок. Эксперты подчёркивают, что вместо поиска одной «опасной фразы» в промпте нужно анализировать последовательность событий: от ввода или внешнего документа до вызова инструмента, выполнения действия и изменения данных.

Технические детали, приведённые специалистами, иллюстрируют, как именно ассистент может быть использован во вред. Современные ИИ-помощники работают в браузере или desktop-клиенте, имеют доступ к буферу обмена, расширениям, локальным файлам и API. Если устройство скомпрометировано, злоумышленник может перехватывать запросы к модели, модифицировать контекст или использовать сессию для выполнения привилегированных действий. Пример из дополнительного материала показывает реальную уязвимость: руководитель отдела продаж загружает в ChatGPT конфиденциальный CSV-файл с данными клиентов и финансовыми показателями для автоматической аналитики. Сервис обрабатывает данные через встроенный Python-скрипт и возвращает результат, но файл остаётся в инфраструктуре модели, что создаёт риск утечки. Аналогичные сценарии возможны с резюме кандидатов, документами или корпоративными базами знаний.

Контекст развития угроз таков: даже до эры ИИ безопасность была далека от идеала — открытые S3-бакеты, утёкшие токены, дедлайны заставляли игнорировать политики. ИИ не создал проблему, но обострил её, убрав трение между замыслом и попыткой. Раньше подозрительное письмо можно было отсеять по опечаткам или неестественному тону. Теперь модель генерирует персонализированные сообщения с учётом предыдущего диалога, проектов и даже голосовых паттернов. Атакующий может подделать голос руководителя или коллеги, используя всего несколько секунд записи, и встроить это в сценарий атаки. Но главное — новая поверхность атаки растёт именно там, куда компании добровольно складывают контекст, доступы и доверие: в базы знаний, подключенные к ассистенту, в автоматические коннекторы к Jira, GitHub или корпоративной почте.

Для российского рынка этот анализ особенно актуален, поскольку многие компании активно внедряют ИИ-ассистентов для повышения производительности, часто без должной оценки рисков. Эксперты из «Ростелекома» и Positive Technologies уже адаптируют подходы AppSec для AI-систем. Основная рекомендация — не искать магический детектор опасных промптов, а внедрять скучные, но надёжные контроли: разделение прав, журналирование всех действий модели, обязательное подтверждение чувствительных операций через отдельный канал. Поведенческий анализ цепочек вызовов (tool call) и трафика к model API становится важнее анализа содержимого запросов. Российские разработчики решений ИБ уже начали включать в свои продукты детекторы аномальных последовательностей: например, внезапное выполнение интерпретатора после ответа модели или подозрительный исходящий трафик.

Сравнивая традиционные методы защиты с новыми угрозами, эксперты приходят к выводу, что старые инструменты — SAST, DAST, SCA, secret scanning — не теряют актуальность, а наоборот, дорожают. Но их нужно дополнять мониторингом поведения модели в рантайме. Например, фишинг через ИИ требует не детекции грамматики, а сценария: платёж подтверждается по второму каналу, смена реквизитов — только через отдельный канал связи. Для защиты от атак через доверенного ассистента критична гигиена конечных устройств: антивирус, ограничение расширений, контроль clipboard. Альтернатива — использование изолированных сред для работы с ИИ, но это снижает удобство, которое и является главным драйвером внедрения.

Перспективы развития ситуации выглядят неоднозначно: с одной стороны, ИИ становится союзником защитников — помогает анализировать логи, выявлять аномалии, автоматизировать реагирование. С другой стороны, те же самые модели будут использоваться атакующими для обхода защиты. Открытые вопросы касаются ответственности: владелец модели, поставщик API или конечный пользователь — кто должен обеспечивать безопасность данных, загружаемых в ассистент? Эксперты сходятся на том, что универсального ответа пока нет. Однако базовый принцип остаётся неизменным: самый ценный контроль часто выглядит как «скучная» кнопка подтверждения и подробный журнал событий. В ближайшие годы компаниям предстоит научиться интегрировать эти контроли в свои AI-пайплайны, не убивая продуктивность сотрудников.