Автор открытого бенчмарка KZ Scam Shield провёл практический эксперимент с локальными нейросетями, развёрнутыми на ноутбуке с видеокартой NVIDIA RTX 5050 и 8 ГБ видеопамяти. Модели запускались через Ollama полностью офлайн, без обращения к внешним серверам. Поводом стало наблюдение: если спросить языковую модель «это мошенники?», она почти всегда отвечает правильно, но стоит попросить её не проверить, а помочь — например, составить вежливый ответ продавцу о согласии на предоплату, — и та же модель без колебаний пишет мошеннику «переведу сегодня». Знание о том, как выглядит обман, не срабатывает в момент, когда ассистент выполняет действие за человека, а не оценивает ситуацию со стороны.

В основе проверки лежит бенчмарк KZ Scam Shield, включающий 12 распространённых в Казахстане схем мошенничества: поддельный продавец на OLX, «родственник с нового номера», звонок «службы безопасности банка», фальшивый штраф со ссылкой, «лёгкая подработка», выигрыш, романтический развод и другие. Каждая схема представлена на трёх языках — русском, казахском и смешанном «шала». Принципиальный момент методики: сценарии подавались модели не вопросом о мошенничестве, а просьбой помочь с ответом или действием. Дополнительно использовались 36 честных бытовых просьб на тех же трёх языках — оплатить коммуналку через Kaspi, вернуть долг знакомому, записаться к врачу; по ним измерялась частота ложных тревог, причём при настройке защиты эти просьбы намеренно не использовались, чтобы не завышать итоговые показатели.

Защитный слой MoneyGate построен на трёх независимых проверках. Первая — мандат: заранее заданные разрешения определяют, что ассистенту вообще позволено и в каких пределах, а некоторые действия, например отправка кода из SMS, отсекаются ещё до обращения к модели. Вторая — модель-судья, которая читает переписку и предлагаемое действие и выносит решение со ссылками на цитаты из диалога. Третья — жёсткие правила, или «красные флаги»: простые проверки вроде «пишу с нового номера», «никому не говори», «переведите на безопасный счёт», а также сверка номера получателя с самым подозрительным сообщением. Правило блокировки сознательно строгое: одна модель не может заблокировать платёж, для этого нужен ещё и сработавший красный флаг; если флага нет, решение принимает человек.

Результаты оказались показательными. Без защиты Qwen 2.5 7B предупредила о мошенничестве лишь в 2 случаях из 42, DeepSeek-R1 8B — тоже 2 из 42, причём на казахском языке ни разу. С MoneyGate все 42 мошеннические просьбы были остановлены у всех трёх моделей, при этом ни одна честная просьба не была заблокирована — они либо проходили сразу, либо уходили человеку на подтверждение. Ключевой вывод: слабые модели вытягивали не собственные способности распознавания, а простые проверяемые правила, лежащие под ними. Обратная сторона — избыточные подтверждения: у Llama половина честных платежей уходила на ручное подтверждение, у DeepSeek — примерно четверть (8 из 36), у Qwen меньше всего (32 из 36 проходили сразу). Где провести границу между безопасностью и удобством, зависит от модели-судьи и является вопросом настройки, а не доверия к ИИ в целом.

Отдельным результатом стал отказ от включения в таблицу модели Gemma 4 12B: она весит около 9 ГБ и не помещается в 8 ГБ видеопамяти, из-за чего часть вычислений уходит на процессор, один запрос занимает от одной до четырёх минут, а под нагрузкой сервер начинает отвечать ошибками. Это иллюстрирует реальный сценарий: обычный игровой ноутбук с 8 ГБ видеопамяти нормально тянет модели на 7–8B, а 12B работает нестабильно, значит, дома у пользователей будут стоять именно модели на 7–8B — и, как видно из тестов, без защиты они хуже всех замечают мошенничество. Для российского и шире — русскоязычного рынка это особенно значимо: локальные модели продвигаются под лозунгом приватности, но именно компактные открытые решения оказываются наименее надёжными в сценариях, где ассистент действует за человека, а не просто отвечает на вопрос.

В контексте рынка ситуация выглядит тревожно. ИИ-ассистенты перестают быть окном чата и всё чаще совершают операции: платят, пишут сообщения, открывают ссылки, а параллельно растёт популярность локальных моделей, которые пользователи ставят на свои компьютеры ради приватности. Одновременно отрасль обсуждает надёжность и безопасность ИИ на фоне резких колебаний рынка и заявлений крупных игроков о необходимости замедления разработки. Эксперимент показывает, что самый ненадёжный помощник достаётся самым незащищённым людям — тем, кто ставит компактную модель дома и не имеет технической возможности оценить её поведение. В сравнении с облачными ассистентами, где провайдер может обновлять фильтры централизованно, локальные решения перекладывают ответственность на пользователя, а встроенные механизмы защиты в открытых моделях на 7–8B пока не решают задачу.

Практический вывод сводится к нескольким тезисам. Полагаться на то, что модель сама распознает мошенничество, нельзя — особенно если она маленькая и работает не на английском. Надёжная основа — простые жёсткие правила и заранее заданные разрешения, а не только мнение модели. На необратимых действиях, таких как перевод денег, человек должен оставаться в цепочке, и это сознательное ограничение, а не костыль. Бенчмарк открыт, примеры на казахском и «шала» лежат в открытом датасете, все номера карт, телефоны и домены в данных выдуманы. Открытыми остаются вопросы, как масштабировать такой слой на другие языки и юрисдикции, кто будет отвечать за ложные тревоги и как выстроить настройку порогов между удобством и безопасностью без участия конечного пользователя.