Повторные запросы к одной и той же нейросети с одинаковым вопросом и городом дают разные списки компаний: за три попытки количество сайтов варьировалось от семи до двенадцати, а совпали лишь пять из пятнадцати. Этот эксперимент, проведённый в Иркутске, выявил серьёзную проблему для бизнеса, который платит за продвижение в ИИ-ассистентах. Автор теста признаёт, что сам ранее опубликовал недостоверные данные, и объясняет, почему такие замеры требуют перепроверки. Ситуация усугубляется тем, что услуги по продвижению в нейросетях стоят от 20 тысяч рублей в месяц, а заказчики часто не имеют технической возможности оценить качество предоставляемых отчётов.

Суть проблемы в том, что нейросеть не хранит фиксированный рейтинг компаний, а каждый раз заново решает, какие источники использовать. При запросе «вызвать электрика на дом» первая и третья попытки не совпали ни одним сайтом, что демонстрирует высокую вариативность. Это означает, что отчёт, основанный на единичном замере, может вводить в заблуждение: разница между «до» и «после» нередко объясняется случайностью, а не работой подрядчика. В одном из экспериментов разброс между попытками достигал половины списка, что делает проценты в отчётах практически бессмысленными. Автор подчёркивает, что даже его собственный недавний вывод о влиянии смены версии нейросети на список сайтов оказался статистически неотличим от обычного разброса — он сравнил два случайных списка и объявил разницу закономерностью.

Технически это объясняется тем, что нейросеть принимает несколько независимых решений: идти ли в интернет, как формулировать поисковый запрос и какие страницы включать в ответ. Каждый из этих шагов может приводить к разным результатам, поэтому три запроса — это три разных «мнения», а не копии одного. Автор сравнивает это с опросом трёх разных консультантов в магазинах: они назовут разные варианты, и ни один не будет ложью. Однако подрядчики часто выдают один такой список за «рекомендации нейросети», а сравнение двух списков — за доказательство своей эффективности. При этом сама нейросеть не ранжирует компании в привычном смысле, а генерирует ответ на основе вероятностных моделей, что делает каждый запрос уникальным.

На этом фоне важно понимать, что некоторые показатели всё же остаются стабильными. Например, факт упоминания компании в ответах повторяется с высокой надёжностью: если сайт не назван ни в одном из сорока запросов, это устойчивый ноль, а не случайность. Также стабильна география: одна нейросеть последовательно находила местные компании, а другая советовала фирмы из других стран. Постоянное присутствие в трёх из трёх попыток указывает на реальных конкурентов, тогда как однократные упоминания — на случайных «попутчиков», за которыми гнаться бессмысленно. В иркутском эксперименте пять сайтов из пятнадцати стабильно появлялись во всех попытках, что позволяет считать их настоящими лидерами в ответах нейросети, в то время как остальные десять — не более чем шум.

Для российского рынка это особенно актуально, поскольку услуги по продвижению в нейросетях стоят от 20 тысяч рублей в месяц, и заказчикам сложно проверить их качество. Автор предлагает три простых вопроса, которые стоит задать подрядчику до оплаты: сколько раз задавался каждый вопрос, ходила ли нейросеть в интернет и предоставляются ли сырые ответы. Ответы на них займут минуту, но могут сэкономить десятки тысяч рублей. Если подрядчик отвечает уклончиво или отказывается показывать исходные тексты, это повод усомниться в достоверности отчёта. В отличие от традиционного SEO, где позиции можно проверить через поисковые системы, здесь нет публичных инструментов для верификации, поэтому запрос сырых данных становится критически важным.

Вместо того чтобы полагаться на проценты и позиции в списках, автор советует проверять только бинарные показатели: «называют или нет» и «местные или нет», подтверждённые многократными повторами. Точные проценты и места — это скорее «мнение в табличке», чем измерение. Самостоятельная проверка занимает около десяти минут: нужно задать один и тот же вопрос несколько раз и сравнить ответы. Такой подход позволяет отличить реальный эффект от случайных колебаний, а значит, принимать более обоснованные решения о расходах на продвижение. Автор признаёт, что сам попался на этой ошибке, опубликовав цифру, которая оказалась случайным разбросом, и теперь настаивает на необходимости перепроверки любых данных.

В перспективе проблема вариативности ответов нейросетей будет только усугубляться, поскольку модели становятся всё более динамичными. Это ставит перед индустрией новые вызовы: как стандартизировать замеры и как сделать их прозрачными для клиентов. Возможно, рынок придёт к единым протоколам тестирования, но пока ответственность лежит на заказчиках, которым стоит критически относиться к любым цифрам в отчётах. Автор подчёркивает: если измерение нельзя перепроверить, это не измерение, а мнение, и только повторные запросы могут дать достоверную картину. Пока же единственный надёжный способ — это собственные тесты с повторными запросами, которые не требуют специальных сервисов и доступны каждому.