Разработчик, пожелавший остаться анонимным, опубликовал подробный отчёт о годичной борьбе с ботами на своём сайте PatronView — базе данных американских филантропов, содержащей 1,5 миллиона профилей. В статье, размещённой в потоке «Разработка», автор раскрывает шокирующие цифры: за неделю его сервер ответил на 2,5 миллиона запросов и передал 1,28 миллиона полных страниц, но в аналитике посетителей зафиксировано лишь 5 977 просмотров. Таким образом, на каждого реального пользователя приходится около 214 невидимых загрузок, а доля людей в общем трафике не достигает и половины процента. Для аналитики автор использует Plausible Community Edition на собственном хостинге, которая считает только посетителей с включённым JavaScript, что почти полностью исключает ботов, не исполняющих скрипты. Этот пример наглядно демонстрирует, что стандартные веб-аналитические инструменты дают крайне искажённую картину реальной нагрузки на сервер.

История началась с открытия сайта, когда его сразу же атаковали SEO-краулеры вроде SemrushBot, AhrefsBot, MJ12bot и DataForSEOBot. Они методично обходили каждую страницу, и автору пришлось блокировать их сначала через robots.txt, а затем на уровне Cloudflare с помощью правил безопасности. Однако это было лишь прелюдией. В ноябре 2025 года за несколько дней на сайте появилось четыре тысячи «посетителей», каждый из которых открывал ровно одну страницу с показателем отказов 99%. У них не было источника перехода, что является классическим признаком ботов, и они целенаправленно краулили страницы фондов, которые посещают лишь 10% реальных пользователей. Эти четыре тысячи ботов оказались лишь разминкой перед настоящим шквалом.

Кульминация наступила 22 апреля, когда сайт получил 3,6 миллиона запросов с 361 844 уникальных IP-адресов, почти все из которых находились в Китае. Cloudflare Managed Challenge — невидимая CAPTCHA — отсеяла 1,18 миллиона запросов за первые десять часов, но значительная часть китайских ботов всё же проходила защиту. В отчаянии автор принял радикальное решение, которое обычно не рекомендуется: заблокировал весь Китай на уровне edge-сети. Вскоре аналогичная волна пришла из Вьетнама, затем из Сингапура, и ему пришлось блокировать и эти страны. Учитывая, что реальная аудитория сайта на 95,9% состоит из пользователей из США и лишь на 1,3% из Канады, такая блокировка была оправдана, хотя и лишила доступа потенциальных посетителей из этих регионов.

Помимо географических ботнетов, автор столкнулся с проблемой ИИ-краулеров. Cloudflare сообщает, что краулеры Anthropic совершают примерно три тысячи операций краулинга на одного приведённого посетителя, но у автора этот показатель оказался ещё выше — 35 тысяч к одному. Особенно показателен случай с поисковым ИИ-краулером Amazon, который он заблокировал за два дня до публикации отчёта: тот считывал по 117 тысяч страниц в день, но не привёл ни одного реального посетителя. Это поднимает важный вопрос о целесообразности такого агрессивного сканирования, которое создаёт колоссальную нагрузку на серверы, не принося взамен никакого трафика. Автор также отмечает, что показатель решения CAPTCHA у ботов составил всего 0,24%, что свидетельствует об их полном игнорировании подобных защитных механизмов.

Реакция сообщества на проблему показала, что она носит системный характер. Мэтт Полсон из MarketBeat посоветовал добавить в список заблокированных стран Россию, а Джек Эллис из Fathom Analytics сообщил, что последние полгода наблюдает огромный спам-трафик из Китая. Джереми Брандт признался, что его список заблокированных стран для всех сайтов на Cloudflare весьма длинный, а Крис Левицки даже решил перестать бороться с ботами, так как меры защиты слишком усложняли ему жизнь. Родриго Рокко отметил, что боты используют тысячи резидентских IP-адресов, каждый из которых делает по одному вызову, что делает их практически невозможными для блокировки. Эти комментарии подчёркивают, что проблема ботов и ИИ-краулеров стала глобальным вызовом для всех владельцев сайтов, особенно для нишевых проектов с ограниченными ресурсами.

Для российского рынка ИИ эта история особенно актуальна. С одной стороны, она демонстрирует, как быстро растёт число автоматизированных систем, которые потребляют ресурсы без пользы. С другой стороны, опыт автора показывает, что даже небольшие проекты могут защититься от нежелательного трафика, используя комбинацию технических средств и здравого смысла. Однако остаются открытые вопросы: как отличить полезных ИИ-краулеров, которые могут привести целевых посетителей, от паразитических ботов? Стоит ли блокировать целые страны, лишаясь потенциальной аудитории? И главное — как заставить разработчиков ИИ-систем соблюдать этические нормы и не перегружать серверы? Ответы на эти вопросы ещё предстоит найти, но пока владельцам сайтов приходится полагаться на собственные силы, вооружившись правилами файрволла и аналитикой, которая показывает реальную картину происходящего.