Почти полтора года назад разработчик по имени Евгений, работающий в Университете Кембриджа, запустил llm7.io как полностью бесплатный сервис инференса больших языковых моделей. Изначальной целью было проверить собственные инженерные навыки и поэкспериментировать с инфраструктурой, а не создать коммерческий продукт. За время существования через платформу прошло свыше 100 миллиардов токенов, а количество зарегистрированных пользователей достигло примерно 450 тысяч. На пиках нагрузка превышала 4 миллиона токенов в минуту, что превратило небольшой эксперимент в серьёзную инфраструктурную задачу.

С самого начала сервис столкнулся с широким спектром злоупотреблений: спам, массовые регистрации, попытки обхода ограничений и специфические пользовательские запросы. Первоначально борьба велась исключительно по IP-адресам через единый rate limiter, однако быстро выяснилось, что такой подход одинаково ограничивает и добросовестных пользователей, и нарушителей. Тогда была введена бесплатная регистрация с выдачей токенов доступа, что позволило блокировать конкретные аккаунты. Однако массовые регистрации продолжились, и для противодействия пришлось задействовать CAPTCHA, проверку репутации почтовых доменов и автоматические блокировки мультиаккаунтов. Примерно год назад появились первые платные подписки за 5 и 12 долларов, которые должны были стать дополнительным барьером для абьюзеров, а не источником дохода. Подписка за 5 долларов быстро отмерла, вторая продержалась около десяти месяцев. В июне автор окончательно перешёл на модель PAYG (pay-as-you-go), поскольку большинству платящих пользователей требовались не фиксированные квоты, а возможность платить за фактическое потребление.

К текущему моменту в сервисе насчитывается около 16 уровней защиты. Они включают как стандартные ограничения частоты запросов, так и более сложные механизмы: анализ энтропии входящих текстов, выявление подозрительных паттернов и фильтрацию запрещённого контента. Отдельной инженерной головной болью стала задача детектирования сексуального контента с участием несовершеннолетних — по словам автора, это требует работы с данными и задачами, о которых дата-сайентисты предпочли бы не распространяться. Постепенно защитный барьер стал более-менее работоспособным, но затем появился новый класс пользователей: десятки тысяч аккаунтов, в том числе с заметной концентрацией в отдельных азиатских странах, систематически отправляли запросы, поведение которых напоминало сбор данных для дистилляции и обучения собственных моделей. Отличить обычного активного пользователя, занимающегося вайб-кодингом, от автоматизированной системы сбора обучающих данных по отдельному запросу практически невозможно — приходится анализировать поведение в совокупности, последовательности запросов, распределения и косвенные признаки.

Этот опыт, по признанию разработчика, помогает лучше понять масштаб работы исследователей OpenAI и Anthropic. Надёжное выявление подобной активности — нетривиальная задача, и, по наблюдениям автора, защитные механизмы проприетарных моделей всё заметнее смещаются именно в сторону противодействия сбору данных для обучения конкурирующих систем. Складывается любопытное противостояние: владельцы передовых моделей стремятся защитить результаты своих исследований, а другие компании и даже государства заинтересованы в получении данных о том, как эти модели рассуждают, чтобы использовать их для создания собственных систем. Судя по всему, эта гонка только начинается. В какой-то момент автор всерьёз задумался о закрытии проекта: он занимается им один, а значительная часть времени уходит не на развитие продукта, а на противостояние недобросовестным пользователям. Тогда он разделил все проблемы на две категории: те, что создают бесплатные пользователи и требуют непропорционально много ресурсов, и те, что связаны с платящими клиентами и действительно улучшают сервис. Самые болезненные сценарии первой категории были ограничены или отключены, а приоритет отдан второй.

Для российского рынка и русскоязычного сообщества разработчиков история llm7.io представляет интерес по нескольким причинам. Во-первых, она наглядно демонстрирует, с какими вызовами сталкиваются небольшие команды и одиночные разработчики при предоставлении доступа к большим языковым моделям. Во-вторых, проблема сбора данных для дистилляции и обучения конкурирующих моделей актуальна и для российских игроков: крупные технологические компании и стартапы также заинтересованы в получении качественных обучающих данных, а владельцы моделей стремятся защитить свои наработки. В-третьих, опыт перехода от полностью бесплатной модели к PAYG и многоуровневой защите может быть полезен тем, кто запускает собственные AI-сервисы и сталкивается с абьюзом. По словам автора, построить работающий сервис — это одна задача, а сделать так, чтобы он продолжал работать вопреки действиям части пользователей, — совершенно другая. Этот вывод универсален и не зависит от географии.

Если сравнивать llm7.io с альтернативами, то большинство публичных сервисов инференса LLM либо изначально строятся вокруг платной подписки, либо имеют мощную корпоративную поддержку и штат модераторов. Одиночный разработчик, поддерживающий 450 тысяч аккаунтов и пиковую нагрузку в 4 миллиона токенов в минуту, — редкий случай, который показывает, насколько сложно поддерживать бесплатный доступ к вычислительно дорогим ресурсам без постоянного притока финансирования. Переход на PAYG и сокращение бесплатных лимитов — закономерный шаг, который уже прошли многие аналогичные проекты. При этом автор отмечает, что бесплатные лимиты пришлось сокращать особенно активно после распространения инструментов вроде OpenClaw и Hermes, которые позволяют автоматизировать запросы и выжимать максимум из бесплатного доступа. Это ещё раз подчёркивает, что экономика бесплатных AI-сервисов крайне хрупка.

В итоге сервис пережил полтора года, перешагнул отметку в 100 миллиардов токенов и продолжает работать. Автор получил значительно больше инженерного опыта, чем ожидал, запуская небольшой эксперимент. Главный вывод, которым он делится: поддержание работоспособности сервиса в условиях противодействия части пользователей — это отдельная и весьма изматывающая дисциплина. Пока разработчик продолжает развивать llm7.io и смотрит, какие ещё сюрпризы приготовит следующий год. Открытыми остаются вопросы о том, как долго одиночный проект сможет выдерживать растущую нагрузку и давление со стороны тех, кто пытается использовать его для сбора данных, и не приведёт ли это к дальнейшему ужесточению ограничений или даже к закрытию сервиса. Ответ на эти вопросы, вероятно, будет зависеть от того, насколько успешно удастся выстроить баланс между открытостью и защитой.