Четыре топовые нейросети снова соревнуются: Astra 6.2, Qwen 4, Fable 5.2 и Opus 5.5 оценивают друг друга
Автор независимого сравнения нейросетей опубликовал второй турнир, в котором четыре флагманские модели выполняют одинаковые задания, а судьями выступают сами нейросети. Новый формат включает четыре работы в виде одиночных HTML-файлов, открытые промпты и подробные оценки с пояснениями.
В сентябре на Хабре появился «Турнир семи нейросетей», который автор сам признал неудачным, однако после комментариев решил повторить эксперимент. Во второй итерации участвуют уже четыре модели: Claude Opus 5.5, Claude Fable 5.2, GPT-6.2 Astra и Qwen4-Max. Сравнение опубликовано на странице ikorg.ru/rating, где доступны все работы, промпты и выставленные баллы, а сама методика остаётся открытой для повторения на любых других моделях. Автор отдельно объясняет мотивацию: у него несколько подписок примерно по 200 долларов каждая, и сравнение нужно ему самому, чтобы не зацикливаться на одной модели и вовремя пересаживаться на новые инструменты, когда они того стоят. Остальные модели в турнир не попали по прозаической причине: версии меняются каждый месяц, и угнаться за всеми — отдельная профессия.
Модели получили четыре задания: создать сайт о себе, 3D-робота с характером, 2D-игру в одно касание и 3D-игру. Каждый результат оформлен как один HTML-файл, который можно открыть в браузере и самостоятельно проверить работоспособность, покрутив робота или сыграв в игру. Задания сформулированы так, чтобы не ограничивать модели в выборе подхода, а результаты существуют в виде автономных файлов без внешних зависимостей — это упрощает воспроизводимость и позволяет любому желающему прогнать те же промпты на своих моделях. Судьями выступили три другие нейросети, оценивавшие каждую работу по снимкам экрана по шкале от 1 до 10; собственную работу модель не оценивает. Критерии включали выполнение задания, внешний вид, работоспособность и наличие собственных идей, а нажатие на оценку раскрывает пояснение, за что судьи критиковали или хвалили конкурента. Автор отдельно оговаривает, что игры оценивались только по скриншотам, а не в процессе игры, что накладывает ограничение на достоверность судейских вердиктов, и сравнивает чтение этих пояснений с отзывами коллег, которые очень стараются быть вежливыми.
По итогам оценок самих нейросетей лидирует Claude Opus 5.5 с 8,7 балла, за ним следует Claude Fable 5.2 с 8,1, GPT-6.2 Astra получила 7,7, а Qwen4-Max — 7,4. Однако автор не во всём согласен с машинным жюри и приводит собственных фаворитов. У Fable ему понравилась идея сайта-вышивки «Лицо и изнанка», где на лицевой стороне показаны умения модели, а на изнанке — её ограничения, причём концепцию модель придумала самостоятельно; по словам автора, это аллегория того, что стоит за красивой картинкой. Astra сделала робота-улитку почтальона «Тихохода» в узнаваемом пиксаровском стиле — мультяшном, тёплом, — и этот стиль прослеживается во всех её работах. Opus, по словам автора, выполняет около 70 процентов его рабочих задач и заслужил характеристику «хороший стул». Qwen удивил на фоне почти бесплатного доступа, и после результатов автор оформил подписку за 2000 рублей, чтобы протестировать модель в течение месяца.
Финансовая сторона эксперимента показывает заметный разброс: четыре задания обошлись Astra в 3,22 доллара за 36 минут работы, Opus — в 9,56 доллара за 70 минут, Fable — в 14,48 доллара за 55 минут, тогда как Qwen работал по подписке и по API не подсчитывался. Эти цифры важны для контекста рынка, где стоимость инференса и скорость выполнения становятся не менее значимыми, чем качество отдельного ответа. Сравнение выходит на фоне активной конкуренции между Anthropic, OpenAI и китайскими разработчиками, а также на фоне разговоров об IPO Anthropic, что делает появление доступной Qwen особенно заметным для пользователей, выбирающих между дорогими подписками и бюджетными альтернативами. Показательно, что самая дорогая по API работа Fable не вывела её в лидеры турнира, а самая дешёвая Astra обошла по цене обе модели Claude.
Отдельного внимания заслуживает стилистическая узнаваемость моделей: Fable и Qwen независимо друг от друга нарисовали робота-самовара, а Opus из раза в раз возвращается к садовнику-лейке в соломенной шляпе. Подобные повторы указывают на устойчивые паттерны в генерации, которые могут быть интересны исследователям, изучающим поведение больших языковых моделей при минимальном контроле со стороны промпта. Показательный эпизод произошёл после выхода GPT-6.2: Astra переделала все работы и поднялась с последнего места с 6,9 балла на третье с 7,7, что иллюстрирует, насколько быстро обновление модели может изменить расклад и насколько быстро устаревают любые рейтинги. Сам автор в работе использует Claude Opus 5.5 и Astra, причём Astra регулярно выполняет ревью, а задания Claude и Astra обсуждают перед выполнением.
Для российского рынка и русскоязычной аудитории подобные независимые сравнения имеют практическое значение, поскольку доступ к зарубежным подпискам и API остаётся ограниченным и дорогим. В условиях, когда версии моделей меняются каждый месяц, а стоимость доступа варьируется от нескольких долларов до дорогих тарифов, открытые промпты и прозрачные оценки помогают разработчикам и небольшим командам принимать решения без маркетинговых обещаний. Кроме того, кейс Qwen показывает, что китайские модели становятся реальной альтернативой западным флагманам даже при существенно более низкой цене, и подписка за 2000 рублей здесь выступает наглядным контрастом к тарифам по 200 долларов.
Перспективы проекта автор описывает просто: когда выйдут новые версии, работы будут пересобраны, а модели заново выставят оценки на той же странице. Вне зачёта уже присутствует робот Kimi для дополнительного сравнения. Открытыми остаются вопросы о том, насколько судейство нейросетей по скриншотам отражает реальное качество интерактивных работ, не стоит ли давать судьям возможность играть, а не только смотреть, и нужно ли расширять число моделей и заданий. Сам автор приглашает предлагать новые подходы к обсуждению, а сама идея перекрёстной оценки выглядит жизнеспособной и уже сейчас даёт содержательный материал для дискуссии о том, как измерять качество моделей, меняющихся быстрее, чем успевают выходить рейтинги.