Конкурс ARC-AGI-3, организованный некоммерческой инициативой ARC Prize, завершился на платформе Kaggle, и один из участников, выступающий под ником, поделился подробным разбором своего опыта. Он занял шестое место в публичной таблице лидеров, что само по себе является заметным достижением, учитывая уровень конкуренции. Соревнование проходило в три этапа — milestone 1, milestone 2 и финал, — между которыми было примерно по одному месяцу. Участники должны были разработать агента, способного проходить игры в стиле 8-битных приставок, используя мультимодальные языковые модели и Python-песочницу для анализа игрового поля и выполнения действий. Условия конкурса предусматривали ежедневную отправку решения, которое затем в течение девяти часов тестировалось на мощной машине с GPU G4, оснащённой 96 ГБ видеопамяти и 180 ГБ оперативной памяти. Kaggle предоставил каждому участнику по 30 часов такой же машины в свободное пользование, но без доступа к интернету. Этого ресурса было достаточно для запуска крупных языковых моделей, таких как Qwen3.8 Next Flash, которая стала популярной ближе к концу соревнования. Призы полагались лидерам каждого этапа при условии открытия исходного кода решения. Среди конкурентов были очень сильные команды, включая представителей Nvidia с титулом Kaggle Grandmaster, что подчёркивает высокий уровень состязания.

С технической точки зрения агент, занявший первое место на первом этапе, был относительно простым: мультимодальной модели передавалось ASCII-представление игрового поля вместе с изображением, а работа велась через Python-песочницу, где модель могла запускать код для анализа доски или выполнения действий. Автор разбора отмечает, что практически любые изменения поверх этой базовой архитектуры не давали улучшений. Он перепробовал множество вариантов: агент-дуэлист с двумя параллельными агентами и судьёй, различные цветовые схемы для изображения, изменение количества пикселей на логический блок, агент-фотограф, который собирал скриншоты механик с подписями, и даже попытки программного построения модели мира. Все эти идеи либо не давали эффекта, либо ухудшали результат. Первый месяц участия ушёл на перебор этих «ручек», и только к концу первого этапа, когда вышла Qwen3.8 Next Flash, автор начал осторожно оптимизировать серверную часть.

Ключевым открытием стало то, что основные улучшения лежали в области оптимизации инференса, а не в архитектуре агента. После второго этапа победители открыли свои решения, и оказалось, что почти все они посвящены ускорению работы сервера, тогда как сам агент был практически идентичен тому, что использовал автор. Разница в скорости генерации токенов была значительной: у автора около 500 токенов в секунду, у лидеров — около 900. Это привело к разрыву в очках: 7 против 20–25. Вдохновлённый этим, автор с начала октября по 20-е число погрузился в оптимизацию сервера на базе vLLM. Он подробно разбирает архитектуру Qwen3.8 Next Flash: модель имеет 512 экспертов, плотные веса и черновиковую голову. Эксперты — это наборы весов, из которых роутер выбирает топ-10 для каждого следующего токена. Автор объясняет разницу между шагами prefill, где токены обрабатываются параллельно, и decode, где генерация идёт последовательно, что делает чтение быстрее записи.

В ходе оптимизации автор, в частности, сократил число экспертов с 512 до 400, что дало прирост скорости с 300 до 500 токенов в секунду при игре на 10 линиях одновременно. Однако этого оказалось недостаточно для конкуренции с лидерами. Он отмечает, что для него это был первый опыт участия в подобных соревнованиях, и формат с ежедневными отправками создаёт своего рода дофаминовую петлю: участник постоянно обновляет страницу, ожидая результатов, и иногда случаются прорывы. Несмотря на то что окончательные результаты ещё не объявлены, автор уже считает шестое место достижением, учитывая силу соперников. Он также подчёркивает, что оптимизация инференса оказалась критически важной для успеха, и планирует продолжать развиваться в этом направлении.

Для российского рынка ИИ и разработки эта история показательна сразу с нескольких сторон. Во-первых, она демонстрирует, что отечественные специалисты способны конкурировать на равных с международными командами в области создания агентов на основе больших языковых моделей, даже без доступа к специализированному оборудованию за пределами предоставленных Kaggle ресурсов. Во-вторых, акцент на оптимизации инференса отражает общемировой тренд: по мере роста стоимости вычислений и ужесточения требований к задержкам, умение эффективно использовать GPU-ресурсы становится не менее важным, чем качество самой модели. В-третьих, опыт автора показывает, что порог входа в такие соревнования остаётся относительно низким благодаря доступности открытых моделей и инструментов вроде vLLM, что создаёт возможности для российских разработчиков и исследователей. В то же время отсутствие интернета на предоставленных машинах и необходимость самостоятельно разбираться в тонкостях оптимизации подчёркивают важность практических навыков и готовности к экспериментам.

Сравнивая подход автора с альтернативами, можно отметить, что большинство участников, включая победителей, делали ставку на ускорение инференса, а не на усложнение логики агента. Это контрастирует с早期 подходами, где основные усилия направлялись на разработку сложных эвристик и моделей мира. Опыт ARC-AGI-3 показывает, что в задачах, требующих большого количества итераций и взаимодействия с окружающей средой, скорость генерации и обработки токенов становится решающим фактором. Кроме того, использование черновиковой головы и разреженных экспертов позволяет снизить вычислительные затраты без существенной потери качества, что особенно важно в условиях ограниченных ресурсов. Автор также упоминает, что ему помогали советы от Claude, что иллюстрирует растущую роль ИИ-ассистентов в процессе разработки и оптимизации.

В перспективе остаётся ряд открытых вопросов. Окончательные результаты конкурса будут объявлены только через месяц, и не исключено, что положение в таблице лидеров изменится. Кроме того, неясно, насколько применимы найденные оптимизации за пределами соревновательной среды — например, в промышленных системах, где требования к надёжности и воспроизводимости выше. Тем не менее, история шестого места в ARC-AGI-3 уже сейчас может служить полезным кейсом для российских команд, работающих над агентами и оптимизацией инференса. Она показывает, что систематический подход к улучшению скорости работы моделей и готовность учиться на чужих решениях способны привести к заметному прогрессу даже в условиях жёсткой конкуренции. Дальнейшее развитие событий зависит от того, как автор и другие участники распорядятся полученным опытом и какие выводы сделает сообщество из этого эксперимента.