В конце октября 2026 года команда платформы BotHub под руководством Кирилла Гончарова и Сергея Адамова опубликовала результаты практического тестирования пяти нейросетей, способных генерировать код для веб-разработки. Целью эксперимента было сравнить, как разные модели справляются с одним и тем же техническим заданием (ТЗ) на создание одностраничного сайта-лендинга. В тесте участвовали GPT-6 Astra от OpenAI, Claude Opus 5.5 от Anthropic, а также открытые модели DeepSeek V4.1-Flash-1017, Qwen3.8-Max-Prime и GLM-5.3. Все они доступны на платформе BotHub, что позволило авторам провести честное сравнение в равных условиях.

Методика тестирования включала отправку идентичного промпта с подробным ТЗ в чат каждой модели. Задача состояла в генерации единственного файла index.html, содержащего полный код лендинга для вымышленной компании ООО «Рога и Копыта». Сайт должен был включать четыре смысловых блока: шапку с навигацией по якорям, секцию с описанием и преимуществами, форму обратной связи с клиентской валидацией и интерактивный FAQ с попап-окнами и тумблером переключения темы. Дополнительно требовалось соблюдение методологии БЭМ, адаптивная вёрстка mobile-first с двумя контрольными точками, использование только ванильного JavaScript и CSS без внешних фреймворков (кроме Google Fonts и Normalize.css). Критерии оценки включали соответствие ТЗ, качество кода (читаемость, семантика, БЭМ), работоспособность с первого раза, визуальную целостность и адаптивность, а также потраченные ресурсы (стоимость генерации). Каждый критерий оценивался по 10-балльной шкале, затем выводился средний и медианный балл.

Технические особенности задания были призваны усложнить работу моделей и выявить их сильные и слабые стороны. Например, требование клиентской валидации формы без отправки данных на сервер проверяло умение моделей генерировать корректный JavaScript-код, обрабатывающий события и отображающий ошибки рядом с полями. Интерактивный FAQ с попап-окнами и переключателем темы требовал не только HTML-разметки, но и продуманной логики на JavaScript. Запрет на использование популярных фреймворков (Bootstrap, Tailwind, jQuery, React) вынуждал модели писать CSS и JS с нуля, что повышало сложность и вероятность ошибок. Кроме того, весь код должен был находиться в одном файле и не требовать правок перед открытием — это проверяло способность моделей создавать самодостаточные решения.

Контекст эксперимента отражает растущую конкуренцию на рынке AI-инструментов для разработки. Авторы отмечают, что рынок перестал быть однородным: наряду с флагманами от OpenAI и Anthropic активно развиваются открытые модели, такие как DeepSeek, Qwen и GLM, которые всё чаще вырываются вперёд в отдельных задачах. Бенчмарки, например LLM-Stats и Terminal-Bench, показывают, что Claude Opus 5.5 и Claude Sonnet 5.5 часто занимают первые места, но они дороги, тогда как GPT-6 Astra и DeepSeek V4.1-Flash предлагают более доступные альтернативы. В топ-10 общего рейтинга также вошли китайские модели DeepSeek и Moonshot AI (Kimi K3), а в топ-20 — GLM-5.3 и Qwen3.8-Max. Однако, как подчёркивают авторы, агрегированные баллы бенчмарков не всегда отражают реальную производительность в конкретных задачах, поэтому практическое тестирование остаётся необходимым.

Для российского рынка результаты тестирования имеют особое значение, поскольку многие компании ищут доступные и эффективные инструменты для быстрой разработки сайтов и веб-приложений. Открытые модели, такие как DeepSeek, Qwen и GLM, доступны через российские платформы (например, BotHub) и могут стать альтернативой дорогим зарубежным API. Это особенно актуально в условиях ограниченного доступа к некоторым зарубежным сервисам и необходимости импортозамещения. Отраслевые эксперты отмечают, что выбор модели должен основываться на конкретных требованиях проекта: для простых лендингов достаточно более дешёвых моделей, тогда как для сложных задач с высокой нагрузкой может потребоваться Claude Opus. Тестирование также показало, что даже среди моделей одного ценового сегмента результаты могут сильно различаться, поэтому рекомендуется проводить собственные проверки перед внедрением.

Сравнение с альтернативами выходит за рамки пяти участников: на рынке существуют и другие инструменты, специализирующиеся на генерации кода, например GitHub Copilot, Tabnine, а также low-code платформы. Однако в отличие от них, протестированные модели являются универсальными языковыми моделями, способными генерировать код по текстовому описанию, что делает их более гибкими, но менее специализированными. Например, GitHub Copilot интегрируется непосредственно в среду разработки и предлагает автодополнение, но не создаёт целые проекты с нуля. Low-code платформы, такие как Bubble или Webflow, позволяют создавать сайты без кода, но ограничивают кастомизацию. Таким образом, тестируемые модели занимают промежуточное положение, предлагая баланс между гибкостью и автоматизацией.

Перспективы развития направления связаны с дальнейшим совершенствованием моделей и их адаптацией под конкретные задачи. Авторы отмечают, что недетерминированный характер генерации означает, что результаты могут различаться от запуска к запуску, поэтому для стабильного качества может потребоваться несколько итераций. Открытым остаётся вопрос о том, как модели справятся с более сложными проектами, требующими интеграции с бэкендом, базами данных и внешними API. Кроме того, стоимость генерации остаётся важным фактором: хотя открытые модели дешевле, их качество может варьироваться. В будущем вероятно появление специализированных моделей для веб-разработки, обученных на больших объёмах кода и учитывающих требования методологий вроде БЭМ. Пока же разработчикам рекомендуется комбинировать модели: использовать мощные для сложных частей и более дешёвые для рутинных операций.