Команда сервиса SP-AI, предназначенного для работы со строительными нормами и правилами (СП и ГОСТ), провела контрольный эксперимент, в котором сравнила точность ответов шести языковых моделей на 100 вопросах, отобранных из примерно 6000 реальных запросов пользователей. Каждый ответ независимо оценили пять LLM-судей по единой рубрике, что дало 3000 оценок. Главный вывод: агентный поисковый контур, построенный поверх генератора DeepSeek V4-Pro, радикально снижает число неподтверждённых ссылок — с 120 до 8 пометок «выдуманная ссылка» по сравнению с работой той же модели без контура. При этом лучшая модель-генералист GPT-5.5 обходит систему только по полноте ответа, но проигрывает по обеим «доказательным» осям — достоверности и проверяемости.

Эксперимент был спровоцирован аргументом, прозвучавшим на защите проекта перед экспертами государственной грантовой программы по ИИ: тезис заключался в том, что нишевый сервис для работы с нормативкой обречён, так как крупнейшие компании вкладывают в свои модели несопоставимо больше ресурсов. Чтобы проверить это утверждение, команда SP-AI собрала 100 вопросов из логов сервиса, пройдя дедупликацию и стратификацию по дисциплине, типу задачи и сложности. В итоге получилось 23 простых, 47 средних и 30 сложных вопросов, часть из которых требует сведения нескольких документов и численного расчёта. Шесть систем включали SP-AI (агентный контур + DeepSeek V4-Pro), DeepSeek V4-Pro соло, GPT-5.5, Claude Opus 4.8, Claude Sonnet 5 и Gemini 3.1 Pro. Важно отметить, что вопросы не генерировались искусственно, а были взяты из реальных запросов почти тысячи пользователей, что обеспечивает высокую практическую значимость результатов.

Ключевое техническое отличие SP-AI от классического RAG (retrieve-then-generate) — это многоступенчатый конвейер, состоящий из планировщика, поискового агента и курации контекста. Планировщик на лёгкой модели DeepSeek V4-Flash разбирает запрос на задачи, решая, куда идти: smalltalk, поиск или сразу ответ. Поисковый агент на той же быстрой голове выбирает инструменты — точечный поиск по номеру пункта, гибридный поиск (BM25 + векторный + терминологический слой), работу с таблицами, навигацию по оглавлению. Найденные фрагменты складываются в общий пул, а курация контекста дотягивает связанные узлы — примечания, ссылки на другие нормы, соседний материал по графу документа. Генератор DeepSeek V4-Pro пишет ответ строго по собранному контексту с принудительным цитированием вида «СП 1.13130.2020 п. 7.13.2». В отличие от классического RAG, где чанки нарезаются без учёта смысловых связей, этот подход позволяет сохранить целостность нормативных документов, которые часто содержат перекрёстные ссылки и сложные иерархии.

Контекст рынка: нормативные документы — сложная область для LLM, так как классический RAG ломается из-за несовпадения минимальной единицы хранения с единицей смысла, потери обязательных связей между пунктами и разрозненности таблиц и терминов. В прошлой статье команда SP-AI уже описывала, почему нормативку пришлось превратить в граф, а не просто загрузить в векторную базу. На этом фоне аргумент о превосходстве крупных моделей кажется убедительным, но эксперимент показывает, что без доменного контура даже фронтир-модели галлюцинируют: 120 выдуманных ссылок у DeepSeek V4-Pro соло против 8 с контуром. При этом GPT-5.5, будучи лучшим генералистом, не смог превзойти систему по достоверности, хотя и показал высокую полноту. Это особенно показательно, учитывая, что GPT-5.5 является одной из самых мощных моделей на рынке, но в узкой предметной области без специализированного поискового слоя она уступает специализированному решению.

Значение для российского рынка ИИ: строительная отрасль сталкивается с огромным объёмом нормативной документации, и автоматизация её проверки — критическая задача. Эксперимент SP-AI демонстрирует, что даже небольшие команды могут создавать эффективные решения, если правильно выстроить архитектуру поиска и генерации. Однако важно отметить, что авторы исследования не утверждают, что их система превосходит все LLM — они лишь показывают, что на одном и том же генераторе агентный контур резко снижает число неподтверждённых ссылок. Это ставит под вопрос тезис о бессмысленности нишевых разработок на фоне гигантских моделей. Для российского рынка, где строительство и проектирование регулируются тысячами документов, такие решения могут существенно сократить время на проверку нормативов и снизить риски ошибок.

Перспективы и открытые вопросы: команда SP-AI признаёт, что сама едва не попала в ловушку методики — наивные средние оценки могли дать ложный вывод о качестве судей. Внутренний тест вскрыл эту проблему, что подчёркивает важность тщательного дизайна эксперимента. Дальнейшее развитие системы, вероятно, будет связано с улучшением планировщика и поискового агента, а также с интеграцией большего числа инструментов для работы с таблицами и расчётами. Остаётся открытым вопрос, насколько масштабируем такой подход для других отраслей с жёсткими нормативами, например для фармацевтики или авиастроения, где цена ошибки ещё выше. Кроме того, в исходных материалах упоминаются новости о китайских оптимизациях нейросетей и успехах DeepSeek, что указывает на общий тренд повышения эффективности ИИ-систем, но не связано напрямую с данным экспериментом. В целом, исследование SP-AI показывает, что правильная архитектура может быть важнее сырой мощности модели, особенно в специализированных областях с высокими требованиями к достоверности.