Sber AI Lab представила методы SIRIN и AutoJudge для поиска ошибок в мультиагентных ИИ-системах
Команда прикладных исследований Sber AI Lab описала два подхода к контролю надёжности генеративных моделей — SIRIN и AutoJudge. Работы показывают, как задача обнаружения галлюцинаций превращается в более общий контроль цепочек рассуждений и действий ИИ-агентов. По мере перехода LLM от чат-ботов к RAG, памяти и инструментам проверять только финальный ответ становится недостаточно.
Исследователи Sber AI Lab Максим Макаренко и Юлия Беликова представили результаты двух внутренних проектов, посвящённых обнаружению ошибок в сложных системах на основе больших языковых моделей. Речь идёт о подходах SIRIN и AutoJudge, которые развивают методы детекции галлюцинаций применительно к RAG-конвейерам, долговременной памяти и мультиагентным архитектурам. Публикация вышла в корпоративном блоге разработки и адресована инженерам, которые строят промышленные ИИ-продукты. Ключевой тезис авторов состоит в том, что по мере усложнения систем проверка одного лишь финального ответа перестаёт быть достаточной: необходимо понимать, на каком именно шаге рассуждений или вызова инструментов возникла ошибка.
Отправной точкой работы служит пример контекстной галлюцинации, хорошо знакомый всем, кто эксплуатирует RAG. Если в исходном документе сказано, что в исследовании участвовали 120 человек, модель может добавить от себя, что участники были поровну разделены на контрольную и экспериментальную группы. Формально число из контекста воспроизведено верно, но часть утверждения не подтверждается доступными данными, хотя звучит правдоподобно. Авторы подчёркивают различие между фактической правильностью ответа «вообще» и его подтверждённостью тем контекстом, который реально был у системы. Именно вторую задачу решает детекция галлюцинаций, и она становится критичной, когда результат модели автоматически записывается в память, передаётся следующему агенту или влияет на действие системы. В таком контуре детектор превращается в обязательный элемент цепочки «контекст — модель — ответ — проверка — решение о повторе или эскалации».
С технической точки зрения исследователи выделяют три семейства методов. Первое опирается на оценку неопределённости: вероятности токенов, энтропию предсказаний, согласованность нескольких генераций и скрытые состояния модели. Такой подход привлекателен тем, что иногда позволяет обойтись без отдельной модели-проверяющего, однако уверенность не равна корректности: LLM умеет ошибаться с высокой степенью убеждённости, а высокая неопределённость порой означает лишь вариативность формулировок. Второе семейство — зондирование внутренних представлений, при котором поверх скрытых состояний или логитов обучается небольшой классификатор-зонд, отличающий подтверждённые фрагменты от галлюцинаций без изменения весов исходной модели. Если генератор доступен только через API, допускается использование открытой proxy-LLM, которой передают контекст и ответ для воспроизведения, а её внутренние состояния служат основой для обучения детектора.
Третье направление — модели-судьи. Это может быть компактный encoder-классификатор на базе BERT-подобной архитектуры, который получает контекст, вопрос и ответ и возвращает оценку согласованности, либо генеративная модель в схеме LLM-as-a-Judge, способная не только вынести вердикт, но и локализовать проблемный фрагмент с объяснением. Авторы приводят в пример сервис Jev от TypeSafe AI, где модель возвращает вероятности для заданных вариантов решения вместо свободной генерации текста. Encoder-подходы дешевле и компактнее, но требуют размеченных обучающих данных, тогда как судьи на генеративных моделях гибче при дефиците разметки, зато зависят от инструкции, контекста, дороже в эксплуатации и сами подвержены ошибкам. Выбор между ними, по сути, определяется бюджетом, доменом и требованиями к задержке.
Контекст публикации показателен: это не изолированное исследование, а часть общего сдвига отрасли от экспериментов с чат-ботами к промышленной эксплуатации агентных систем. Похожие задачи решают и продуктовые команды, далёкие от фундаментальных исследований: в материалах по теме описаны гибрид подсказок и LLM-классификаторов для нишевого каталога квестов, а также эксперименты с мультимодальными эмбеддингами для поиска по сканам договоров и счетов. Во всех случаях генеративная модель встроена в конвейер, где её вывод становится входом для следующего шага, и цена ошибки измеряется уже не качеством ответа на экране, а корректностью бронирования, найденной страницы документа или действия агента. Именно поэтому детекция галлюцинаций перестаёт быть исследовательской задачей и становится частью рабочего контура надёжности.
Для российского рынка работа важна прежде всего как сигнал зрелости корпоративной повестки: крупный игрок публично описывает не только возможности моделей, но и механизмы контроля их ошибок, что обычно обсуждается внутри команд и редко выносится в открытые материалы. Практическая ценность SIRIN и AutoJudge в том, что они предлагают инженерам конкретные точки встраивания проверок в мультиагентные пайплайны, включая локализацию неподтверждённого фрагмента для выборочной перегенерации и диагностики. Это особенно актуально для проектов, где LLM работает с внутренними документами и корпоративной памятью, а требования к прослеживаемости решений высоки. Вместе с тем универсального признака ошибки не существует, а значит, каждая команда вынуждена калибровать детектор под свой домен и накапливать разметку.
Открытыми остаются вопросы масштабирования таких проверок и их стоимости. Детектор на каждом шаге цепочки увеличивает задержку и расходы на инференс, а качество зондов зависит от выбранной proxy-модели и домена, что затрудняет перенос готовых решений между продуктами. Пока неясно и то, как оценивать надёжность самих мультиагентных систем целиком, а не отдельных ответов, и какие метрики должны лечь в основу отраслевых стандартов контроля. Судя по направлению работ Sber AI Lab, следующий шаг — переход от точечной проверки текста к сквозному аудиту траекторий агентов, где ошибка фиксируется в момент возникновения, а не после того, как она повлияла на итоговое действие системы.