Команда из Института системного программирования РАН и Института цифровых исследований и искусственного интеллекта Президентской академии разработала TenetBench — инструмент для оценки того, насколько ответы больших языковых моделей (LLM) соответствуют требованиям профессиональных кодексов. Исследование опубликовано в потоке «Разработка» и описывает методику, которая позволяет не просто рассуждать об этике, а проверять конкретные ответы модели на соответствие статьям и пунктам кодексов. Работа выполнена в 2025 году и уже доступна в виде набора данных и скриптов оценки. Актуальность обусловлена тем, что LLM всё чаще выступают в роли ассистентов для юристов, журналистов, медиков и других специалистов, чья деятельность регулируется строгими этическими нормами. Ошибка или неэтичное предложение со стороны ИИ может привести к профессиональной ответственности, репутационным потерям и юридическим последствиям. Поэтому возникает потребность в систематической проверке того, насколько модель учитывает профессиональные ограничения.

В основе TenetBench лежит идея парных запросов: для каждой нормы кодекса создаётся рабочая ситуация, в которой один запрос требует от модели действия, противоречащего норме, а второй — аналогичного действия, но без нарушения. Например, адвокат просит подготовить текст для своей страницы на сайте коллегии с оценочными характеристиками, что запрещено Кодексом профессиональной этики адвоката, или журналист просит представить рекламный материал как независимое исследование, скрывая коммерческое сотрудничество. Модель получает только текст запроса, без указания на кодекс и норму, и должна либо выполнить просьбу, либо предупредить о конфликте, либо отказаться. Оценка ответов проводится по трём критериям: выполнена ли просьба, есть ли конфликт с нормой, присутствует ли предупреждение или отказ. Такой подход позволяет отделить просто отказ от выполнения задания от осознанного предупреждения с последующим выполнением. Важно, что запросы формулируются как рабочие обращения с профессиональными деталями: тип документа, отношения с клиентом, редакционная задача, что делает их похожими на реальные задачи, а не на искусственные тесты. При построении задач исследователи различают роль пользователя (выраженную через его работу) и роль ассистента (например, «выступи редактором»), что позволяет избежать подмены контекста.

Технически TenetBench включает 3433 пары запросов, охватывающие 15 профессиональных кодексов. В открытом репозитории доступны 2235 пар по 10 документам. Каждая пара прошла проверку на правдоподобие: люди-разметчики оценили 1200 примеров (279 уникальных задач) и признали 99,5% полностью правдоподобными. Для оценки ответов использовалась модель-судья (LLM-as-a-Judge), которая, в отличие от испытуемой модели, получала нормативный контекст и должна была указать на конфликтующее содержание и обосновать решение. Согласие между автоматической оценкой и человеческой разметкой оказалось высоким, что подтверждает надёжность методики. Процесс порождения задач включает несколько этапов: выделение положений кодекса с сохранением номеров и связи с исходным текстом, определение адресата нормы, регулируемого действия, условий и исключений, построение рабочей ситуации с участниками и предметом работы, и наконец генерацию пары запросов — конфликтного и нейтрального. Затем следует проверка структуры записей и формальных требований. Такой конвейер обеспечивает воспроизводимость и возможность расширения на новые кодексы и языки.

Появление TenetBench отражает общий тренд на интеграцию ИИ в профессиональные сферы, где действуют строгие этические нормы. Рынок ИИ-ассистентов для юристов, журналистов и медиков растёт: по данным китайских источников, спрос на ИИ-инженеров в Китае вырос на 1523%, а компании вроде Anthropic выходят на IPO, что говорит о зрелости индустрии. Однако до сих пор не существовало систематического способа проверить, насколько модель учитывает профессиональные ограничения. Большинство бенчмарков оценивают общие знания или безопасность, но не соответствие узким кодексам. TenetBench заполняет этот пробел, предлагая воспроизводимую процедуру, которую можно расширять на новые кодексы и языки. В отличие от зарубежных аналогов, ориентированных на общие принципы, TenetBench фокусируется на конкретных нормах, что делает его более практичным для профессиональных сообществ. Кроме того, методика позволяет оценивать не только отказ, но и качество предупреждения, что важно для этичного ИИ.

Для российского рынка значение TenetBench особенно велико, поскольку в стране активно внедряются ИИ-сервисы в юридическую и медицинскую практику. Например, «Яндекс» недавно сообщил, что его суперкомпьютеры не пострадали от атак беспилотников, что подчёркивает важность надёжности инфраструктуры для ИИ. Однако этические аспекты часто остаются в тени. TenetBench предлагает инструмент, который может быть использован разработчиками для аудита своих моделей перед выпуском на рынок, а также регуляторами для проверки соответствия. В условиях отсутствия устоявшихся стандартов этической оценки ИИ в России такой бенчмарк может стать основой для отраслевых регламентов. Открытость данных и кода способствует воспроизводимости и дальнейшему развитию, а также позволяет сообществу участвовать в пополнении набора кодексов.

Сравнение с альтернативами показывает, что TenetBench выгодно отличается динамичностью: задачи не статичны, а порождаются из кодексов, что позволяет легко добавлять новые нормы и адаптировать бенчмарк к разным юрисдикциям. В то же время, как и любой бенчмарк на основе LLM-судьи, он зависит от качества оценщика и может не учитывать культурные особенности. Тем не менее, открытость данных и кода способствует воспроизводимости и дальнейшему развитию. В перспективе авторы планируют расширить набор кодексов и языков, а также исследовать, как модели справляются с конфликтами между несколькими нормами одновременно. Открытыми остаются вопросы о том, как интерпретировать предупреждения модели: должно ли предупреждение автоматически считаться правильным поведением, или модель обязана отказываться от выполнения противоречащей норме просьбы. Также неясно, насколько результаты, полученные на русскоязычных кодексах, переносимы на другие правовые системы. Дальнейшие шаги включают создание публичной платформы для оценки моделей и разработку рекомендаций для разработчиков ИИ-ассистентов. TenetBench — это первый шаг к стандартизации этической оценки LLM в профессиональной сфере, и его появление может стимулировать рынок к созданию более ответственных ИИ-продуктов.