Смысл.ИИ: агентный RAG на JVM для корпоративных документов
Разработчик Егор Гурин представил архитектуру B2B-системы Смысл.ИИ (smysl.ai), которая отвечает на вопросы сотрудников по внутренним документам компании с указанием источников. Проект построен на Kotlin и Spring Boot с использованием LangChain4j и Apache Doris и демонстрирует, как агентный RAG выглядит в реальном продукте на JVM, а не в учебных примерах на Python.
В серии публикаций автор разбирает устройство работающей B2B-системы Смысл.ИИ, предназначенной для поиска ответов по корпоративному корпусу документов. Сотрудник задаёт вопрос в чате, а система возвращает ответ, опирающийся на внутренние материалы компании, и указывает, из каких именно файлов взяты факты. Первая статья серии посвящена обзору архитектуры, тогда как детали конвейера обработки документов и работа агента будут раскрыты в следующих материалах. Исходный код проекта закрыт, а демонстрационный доступ публично не раздаётся, поэтому автор сопровождает текст скриншотами и при необходимости коротким видео.
Задача продукта сформулирована узко и прагматично: в средних и крупных компаниях накапливается значительный объём внутренних документов, но получить из них ответ на конкретный вопрос часто долго, поскольку приходится обходить папки и файловые хранилища или уточнять у коллег. Отдельная проблема связана с изоляцией данных: фрагменты или целые файлы нередко отправляют во внешний чат вроде ChatGPT «просто проанализировать», и корпус оказывается вне контура компании. В Смысл.ИИ библиотека хранится в инфраструктуре системы, а в LLM уходят только найденные фрагменты, то есть чанки или страницы, а не весь корпус целиком. За рамками продукта остаются LMS, замена всей базы знаний и платформа агентов.
С технической точки зрения система разделена на два бэкенд-сервиса на Kotlin и Spring Boot. Сервис data-processor отвечает за загрузку и обработку документов, а assistant на базе LangChain4j ведёт чат, управляет агентом и выполняет поиск. Такое разграничение объясняется разной ответственностью и характером нагрузки: один сервис тянет тяжёлую обработку файлов, другой обслуживает диалог, вызовы инструментов и генерацию ответа, что упрощает независимое развитие AI-контура и конвейера документов. Фронтенд написан на React, а инфраструктура включает Docling для парсинга и нарезки на чанки, Apache Doris и PostgreSQL, Keycloak для аутентификации, Caddy в роли прокси, объектное S3-совместимое хранилище и внешний LLM API. Демо-контур размещён в VK Cloud.
Ключевое отличие от классического RAG состоит в том, что поиск может идти в несколько раундов. Обычный подход нередко сводится к одному проходу retrieval, после которого всё найденное отправляется в контекст и модель формулирует ответ. Здесь у LLM есть инструменты: агент может уточнить запрос или добрать фрагменты, а затем сформировать ответ со ссылками на источники. Для хранения выбран Apache Doris, объединяющий full-text и semantic-поиск в одном хранилище без связки отдельного поисковика и векторной базы. Автор отмечает, что у Qdrant тоже есть оба режима, но для продукта важнее единый контур под гибридный поиск и запас по нагрузке, а не превосходство на чистом ANN, где специализированные векторные базы часто сильнее. Генерацию ответа крутит один инстанс assistant, а SSE-подключение клиента может прийти на другой, поэтому токены передаются через Valkey Streams и читаются с того инстанса, который держит соединение. Сервисы собраны в GraalVM Native Image: это ускоряет старт и снижает overhead, хотя сборка занимает больше времени. Система обрабатывает PDF, DOCX, TXT, MD и HTML.
Контекст проекта показателен для рынка: в вакансиях и туториалах вокруг RAG и AI-агентов чаще всего фигурирует Python, а на JVM экосистема тоже существует, включая LangChain4j, Spring AI и другие инструменты, но живых разборов того, как это выглядит в продукте, заметно меньше. Публикация Смысл.ИИ частично закрывает этот пробел и показывает, что стек Kotlin и Spring Boot пригоден для построения агентных сценариев с инструментами и потоковой передачей токенов. Для российского рынка такой опыт важен ещё и потому, что демо развёрнуто в VK Cloud, а LLM подключается по API: в текущей конфигурации используется внешний провайдер, но тот же контур можно нацелить на модель в своём облаке или on-prem при наличии совместимой точки доступа. Это отвечает запросу компаний на удержание корпоративных данных внутри контролируемой инфраструктуры.
По ходу реализации автор находил ограничения и баги зависимостей, что вылилось в issues и pull requests в open source, хотя конкретный перечень в исходном материале не раскрывается. Такой вклад косвенно подтверждает зрелость выбранного стека и одновременно указывает на его слабые места, с которыми сталкиваются разработчики за пределами Python-экосистемы. Сравнение с альтернативами напрашивается по двум осям: архитектуре поиска и модели развёртывания. Гибридный поиск в едином хранилище упрощает эксплуатацию, но требует проверки на больших корпусах, а внешний LLM API удобен для старта, однако чувствительные данные всё же покидают контур в виде фрагментов, что для части заказчиков может стать ограничением. Полностью локальный вариант снимает этот вопрос, но повышает требования к инфраструктуре и квалификации команды.
Дальше автор планирует ещё две статьи: подробный разбор конвейера обработки документов от Docling через стадии до индекса в Doris и описание агента с инструментами, поиском по корпусу, ответом с указанием источников и потоковой передачей токенов. Открытыми остаются вопросы масштабирования на корпусах реальных заказчиков, оценка качества ответов и стоимость инференса при многократных раундах поиска. Тем не менее опубликованный обзор уже даёт инженерам на JVM конкретный ориентир: как разделить сервисы, выбрать хранилище и организовать агентный цикл, не копируя при этом чужие формулировки и не выдавая демонстрационные данные вымышленной компании за реальные.