Cloud.ru выложил в открытый доступ исходный код Guardrails Filter — обратного прокси-сервера, который выступает промежуточным звеном между клиентскими приложениями и провайдерами языковых моделей. Инструмент предназначен для автоматического обнаружения и маскировки чувствительных данных, таких как имена, адреса, номера телефонов, банковские реквизиты и API-ключи, в запросах к LLM, а затем восстанавливает исходные значения в ответах. По словам разработчиков, решение уже используется в платформе Evolution Foundation Models, но теперь доступно всем желающим через репозитории на GitHub и GitVerse. Проблема утечки персональных данных через языковые модели становится всё более острой, поскольку пользователи часто отправляют в популярные LLM логи чатов, тексты договоров, медицинские данные и другую конфиденциальную информацию. Cloud.ru отмечает, что полагаться на сознательность пользователей и их готовность вручную очищать запросы — неинженерный подход, поэтому компания решила создать автоматизированное решение. Изначально Guardrails Filter разрабатывался для внутренних нужд платформы, чтобы гарантировать клиентам, что их данные не осядут за пределами защищённого контура. Особенно это актуально для банков, страховщиков и e-commerce, которые требуют, чтобы информация не покидала даже внутреннее облако компании.

Технически Guardrails Filter представляет собой прокси-сервер, который перехватывает запросы к LLM и применяет к ним около 260 встроенных правил детекции. Правила основаны на регулярных выражениях и проверках контрольных сумм, что позволяет отсеивать случайные совпадения. Найденные чувствительные данные заменяются временными заглушками, такими как <EMAIL_1>, а исходные значения хранятся в оперативной памяти, Redis или PostgreSQL с возможностью шифрования. Разработчики подчёркивают, что процесс маскировки занимает микросекунды и не требует значительных вычислительных ресурсов — достаточно одного ядра CPU и 1 ГБ оперативной памяти, поскольку в операции не задействован машинный инференс. Одной из ключевых особенностей инструмента является поддержка стриминга — ответы модели могут приходить частями, но Guardrails Filter корректно восстанавливает исходные данные даже в этом режиме. Также реализована обработка tool-call, когда модель обращается к внешним функциям, например, читает переменные окружения. Для продвинутых администраторов предусмотрена версия на основе Envoy, позволяющая централизованно применять правила фильтрации ко всему трафику через ext_proc-сайдкар. Кроме того, в инструменте есть веб-консоль для мониторинга срабатываний, создания пользовательских правил и тестирования в песочнице, а также режим Ghost Mode, который позволяет проверить детекцию без включения маскировки.

Решение Cloud.ru выходит на рынок, где уже существуют аналогичные продукты, такие как Guardrails от Nvidia или Purplesharp, но большинство из них являются коммерческими и требуют подписки. Разработчики объясняют решение открыть исходный код желанием принести пользу сообществу и клиентам, которые не хотят привязываться к платформе Cloud.ru. При этом они признают, что базовая реализация детекции и маскировки не является сложной инженерной задачей, а настоящие трудности связаны с мутацией запросов-ответов без нарушения структуры взаимодействия LLM с приложениями. Открытый код позволяет любому разработчику адаптировать инструмент под свои нужды, а также внести вклад в его развитие. Для российского рынка появление такого инструмента особенно актуально в условиях растущих требований к защите персональных данных и ужесточения законодательства. Многие компании, особенно в финансовом и государственном секторах, сталкиваются с необходимостью использовать LLM, но опасаются утечек через внешние сервисы. Guardrails Filter позволяет организовать безопасный шлюз для работы с любыми моделями, включая зарубежные, при этом данные остаются внутри контура организации. Кроме того, открытый исходный код даёт возможность провести аудит безопасности решения и убедиться в отсутствии скрытых уязвимостей, что критично для корпоративных клиентов.

В перспективе Cloud.ru планирует развивать Guardrails Filter как полноценный продукт с поддержкой дополнительных типов данных и интеграцией с другими инструментами безопасности. Однако уже сейчас решение можно использовать в production-среде, о чём свидетельствует его эксплуатация на платформе Evolution Foundation Models. Разработчики приглашают сообщество к сотрудничеству и обещают оперативно реагировать на pull request'ы и сообщения об ошибках. Вопросы остаются только в скорости адаптации инструмента крупными компаниями и его совместимости с различными LLM-провайдерами, но базовая архитектура позволяет легко расширять функциональность под конкретные требования. Интересно, что Cloud.ru решил открыть код, несмотря на наличие коммерческих аналогов, подчеркивая, что создание базового механизма детекции и маскировки — не rocket science, а истинная сложность кроется в поддержке стриминга и tool-call. Это делает решение особенно ценным для разработчиков, которые хотят быстро внедрить защиту без привязки к вендору. На данный момент инструмент поддерживает любые LLM-провайдеры, а его архитектура на Go и Envoy позволяет гибко настраивать правила под специфику бизнеса.

Однако остаются открытые вопросы: насколько быстро крупные компании, особенно в регулируемых отраслях, адаптируют опенсорс-решение вместо покупки коммерческих аналогов с поддержкой? Cloud.ru обещает развивать Guardrails Filter, но пока не раскрывает дорожную карту по поддержке новых типов данных, например, биометрических или геолокационных. Также неясно, будет ли инструмент сертифицирован по стандартам ФСТЭК для использования в госсекторе. Тем не менее, сам факт появления отечественного опенсорс-решения для защиты данных при работе с LLM — значимый шаг для российского рынка ИИ. В условиях, когда зарубежные вендоры уходят, а требования к безопасности растут, такие инструменты становятся критически важными. Cloud.ru демонстрирует, что даже облачный провайдер может делиться наработками, не боясь потерять конкурентное преимущество, а наоборот, укрепляя доверие сообщества и клиентов. Возможно, это начало тренда на открытие кода в российском AI-секторе, что ускорит развитие безопасных LLM-приложений в стране.