Традиционный подход к инференсу больших языковых моделей (LLM) предполагает использование монолитной архитектуры, где все этапы обработки выполняются в рамках единого процесса. Такой метод сталкивается с проблемами неэффективного использования ресурсов, поскольку префилл и декодирование имеют принципиально разные требования к оборудованию. Префилл требует высокой вычислительной мощности, в то время как декодирование критически зависит от пропускной способности памяти. Эта диспропорция приводит к тому, что дорогостоящие GPU-ресурсы используются неэффективно, что особенно критично для компаний с ограниченным бюджетом на оборудование.

Дезагрегированный инференс предлагает решение этой проблемы, разделяя процесс на три независимых этапа: префилл, декодирование и маршрутизацию. Каждый этап работает как отдельный сервис, что позволяет оптимально распределять ресурсы и масштабировать компоненты независимо друг от друга. Например, префилл-воркеры могут использовать GPU с акцентом на вычислительную мощность, тогда как воркеры декодирования требуют GPU с большим объёмом быстрой памяти. Такое разделение напоминает микросервисную архитектуру в веб-разработке, но адаптированную под специфические требования машинного обучения. Подобный подход уже доказал свою эффективность в системах NVIDIA Dynamo и llm-d, где он позволил значительно повысить общую загрузку оборудования.

Реализация дезагрегированного инференса в Kubernetes требует особого подхода к планированию ресурсов. Ключевое значение имеет gang-планирование, которое гарантирует атомарное развёртывание групп подов, необходимых для работы каждого этапа. Это особенно важно для обеспечения согласованности работы компонентов, таких как группы тензорного параллелизма в декодировании. Планировщик должен учитывать топологию кластера, размещая тесно связанные поды на узлах с высокоскоростными соединениями типа NVLink. Современные инструменты оркестрации, такие как KubeRay или Volcano, предоставляют необходимый функционал для таких сложных сценариев развёртывания, но требуют глубокой настройки под конкретные задачи инференса LLM.

Технические преимущества дезагрегированной архитектуры включают повышение общей загрузки GPU и возможность адаптации к изменяющимся нагрузкам. Префилл-воркеры могут масштабироваться независимо для обработки всплесков запросов, в то время как декодирование поддерживает стабильный поток генерации токенов. Это особенно важно для сервисов с неравномерной нагрузкой, где традиционные монолитные решения либо простаивают, либо не справляются с пиками запросов. Кроме того, разделение этапов позволяет использовать специализированное оборудование для каждой задачи, что может снизить общую стоимость владения инфраструктурой на 20-30% по сравнению с традиционными подходами.

Для российского рынка переход к дезагрегированному инференсу представляет особый интерес. В условиях санкционных ограничений и сложностей с доступом к современным GPU, оптимизация использования имеющихся ресурсов становится критически важной. Российские компании, такие как VK Cloud и СберТех, уже экспериментируют с подобными архитектурами, адаптируя западные наработки под местные реалии. Однако успешное внедрение требует не только технической экспертизы, но и изменения подходов к мониторингу и управлению кластерами, что может стать серьёзным вызовом для многих команд.

Перспективы развития дезагрегированного инференса связаны с дальнейшей оптимизацией взаимодействия между компонентами и улучшением инструментов оркестрации. Открытым остаётся вопрос балансировки нагрузки между этапами при резких изменениях в характере запросов. Также требуют решения проблемы задержек при передаче данных между сервисами, особенно для моделей с большим контекстом. Тем не менее, этот подход уже доказал свою эффективность и, вероятно, станет стандартом для развёртывания LLM в ближайшие годы, особенно для крупных проектов с высокой нагрузкой и строгими требованиями к эффективности использования ресурсов.