Специалисты Авито рассказали о модернизации системы рекомендаций на главной странице. Основное изменение затронуло коллаборативную модель avitofm, которая ранее переобучалась раз в шесть часов. Теперь благодаря neartime-подходу обновление происходит каждые двадцать минут, что значительно повышает актуальность выдаваемых рекомендаций. О работе над проектом рассказал Салават Динмухаметов, senior ML-engineer в команде рекомендаций Авито. По его словам, статья будет полезна ML-инженерам и тимлидам, которые строят рекомендательные системы и упираются в проблему свежести: когда модель даёт нормальное качество, но узнаёт о новых айтемах слишком поздно.

Авито ежемесячно посещают 72 миллиона пользователей, а количество активных объявлений достигает 240 миллионов. Рекомендации на главной странице формируют половину всех просмотров и около 30% контактов с продавцами. Страница решает две задачи: exploitation — показ максимально релевантных товаров на основе известного интента пользователя, и exploration — разбавление выдачи товарами, которые могут привлечь внимание, что увеличивает разнообразие ассортимента, новизну и попадание в неочевидные интересы. Модель avitofm отвечает за подбор похожих товаров, генерацию кандидатов и предоставление дополнительного признака для ранжирующей модели. Ранее её обучение занимало много времени, и новые объявления не успевали попадать в рекомендации до того, как теряли актуальность. Как отмечает автор, хорошее объявление на Авито живёт недолго: если товар интересный и цена адекватная, он быстро улетает, а пик CTR приходится на первые часы после публикации.

Архитектурно avitofm представляет собой таблицы эмбеддингов для пользователей и товаров, которые обучаются на кликстриме с использованием скалярного произведения и функции потерь CrossEntropyLoss. Позитив — взвешенный сигнал по действиям пользователя, негативы — sampled, с поправкой на популярность. Пользователя инициализируют как среднее эмбеддингов тех айтемов, с которыми он взаимодействовал. Для нового айтема берётся контентный вектор. Изначально модель обучалась отдельно для каждой комбинации из 52 категорий и 85 регионов, что давало 4420 моделей. Это создавало проблемы с дублированием эмбеддингов, усложняло поддержку и приводило к неэффективному использованию GPU. Для ускорения была разработана инкрементальная модель, которая дообучается на свежих событиях, обновляя лишь малую часть таблицы эмбеддингов. Это дало прирост Recall@K на 6% и увеличение контактов на 1% в A/B-тесте. Однако поддержка двух моделей усложнила инфраструктуру.

На смену гибридному подходу пришла единая neartime-модель, которая объединяет батчевое и инкрементальное обучение. Теперь модель обновляется каждые 20 минут, что позволяет быстро реагировать на появление новых объявлений и изменения в поведении пользователей. Это особенно важно для Авито, где хорошие товары раскупаются быстро, и пик CTR приходится на первые часы после публикации. Ускорение обучения также снизило нагрузку на память и вычислительные ресурсы. По сравнению с альтернативными подходами, например, с потоковой обработкой или полностью онлайн-обучением, neartime-архитектура предлагает баланс между качеством и затратами. Она не требует постоянного переобучения с нуля, но и не настолько ресурсоёмка, как онлайн-методы. В то же время остаются открытые вопросы: как масштабировать решение на другие продукты Авито, как обеспечить стабильность при частых обновлениях и не приведёт ли дальнейшее сокращение интервала к избыточной нагрузке. Команда продолжает исследовать эти направления.

Для российского рынка рекомендательных систем этот кейс показателен: он демонстрирует переход от громоздких батчевых архитектур к более гибким neartime-решениям. В условиях высокой конкуренции за внимание пользователей скорость адаптации становится критическим фактором. Опыт Авито может быть полезен другим крупным платформам, сталкивающимся с проблемой устаревания рекомендаций. Кроме того, это подтверждает тренд на оптимизацию ML-инфраструктуры с акцентом на свежесть данных. Важно отметить, что рекомендации на главной Авито формируют половину всех просмотров и около 30% контактов с продавцами, поэтому даже небольшое улучшение качества модели напрямую влияет на бизнес-показатели. Внедрение neartime-подхода позволило не только ускорить обновление, но и повысить релевантность выдачи, что в конечном счёте улучшает пользовательский опыт и увеличивает количество успешных сделок.

В перспективе можно ожидать дальнейшего сокращения времени обновления и расширения применения neartime-подхода на другие модели рекомендаций. Уже сейчас очевидно, что выбранная стратегия улучшает пользовательский опыт и бизнес-показатели. Однако переход к более частым обновлениям требует тщательного мониторинга и настройки, чтобы избежать деградации качества из-за шума в данных. Опыт Авито станет важным ориентиром для индустрии, а детали реализации могут быть востребованы в сообществе ML-инженеров. Остаётся открытым вопрос, насколько применим этот подход в других доменах, где структура данных и поведение пользователей отличаются от классифайда. Тем не менее, кейс Авито наглядно показывает, что инвестиции в свежесть данных и оптимизацию инфраструктуры окупаются улучшением ключевых метрик.

Стоит добавить, что проблема свежести рекомендаций особенно остро стоит для российских сервисов объявлений и маркетплейсов, где конкуренция за внимание пользователя высока, а жизненный цикл товара может быть очень коротким. В отличие от многих зарубежных платформ, которые часто полагаются на полностью онлайн-обучение или редкие батчевые переобучения, Авито выбрал промежуточный neartime-вариант, что позволяет балансировать между качеством и стоимостью инфраструктуры. Этот подход может стать ориентиром для других отечественных компаний, которые ищут способы повысить релевантность без кратного роста затрат на GPU. Кроме того, успех проекта подтверждает, что даже в условиях санкционных ограничений и дефицита вычислительных ресурсов российские команды способны находить эффективные архитектурные решения. Открытым остаётся вопрос, как быстро подобные практики распространятся на другие продукты Авито и за его пределами, но уже сейчас ясно, что инвестиции в свежесть данных дают измеримый бизнес-эффект.