Встречайте ARGUS: Масштабируемая ИИ-платформа для обучения больших рекомендательных трансформеров до одного миллиарда параметров
Yandex представил ARGUS (AutoRegressive Generative User Sequential modeling) — масштабируемую платформу на основе трансформеров для рекомендательных систем, способную работать с одним миллиардом параметров. Этот прорыв ставит Yandex в ряд мировых технологических лидеров, таких как Google, Netflix и Meta, которые успешно преодолели давние технические барьеры в масштабировании рекомендательных трансформеров.
Преодоление технических барьеров в рекомендательных системах
Рекомендательные системы сталкиваются с тремя основными ограничениями: краткосрочная память, ограниченная масштабируемость и плохая адаптация к изменяющемуся поведению пользователей. Традиционные архитектуры часто сокращают истории пользователей до небольшого окна недавних взаимодействий, теряя ценную информацию о поведении. В результате мы получаем ограниченное представление о намерениях пользователей, которое не учитывает долгосрочные привычки, тонкие изменения вкуса и сезонные циклы. Когда каталоги расширяются до миллиардов товаров, такие укороченные модели теряют точность и не справляются с вычислительными требованиями персонализации на большом масштабе. Итог — устаревшие рекомендации, низкая вовлеченность и меньше возможностей для неожиданных открытий.
Лишь немногие компании смогли успешно масштабировать рекомендательные трансформеры за пределы экспериментальных настроек. Google, Netflix и Meta значительно инвестировали в эту область, сообщая о достижениях с помощью архитектур, таких как YouTubeDNN и PinnerFormer. С ARGUS Yandex присоединяется к этой избранной группе, демонстрируя модели с миллиардом параметров в реальных сервисах. Моделируя полные временные линии поведения, система выявляет как очевидные, так и скрытые корреляции в активности пользователей. Этот долгосрочный подход позволяет ARGUS более точно улавливать эволюцию намерений и циклические паттерны.
Технические инновации ARGUS
Платформа вводит несколько ключевых нововведений:
- Дуальная предобучающая задача: ARGUS разделяет авторегрессионное обучение на две подзадачи — предсказание следующего элемента и предсказание обратной связи, что улучшает как имитацию исторического поведения системы, так и моделирование истинных предпочтений пользователей.
- Масштабируемые трансформерные кодеры: Модели могут масштабироваться от 3,2 миллионов до 1 миллиарда параметров с постоянным улучшением производительности по всем метрикам. На уровне в миллиард параметров прирост точности парного сравнения увеличился на 2,66%, что демонстрирует появление закона масштабирования для рекомендательных трансформеров.
- Расширенное моделирование контекста: ARGUS может обрабатывать истории пользователей длиной до 8192 взаимодействий за один проход, что позволяет персонализировать рекомендации на месяцы вперед, а не только на основе последних кликов.
- Эффективная донастройка: Архитектура с двумя башнями позволяет выполнять оффлайн-вычисления эмбеддингов и масштабируемое развертывание, что снижает затраты на вывод по сравнению с предыдущими моделями.
Практическое применение и измеренные результаты
ARGUS уже внедрён на музыкальной платформе Yandex, обслуживая миллионы пользователей. В производственных A/B тестах система достигла:
- +2,26% увеличения общего времени прослушивания (TLT)
- +6,37% увеличения вероятности «нравится»
Эти улучшения представляют собой крупнейшие зарегистрированные повышения качества на платформе для любой модели рекомендательной системы на основе глубокого обучения.
Будущие направления
Исследователи Yandex планируют расширить ARGUS для задач рекомендаций в реальном времени, исследовать инженерные особенности для парного ранжирования и адаптировать платформу к областям с высокой кардинальностью, таким как крупные электронные коммерческие и видео платформы. Доказанная способность масштабировать моделирование последовательностей пользователей с помощью архитектур трансформеров указывает на то, что рекомендательные системы готовы следовать траектории масштабирования, аналогичной обработке естественного языка.
Заключение
С ARGUS Yandex утвердился как глобальный лидер в развитии современных рекомендательных систем. Открыто делясь своими достижениями, компания не только улучшает персонализацию в своих сервисах, но и ускоряет эволюцию технологий рекомендаций в отрасли.
