Исследователи из «Сбера», Института искусственного интеллекта AIRI, Университета Иннополис и Университета ИТМО представили способ перенести глубокие семантические знания из больших языковых моделей в компактные рекомендательные системы.

Как объясняют ученые, рекомендательные системы на последовательностях хорошо понимают временные цепочки действий, но хуже истинные предпочтения, особенно если данных о человеке мало. LLM умеют восстанавливать скрытые смыслы, но запрос к ним может длиться больше десяти минут.

Исследователи предложили на этапе обучения формировать профиль пользователя по истории взаимодействий и текстовым метаданным. После этого профиль превращается в вектор, с которым выравниваются внутренние представления самой рекомендательной модели. Поэтому на этапе выдачи рекомендации реальному человеку ресурсоемкая модель уже не требуется.

«Наш подход берет у «профессора» самое ценное — понимание глубинных мотивов пользователя — и передает это быстрому и легкому «ассистенту». В итоге человек получает более точные рекомендации без задержек, а бизнес — масштабируемое решение без лишних расходов на инференс», — сказал директор Центра практического искусственного интеллекта Сбербанка Николай Тиден.

Как утверждают разработчики, добавление LLM-дистилляции к моделям SASRec и BERT4Rec дало прирост качества. Так, на датасете ML-20M точность NDCG@10 выросла на 5,62%, а полнота Recall@10 — на 4,74%. Время на создание рекомендаций снизилась в 190 раз, с 840 секунд до 4,37 секунды по сравнению с методом IDGenRec на основе LLM.