Исследователи «Яндекса» предложили скорректировать формулу LogQ, которая используется при обучении ИИ-моделей рекомендательных систем. Благодаря ей учитывается популярность объекта — товара, контента или рекламного объявления.

Рекомендательные системы обучаются на положительных и отрицательных примерах. Для экономии вычислительных ресурсов применяется алгоритм выборочного сэмплирования (sampled softmax), который позволяет снизить число необходимых примеров. Но он не всегда корректно учитывает влияние популярности объекта на частоту его попадания в набор. Чтобы снизить этот эффект, применяется формула пересчета вероятностей LogQ.

В «Яндексе» обнаружили, что LogQ не учитывает различий между позитивными и негативными примерами и ошибочно считает, что они выбираются из наборов данных случайным образом. Исследователи изменили формулу так, чтобы она корректно применялась к разным типам примеров в процессе обучения ИИ-системы.

Команда провела внутреннее тестирование в «Яндексе». Новый подход, как утверждается, повысил точность рекомендаций в среднем на 7% по показателям качества ранжирования. Компания планирует использовать этот подход при обучении рекомендательных моделей собственных сервисов, в частности «Маркета».