From Variability to Stability: Advancing RecSys Benchmarking Practices | Proceedings of the 30th ACM

Алексей Зайцев, старший преподаватель Сколтеха и руководитель совместной со Сбером лаборатории LARSS, 27 августа выступил с устным докладом и принял участие в постерной сессии на престижной конференции KDD 2024 (Knowledge Discovery and Data Mining) в Барселоне — одной из ведущих международных конференций в области анализа данных и машинного обучения с рангом А* по классификации CORE. В этом году Алексей был единственным представителем Сколтеха на мероприятии.

О чем доклад:

Статья, соавторами которой являются инженеры-исследователи нашего центра Валерий Шевченко, Никита Белоусов и Владимир Жолобов, а также коллеги из подразделений ПАО «СберБанк» Sber AI и Sber AI Lab, посвящена новой методологии бенчмаркинга, которая позволяет объективно и надежно сравнивать алгоритмы рекомендательных систем (RecSys). Проблема заключается в том, что новые алгоритмы часто демонстрируют передовые результаты на ограниченном наборе случайных данных. Однако такой подход не всегда корректно отражает их эффективность, так как характеристики данных сильно влияют на производительность алгоритмов.

Методология:

Используя разнообразный набор из 30 открытых датасетов, включая два новых, предложенных в данной работе, и оценивая 11 алгоритмов коллаборативной фильтрации по 9 метрикам, команда авторов исследовала влияние характеристик данных на производительность алгоритмов. В ходе работы также изучалась возможность объединения результатов с нескольких датасетов в единый рейтинг. Эксперименты подтвердили надежность предложенного подхода, который сочетает качество и вычислительную эффективность, предлагая продвинутый способ оценки алгоритмов RecSys. Это может существенно улучшить процессы дальнейших исследований и внедрения технологий рекомендательных систем. Кроме того, было выделено 6 выборок из 30, тестирование на которых показывает результаты, похожие на результаты полномасштабных экспериментов.

Источник: dl.acm.org

Комментарии: