Итоги VK Lab 2019

Уже 3 месяца прошло с тех пор, как открылась наша Лаборатория. В конце каждого квартала мы ВКонтакте подводим итоги: делимся открытиями, неудачами и сверяем курс. Эту практику решили использовать и здесь. Рассказываем, над чем сейчас работают пятеро наших лаборантов, которые взялись за исследовательские задачи.

Ещё сильнее уменьшаем модель обработки естественного языка

Артём Чумаченко пробует сделать качественную, но очень лёгкую модель обработки естественного языка, объединив проверенные методы уменьшения моделей, например knowledge distillation. Получившаяся модель пригодится для мобильных устройств, где важен каждый мегабайт.

Ищем уязвимое место в моделях генерации текста

SOTA-модели, которые основаны на архитектуре трансформера, склонны к дегенерации текста — частому повторению одинаковых словосочетаний внутри одной последовательности. Мы, например, замечаем это в автоматических ответах в Поддержке (о них рассказывали на конференции, можно посмотреть).

С дегенерацией борются разными способами, но ни один из них не связан с архитектурой модели. Евгений Лагутин пробует найти уязвимое место именно в ней.

Обучаем языковые модели с учётом сложности данных

Кирилл Талалаев работает над подходами curriculum learning к обучению языковых моделей. Существующие методы никак не используют различия в сложности данных. Идея Кирилла основана на том, как узнаёт язык человек: сначала самые простые слова и конструкции, затем — более сложные и разнообразные. Кирилл предполагает, что такой подход может улучшить качество моделей и ускорить их обучение — и это подтверждают первые эксперименты, которые он провёл.

Перестраиваем векторные представления вершин графов быстрее и без потери качества

Михаил Макаров работает над векторными представлениями вершин графов — в частности теми, которые меняются с течением времени. Он ищет способ, при котором после каждого изменения представления вершин будут перестраиваться быстрее, чем если строить их с нуля, но не потеряют в качестве. Сложность этой задачи ещё и в том, что рассматриваемые графы очень большие, а существующие методы — медленные.

Используем глубокое обучение в рекомендациях

Недавно вышла статья со сравнением рекомендательных моделей. Вывод неожиданный: только один из 12 deep-методов оказался лучше известных линейных подходов. Олег Лашинин хочет исправить ситуацию — и предполагает, что это возможно, если адаптировать к задаче рекомендаций самые перспективные идеи из других областей машинного обучения.

VK Lab — эксперимент, в который мы очень верим. Ведь студенты проводят исследования, которые, мы надеемся, не только пригодятся ВКонтакте, но и станут шагом вперёд для технологий машинного обучения. Мы и дальше будем рассказывать о том, как продвигается работа, и делиться результатами — следите за новостями в 2020 году.

Источник: m.vk.com

Комментарии: