Как работает ранжирование Яндекса?

Как работает ранжирование Яндекса?

Матрикснет

В 2009 году Яндекс внедрил новый метод машинного обучения - Матрикснет. Важная особенность этого метода - в том, что он устойчив к переобучению. Это позволяет учитывать очень много факторов ранжирования - и при этом не увеличивать количество оценок асессоров и не опасаться, что машина найдет несуществующие закономерности. Матрикснет - это метод машинного обучения, с помощью которого строится формула ранжирования Яндекса.

С помощью Матрикснета можно построить очень длинную и сложную формулу ранжирования, которая учитывает множество различных факторов и их комбинаций. Другие методы машинного обучения позволяют либо строить более простые формулы с меньшим количеством факторов, либо нуждаются в большей обучающей выборке. Матрикснет строит формулу с десятками тысяч коэффициентов. Это позволяет сделать существенно более точный поиск.

Ещё одна важная особенность Матрикснета - в том, что формулу ранжирования можно настраивать отдельно для достаточно узких классов запросов.

Например, улучшить качество поиска только по запросам про музыку. При этом ранжирование по остальным классам запросов не ухудшится. Для примера можно представить себе формулу ранжирования в виде сложного механизма с большим количеством ручек. На механизмах, построенных по другим технологиям, каждая ручка влияет на все запросы. Матрикснет даёт возможность настроить каждую ручку отдельно для своего класса запросов.

Кроме того, Матрикснет автоматически выбирает разную чувствительность для разных диапазонов значений факторов ранжирования. Это в чём-то похоже на работу на аэродроме - когда среди постоянного шума взлетающих самолётов нужно слышать и голоса людей. Если заткнуть уши, то самолёты будут слышны, а голоса - нет. Сотрудники аэропорта работают в специальных наушниках, слабо чувствительных к громкому шуму - так можно услышать и самолёты, и голоса людей.

Как устроено ранжирование

Поскольку поисковая система работает с очень большими объёмами информации, по каждому запросу ей нужно проверить признаки миллионов страниц, определить их релевантность и соответственно упорядочить - так, чтобы сверху оказались более подходящие страницы. Чтобы проверить свойства всех страниц по очереди, нужно либо очень много серверов, которые могут быстро обработать информацию обо всех страницах, либо очень много времени - а поиск должен работать быстро, иначе пользователи не дождутся результатов. Матрикснет позволяет проверить очень много факторов за короткое время и без существенного увеличения вычислительных мощностей.

Поиск ведётся одновременно на тысячах серверов. Каждый сервер ищет по своей части индекса и формирует список самых лучших результатов. В него гарантированно попадают все самые релевантные запросу страницы.

Дальше из этих списков составляется один общий, и страницы, попавшие туда, упорядочиваются по формуле ранжирования - той самой длинной и сложной формуле, построенной с помощью Матрикснета, с учётом всех факторов и их комбинаций.

Таким образом, наверху поисковой выдачи оказываются все самые релевантные сайты - и пользователь почти мгновенно получает ответ на свой вопрос.

Комментарии: