Выпускники ФТиАД в топ-50 лучших DS мира

Никита Чуркин и Дмитрий Симаков выиграли соревнование TReNDS Neuroimaging и вошли в топ-50 лучших DS мира по версии Kaggle.

?В соревновании приняли участие 1 047 команд.

Задача конкурса состояла в предсказании 5-ти свойств мозга: возраст + 4 анонимизированных, по МРТ снимкам разного типа и табличным данным – признаки, уже извлеченные организаторами из снимков.

Никита поделился с нами особенностями соревнования:

«В соревновании было не очень большое количество объектов для обучения (около 6к), но при этом гигантский (для такого набора точек) объем данных: порядка 170 ГБ неструктурированных данных для train и test + 1.5К столбцов-признаков в табличных данных.

Второй особенностью конкурса был заметный сдвиг между обучающей и тестовой выборкой, в том числе (но, видимо, не эксклюзивно) из-за наличия в тесте объектов, полученных с помощью другого МРТ сканера (train = MRI1; test = MRI1 + MRI2).

Таким образом, важно было не переобучиться + учесть разницу в сдвиге распределений test и train».

Для решения задачи ребята:

Сгенерировали очень сильные признаки из снимков: Incremental PCA от 3D изображений. Придумали способ совместить или, по крайней мере, «сблизить» распределения train и test в виде препроцессинга для всех моделей, а также постпроцессинга. При этом, отдельно учитывались MRI2-точки, а также классификатор ребят. Построили одну очень сильную модель, после чего сделали ансамбль на разнообразных моделях/датасетах под каждый таргет.

Все эти действия дали Никите и Дмитрию большой отрыв по скору от второго места на приватном ЛБ.

Смотри подробности про соревнование по ссылке: https://www.kaggle.com/c/trends-assessment-prediction/leaderboard

Источник: m.vk.com

Комментарии: