На недавней научной конференции American Association for the Advancement of Science в Вашингтоне статистик из Университета Райса Дженевера Аллен высказала серьезное предупреждение, что ученые используют алгоритмы машинного обучения для поиска паттернов в данных даже тогда, когда алгоритмы сосредотачиваются на шуме, который невозможно воспроизвести в повторном эксперименте.
«На сегодня у науки есть осознание кризиса воспроизводимости, — говорит Аллен. — Я бы даже рискнула утверждать, что большая его часть связана с применением техник машинного обучения в науке».
Согласно словам Аллен, проблема может возникнуть, когда ученые соберут большой объем геномных данных, а затем для выявления кластеров схожих геномных профилей воспользуются алгоритмами машинного обучения, которые они плохо понимают.
«Часто такие исследования не выглядят неточными, пока не будет выпущен следующий очень крупный набор данных, к которому кто-то снова применит эти техники, и не скажет: “Боже мой, результаты этих двух исследований не совпадают”», — продолжает Аллен.
Она также утверждает, что проблема с машинным обучением в том, что оно ищет закономерности даже там, где их нет и в помине. Она предполагает, что решением станут алгоритмы нового поколения, которые будут лучше справляться с оценкой надежности генерируемых ими же предсказаний.
«Вопрос в том, можем ли мы действительно доверить совершаемые сегодня открытия применению техник машинного обучения к большим наборам данных? — говорит Аллен. — Во многих случаях ответ, скорее всего, будет следующим: “Не без перепроверки”, — но уже ведутся работы над системами машинного обучения нового поколения, которые оценят неточность и воспроизводимость их предсказаний».