Баги в программном обеспечении для МРТ-сканеров ставят под сомнение 40 000 научных исследований

Тщательное изучение методологии проведения исследований с помощью магнитно-резонансной томографии делает недействительными результаты целой отрасли науки. В течение нескольких десятилетий нейробиологи и когнитивные психологи использовали для анализа данных фМРТ статистические программы AFNI, SPM и FSL. Как выяснилось, из-за некорректных алгоритмов эти программы могут возвращать до 70% ложноположительных результатов вместо предполагаемых 5%.

Таким образом, примерно 40 000 научных работ, опубликованных в последние десятилетия на основе данных фМРТ, одночасно поставлены под сомнение. Кроме того, новая оценка валидности может оказать сильное влияние на интерпретацию результатов нейровизуализации.

Функциональная магнитно-резонансная томография используется в медицине более 25 лет, и просто удивительно, что до сих пор наиболее часто используемые статистические методы, которые применяются в программном обеспечении МРТ, не были подтверждены на реальных данных, пишут авторы исследования, опубликованного 27 июня 2016 года в журнале Proceedings of the National Academy of Sciences.

Статистические методы — это основа интерпретации результатов фМРТ. Этот метод нейровизуализации позволяет определить активацию определённой области головного мозга во время нормального его функционирования под влиянием различных физических факторов (например, движение тела) и при различных патологических состояниях.

В процессе нейровизуализации по результатам сканирования фМРТ на полученных результатах сканирования с высоким разрешением мозг делится на крошечные участки (воксели). Затем программное обеспечение сканирует воксели и объединяет их в «активные» кластеры, которые соответствуют активации определённой области головного мозга.


Изображение фМРТ с жёлтыми кластерами, в которых «отмечена повышенная активность»

Проблема в том, что данная статистическая процедура выполняется некорректно и, как выяснилось, не соответствует научным требованиям к максимальной погрешности статистических данных. Авторы научной работы пишут: «Наши результаты показывают, что основной причиной некорректной кластеризации являются пространственные функции автокорреляции, которые не соответствуют предполагаемому распределению Гаусса».

Например, баг в программном обеспечении 3dClustSim (часть пакета AFNI) присутствовал 15 лет и был исправлен только в мае 2015 года, во время подготовки данного исследования, говорят авторы научной работы из университета Линчёпинга (Швеция) и Уорикского университета (Великобритания).

Во время проверки результатов работы программ сравнивались данные функциональной магнитно-резонансной томографии в состоянии покоя 499 здоровых пациентов из контрольной группы для получения 3 млн томограмм. Выяснилось, что процент ложноположительных результатов гораздо выше предполагаемых 5% и достигает 70%. Исследователи делают вывод, что параметрические статистические методы, которые используются в популярных программных пакетах SPM, FSL и AFNI, фактически непригодны для кластерного анализа результатов фМРТ, поскольку результаты не соответствуют нормальному распределению.

Вот что бывает, когда исследования проводятся без проверки корректности медицинских инструментов на соответствие научным стандартам статистики.

Авторам научных работ из медицинской области, вероятно, теперь придётся проводить исследования повторно, чтобы повторить полученный результат с помощью надёжного инструментария валидными статистическими методами.

Так что когда встретите очередное исследование с результатами фМРТ, следует с осторожностью принимать эти результаты. На эту тему даже есть комикс XKCD.