Корреляция: как незаметно выстрелить себе в ногу

Автор: Лекс Кравецкий

Если вы где-то читаете фразу вида «оказалось, что у данных событий корреляция вот такая вот», то примерно в 99,99% случаев, если прямо не оговорено иного, речь идёт о коэффициенте корреляции Пирсона. «Дефолт-корреляция» — это он.

Причём пользуются им далеко не только безграмотные журналисты, но и в целом довольно грамотные учёные. Что, на мой взгляд, весьма странно, ибо область его осмысленного применения сильно уже, чем область его фактического использования.

По этой причине мне хотелось бы рассказать, какими способами при помощи «дефолт-корреляции» можно сделать множество совершенно неправильных, однако весьма наукообразных и кажущихся весьма правдоподобными выводов.

Но для начала о том…

Что такое «коэффициент корреляции Пирсона»?

Вполне понятно, что для несведущих это — особая научная магия, однако довольно обидно, что для многих сведущих дела обстоят аналогично. «Я же биолог, а не математик — зачем мне лезть в эти тонкости?» — обычное дело.

Положим, у нас есть некие два предполагаемых процесса, для каждого из которых мы замеряем какой-то параметр, обычно называемый в данном случае «величиной». В результате у нас появляется набор пар чисел.

Предполагая заодно, что эти процессы не только существуют, но и как-то связаны, мы предполагаем же, что эта связь должна численно проявиться в сделанных нами измерениях. То есть из полученных пар чисел мы каким-то образом можем получить сведения о наличии или отсутствии связи.

Однако связи бывают разной степени жёсткости, поэтому желательно получать не бинарное «да» или «нет», а что-то типа непрерывной по пространству состояний оценки «силы связи».

И вот, встречайте, коэффициент корреляции Пирсона.

Я понимаю, что на этом месте очень многие испугались, что и дальше всё будет столь же непонятным. Какие-то страшные буковки в страшных комбинациях, всё такое.

Признаться, я тоже не особо-то люблю математический вариант записи. Мне «программистский» кажется гораздо более понятным. Поэтому я попытаюсь следовать именно ему.

Есть такое понятие «математическое ожидание величины», для краткости называемое «матожиданием». В простейшем случае его смысл крайне прост: это среднее арифметическое от всех полученных значений.

Получили мы какой-то набор измерений, представленный тут в виде списка

Потом мы просуммировали их все, поделили на количество чисел в этом списке — и вот оно, среднее арифметическое.

Далее мы найдём для каждого числа из списка его отклонение от матожидания.

…и получим, таким образом, список отклонений. Список отклонений каждого из значений от среднего арифметического по всему этому списку.

То же самое можно проделать и с другим списком, в котором находятся измерения второго параметра, измеренного одновременно с первым.

Например, мы у каждого пациента в палате померили температуру. И, кроме того, зафиксировали, сколько таблеток аспирина он сегодня принял. И теперь по вышеуказанной процедуре построим список отклонений температуры каждого пациента от средней температуры пациентов и соответствующий ему список отклонений количества принятых пациентом таблеток аспирина от среднего принятого их количества.

Да, тут уже и так есть суровые подозрения о множестве натяжек, но мы всё-таки не остановимся и предположим, что если температура как-то связана с приёмом аспирина, то должны быть связаны между собой и эти самые отклонения.

Например, если приём аспирина приводит к росту температуры, то мы будем видеть следующее.

Если пациент выпил больше таблеток, чем другие, то его температура отклоняется от средней в бо?льшую сторону.

Если пациент выпил меньше таблеток, чем другие, то его температура отклоняется от средней в меньшую сторону.

То есть оба отклонения — в одну и ту же сторону.

Если мы перемножим попарно все отклонения, то все произведения будут положительными.

И наоборот: если приём аспирина понижает температуру, то все произведения отклонений будут отрицательными.

Иными словами, у нас получилась некая величина, которая обладает чудесным свойством: для прямой связи явлений она положительная, а для обратной — отрицательная.

Однако что с ней будет, если явления не связаны?

Навскидку, с ней будет — «когда как».

Но ведь если явления действительно не связаны, то на большом количестве измерений приблизительно в равной мере должны быть распределены оба варианта: положительное произведение отклонений и отрицательное. Если их просуммировать, то, видимо, получится что-то около нуля. Причём, тем ближе к нулю, чем больше было измерений.

Собственно, вышевведённая функция «матожидание» именно это и делает: суммирует. Потом, правда, ещё делит на количество измерений, но для обнаруженного свойства это не так важно: ведь деление на положительное число не меняет знак результата и не может превратить ноль в не ноль или наоборот.

Поэтому вот он, критерий: ковариация.

Или, если расположить все формулы рядом…

Да, так несколько длиннее, чем в оригинальном определении, но зато и лучше понятно, что происходит.

Теперь, в общем, остался последний момент. Ковариация, увы, может иметь произвольную величину, а потому, для того, чтобы сделать по ней вывод о связи между списками, надо ещё знать максимальное её значение именно для этих величин.

Однако, по счастью, оное можно вычислить в общем виде.

Для этого введём ещё одну интересную величину — выведенную из списка квадратов отклонений от среднего.

Это, как можно видеть, корень из матожидания квадратов отклонений от среднего. Оно так и называется «среднеквадратическое отклонение».

Так вот, можно показать, что ковариация по своей абсолютной величине не превышает произведения среднеквадратических отклонений по этим двум спискам.

Ну а так как среднеквадратическое отклонение по построению всегда положительно, то можно заключить, что

или

В общем, если за меру взаимосвязи взять такую «нормированную величину», то она получится очень удобной и очень универсальной: будет показывать, связаны ли величины между собой, давая для прямой связи единицу, для обратной — минус единицу, а для несвязанных величин — ноль…

…думали они.

Но ага, щаз.

Всё очень удобно и универсально, однако в вышеприведённых рассуждениях есть изрядное количество изъянов, которые — ввиду очевидного удобства и универсальности полученной «меры взаимосвязей» — очень удобно игнорировать, и от этого иметь универсальный способ для поточной генерации совершенно неверных, но зато наукообразных выводов.

Впрочем, надо отметить, что процесса «нормировки» это не касается — со знаменателем всё зашибись, а способ стрельбы себе в ногу кроется в числителе. Да и в самом подходе в целом.

Поэтому, хотя для проформы я тут и привёл полное рассуждение, вскрываемые далее явления вызваны ковариацией и именно на способ её вычисления следует обратить особое внимание.

Выстрел номер один: Ньютон всё наврал

Предположим, некий физик усомнился в законе всемирного тяготения. И решил — в полном соответствии с научным методом — проверить, что тела и правда притягиваются по определённому закону.

Для этого он заказал себе очень точные приборы и сделал экспериментальную установку, в центре которой размещено массивное тело, на любом расстоянии от которого можно размещать другие тела и замерять воздействующую на них силу.

Со всей тщательностью физик измерил силу, действующее на тело, отнесённое от центра на самые разные расстояния. Запротоколировал данные. А потом посчитал корреляцию между координатой изображённого тут зелёным тела и действующей на него силой.

Хм. Ньютон вроде бы утверждал, что сила тяготения однозначно связана с расстоянием между центрами объектов. Почему же мы тут получаем не единицу, а что-то меньшее? Ну ладно, это, быть может, погрешность измерений. Всё равно ведь понятно, что определённо между расстоянием по оси икс и действующей силой есть заметная обратная связь.

На беду, у этого физика были свои личные подозрения об устройстве мира. «Вдруг», — думал он — «миру не всё равно, с какой стороны расположено тело?». Надо попробовать размещать тела не только справа, но и слева.

Правда, прибор для измерения силы умел измерять только её абсолютную величину, но ничего страшного: ведь если есть взаимосвязь между двумя величинами, то между величиной и модулем второй тоже должна быть взаимосвязь.

Поэтому физик провёл второй эксперимент: помещая теперь тело не только справа, но иногда и слева от центра.

В результате, его подозрения оправдались: теперь корреляция координаты с абсолютной величиной силы уже не просто отличалась от единицы или минус единицы…

Она стала нулевой.

Что же тут произошло?

Сейчас, подождите, сначала мы посмотрим на ещё один способ стрельбы в собственные конечности.

Выстрел номер два: хаос энергоснабжения

Однажды физик обнаружил у себя дома удивительный артефакт: электрическую розетку.

Ну ладно, пусть это будет другой физик, чтобы над одним и тем же не издеваться.

Про розетки он слышал, что в них есть электрический ток, которым как раз и питаются электроприборы. А у тока есть напряжение. Которое, вроде бы, в розетках переменное. Так вот, интересно, связано ли это переменное напряжение со временем? Или же, напротив, оно там совершенно хаотичное и меняется как попало?

Для ответа на этот вопрос физик собрал хитрую схему из компьютера и вольтметра, которая через равные промежутки времени измеряет напряжение в сети.

Если связь есть, — рассуждал физик, — то я её таким образом обнаружу. И он был прав: таким образом её действительно можно обнаружить. Причём для этого даже не обязательно быть физиком.

Но на беду и этот физик тоже решил не доверяться интуиции, а вычислить связь автоматически. Для этого он посчитал корреляцию измеренных напряжений с теми моментами времени, когда они были измерены.

Как вы думаете, что в результате получил физик?

Не спешите с ответом…

Не спешите…

Wait…

Wait…

Here it comes…

Физик получил случайную величину от минус до плюс единицы.

В зависимости от того, как встали звёзды, физик мог «выяснить», что напряжение связано со временем прямой или обратной связью, или же, что оно со временем вообще не связано.

Но как?! Как совершенно логичный математический коэффициент может привести к столь абсурдному результату?

Сбитый прицел номер один

Чтобы понять, откуда в мире берётся такая фигня, мы временно, для простоты забудем про знаменатель.

Расположенная в числителе ковариация — это среднее арифметическое произведений отклонений.

Отклонений от чего?

От среднего.

Когда первый физик меряет силу, в зависимости от координаты, слева и справа в симметричных точках у него получаются одинаковые силы. Они отклонены от средней силы совершенно идентично, какой бы эта сила ни была.

Средняя же координата — 0. Отклонения от неё в симметричных точках равны по абсолютной величине, но противоположны по знаку.

Пусть в точке 1 отклонение силы от среднего равно dF1. Тогда в точке ?1 будет такое же отклонение dF1. Но вот отклонения в координатах будут уже 1 и ?1. Если мы перемножим отклонения, то получим…

С точки зрения ковариации, эти симметричные значения просто взаимно уничтожаются.

Поскольку же физик приблизительно равномерно измерял силы слева и справа, то в среднем все измерения взаимно уничтожились.

Вот как выглядит график произведений отклонений, в зависимости от координаты.

Если случайным образом набрать с него точек, то сумма значений в них будет приблизительно равна нулю. И, следовательно, будет равна нулю ковариация.

И чем больше точек мы возьмём, тем она ближе к нулю. Что наверняка будет убеждать физика, что тут нет никакой ошибки или случайности: чем больше измерений он производит, тем более очевидно, что корреляция — нулевая.

И это при том, что наличие связи между координатой и действующей силой видно невооружённым глазом.

Быть может, ошибка была в том, что физик измерял абсолютную величину силы? Быть может, стоило ему измерить силу с учётом направления, всё получилось бы правильно?

О да, в этом случае корреляция была бы не нулевой, а ранее упомянутыми ?0,68. Ведь в этом случае произведения симметричных отклонений не уничтожали бы друг друга.

Только это всё равно был бы ошибочный результат. Просто вывод, сделанный по нему, случайно совпал бы с правильным.

Ведь предположим, что Ньютон действительно наврал, и тела, расположенные справа, притягиваются, но вот расположенные слева — отталкиваются. В этом случае, напротив, игнорирование направления силы дало бы ненулевую корреляцию, а вот его учёт — нулевую.

И в одном из двух вариантов по-прежнему можно было бы сделать вывод об отсутствии взаимосвязи при реальном её наличии.

Причём с правильным совпадал бы вывод, сделанный по тому методу, по которому в другом случае получался бы вывод, не совпадающий с правильным.

Таким образом, в рамках данного метода в обязательном порядке надо сделать выбор между вариантами, заранее зная правильный ответ, — иначе можно выбрать тот вариант, который приводит к ошибке.

То есть это сам метод ошибочен. С его помощью невозможно сделать правильный вывод, не зная его заранее.

Сбитый прицел номер два

Аналогичная история происходит и со вторым физиком: он измеряет процесс, в котором взаимно уничтожаются произведения отклонений от среднего, хотя сам процесс при этом вполне закономерен.

Я для примера взял колебания вокруг нуля, однако это только для наглядности: коэффициент корреляции зависит не от величины, а от её отклонения от среднего, поэтому «без разницы», где расположено это среднее.

Здесь мы тоже наблюдаем симметрию. И эта симметрия с неизбежностью приводит к тому, что на некотором отрезке — кратном двойному периоду колебаний — сумма произведений отклонений взаимно уничтожается. И фактически на корреляцию будет оказывать влияние только тот «хвостик», который останется после последнего обнуления.

Вот как для данного фрагмента будет вести себя корреляция — в зависимости от того момента, когда физик остановил измерения.

Поскольку момент начала и конца измерений зависит только от стечения обстоятельств, физик в реальности высчитывает случайное число, а вовсе не «надёжный показатель связи между явлениями».

Правда, тут выручает то, что одна из величин — время — неограниченно растёт с ростом количества измерений, а вторая величина — напряжение — ограничена определённым диапазоном. В результате, расположенное в знаменателе среднеквадратическое отклонение времени увеличивается до сколь угодно большой величины быстрее, а потому корреляция стремится к нулю с увеличением отрезка времени, на котором проводятся измерения.

Это позволяет уверенно «доказывать» независимость абсолютно любой ограниченной диапазоном величины от времени, а не просто диагностировать наличие или отсутствие связи, в зависимости от того, как звёзды встали.

Хотя, конечно, и тут есть шанс выбрать периодичность замеров, слегка некратную периодичности колебаний, и снова тщательно вычислить случайное число. Например, напряжение в сети колеблется со слегка плавающей частотой: 50 раз в секунду. Поэтому проведение измерений с интуитивно напрашивающейся частотой раз в секунду — серьёзная заявка на успех.

В общем, если физику повезёт, и он замерит много периодов колебаний, не попав при этом в нужную «слегка некратность», он обнаружит на них близкую к нулю корреляцию. После чего сделает ошибочный вывод, что связи между временем и напряжением нет.

Если не повезёт, то результат вообще будет случайным числом, и тут уже, разумеется, никакой ошибки не будет.

Шутка.

В любом случае, вывод ошибочен. Даже если он случайно совпадёт с правильным — ведь ошибочен сам метод его получения.

Но иллюзия о научном обнаружении наличия или отсутствия связи в обоих случаях вполне может сохраниться.

Hold your fire №1 and №2

Первые два примера демонстрируют штуку, которую надо помнить в обязательном порядке: введённая нами «мера взаимосвязи» не универсальна. Сделанные при её построении рассуждения относились только к линейным зависимостям одной величины от другой.

Грубо говоря, это работает только тогда, когда предполагается зависимость…

Если же зависимость иная, то, вообще говоря, коэффициент корреляции может оказаться произвольным.

Да-да, не нулевым, а произвольным.

Ведь даже при очень хорошем случае — при убывании одной величины при возрастании другой — первый физик уже получил странный результат. Ещё до того, как он начал пробовать помещать тело не только справа, но и слева, при наличии совершенно однозначной и непериодической зависимости, полученный им коэффициент корреляции уже заметно отличался от ?1.

И дело тут не в погрешности измерений. Дело в том, что даже зависимость

достаточно нелинейна для коэффициента корреляции. Уже на ней результат опасно близок к «хм, возможно, на силу влияет что-то ещё». Да, это, конечно, не ?0,1, но всё-таки ?0,68 — это и не чистая минус единица. Всё выглядит так, будто бы тут не совсем детерминированная связь.

Так какие же заключения можно сделать, вычислив коэффициент корреляции?

Если она нулевая, значит ли это, что величины не связаны?

Два примера показывают, что нет, нельзя.

А если она ненулевая, значит ли это, что зависимость есть?

Второй пример показывает, что и это тоже совершенно не обязательно: ведь вполне возможно и даже весьма вероятно на, например, периодическом процессе получить случайное число, довольно существенно отличающееся от нуля.

Иными словами, исследователь откуда-то должен знать заранее, что тут либо линейная зависимость, либо вообще никакой, чтобы сделать более-менее правильный вывод.

Но откуда он может это знать до исследований? Только из других исследований. Где анализ делался другими методами. Например, основывался на вдумчивом разглядывании графиков или распределений, формированием на их основе гипотезы о функции, связывающей две величины, и последующей экспериментальной проверке того, что эта функция и правда именно такая, поскольку с её помощью удаётся предсказать значение второй величины, зная первую.

Но если это всё уже проделано, то зачем ему вообще считать корреляцию? У него же уже есть более надёжные результаты.

Может быть, коэффициент корреляции можно использовать как первое приближение? Как оценку связи навскидку?

Хороша же такая оценка, которая при весьма вероятных закономерностях даёт случайное число, и приводит, таким образом, к совершенно разным выводам — в зависимости от расположения звёзд.

То есть в сухом остатке оказывается, что единственное, что можно сделать при помощи корреляции — это вывод об отсутствии одной и той же линейной на всём отрезке взаимосвязи между величинами.

Именно об отсутствии — ведь даже о наличии такой взаимосвязи вывод сделать нельзя (см. «случайное число»).

И именно что линейной на всём отрезке, поскольку при фрагментарно линейной вполне возможно взаимное уничтожение произведений отклонений.

Причём натолкнуться на такое может совсем даже не только усомнившийся в законе всемирного тяготения физик. Ровно так же хлебнуть полную чашу горя может медик, решивший выяснить связь температуры тела пациента с самочувствием пациента. При нормальной температуре — 36,6 °C — самочувствие, видимо, наилучшее. При повышении температуры оно ухудшается. Однако и при понижении температуры оно тоже ухудшается…

Чувствуете схожесть ситуации с экспериментами первого физика? О да, и с корреляцией будет тоже: при симметричности оценок слева и справа от нормальной температуры корреляция окажется близкой к нулю. Из чего медик сможет заключить, что связи между температурой и самочувствием нет.

И ровно то же самое будет с лекарством, у которого есть оптимальная доза приёма: при этой дозе результаты будут наилучшими, но вот при меньшей и при большей они будут хуже, что тоже приведёт к чисто техническому занулению коэффициента корреляции.

И вы думаете, на этом проблемы с коэффициентом кончились?

Ага. Щаз.

Выстрел номер три: неубедительный экстрасенс

Однажды к группе заинтересованных в изучении паранормальных явлений пришёл человек, обладающий удивительной способностью — он абсолютно безошибочно умел угадывать выпавшее на кубиках.

Правда, по воле паранормальных сил эта способность у него была выражена в весьма странной форме: если кто-то собирался бросить четыре кубика, то Космос тут же шептал экстрасенсу сумму выпавшего на них в тридцатой степени. Увы, экстрасенс был безграмотен (он просто слушал голос Космоса), а потому извлекать корень тридцатой степени не умел.

Впрочем, паранормологи этого делать тоже не умели: ни извлекать корень тридцатой степени, ни возводить в тридцатую степень. Однако они предположили, что его предсказания всё равно должны коррелировать с суммой выпавшего на кубиках (которую они считать всё-таки умели) — ведь между числом и его тридцатой степенью имеется однозначная математическая связь.

Не поленившись, паранормологи провели 10 000 испытаний. Не было никаких сомнений в том, что такого вполне достаточно для исключения любых случайностей.

Но результат их разочаровал: предсказания экстрасенса имели корреляцию с суммой выпавшего на кубиках всего 0,2. Такой вшивой корреляции явно недостаточно, чтобы подтвердить экстрасенсорные способности. 0,5 ещё куда ни шло, но вот 0,2…

В результате экстрасенс был изгнан и высмеян.

Сбитый прицел номер три

Я специально придумал этот пример, чтобы развеять сомнения, будто бы «дефолт-корреляция» может не срабатывать только при попытках измерять связь времени и состояния, но вот для неких случайных событий она всегда подходит.

О нет. И данные паранормологи тому примером.

На самом деле они прогнали экстрасенса, который совершенно правильно угадал в 100% случаев. Да-да, он ни разу не ошибся.

Однако проведи они даже миллион испытаний, всё равно корреляция была бы всё столь же низкой. Ибо я не зря сказал о том, что корреляция более-менее корректно отображает только линейную связь между величинами.

Здесь же наблюдался аналог того, что произошло с первым физиком, только в гипертрофированной форме: корреляция была не просто несколько подозрительной, а существенно ниже порогового уровня достоверности.

Но это ещё не предел. Кидай они шесть кубиков, корреляция стала бы 0,15.

Случайно угадать все сто тысяч раз тридцатую степень суммы выпавшего на четырёх кубиках столь нереально, что такое вряд ли можно рассматривать всерьёз, но корреляция при этом утверждает, что экстрасенс как бы не угадывал.

Как бы утверждает.

Hold your fire №3

На самом же деле, совершенно не зря в справочниках пишут, что всё это осмыслено только при гауссовом распределении случайных величин. И зря так многие это либо не читают, либо игнорируют в своей практической деятельности.

«Гауссово» распределение подразумевает концентрацию основной массы результатов измерений вокруг некоторой величины (того самого «матожидания» или «среднего»). Причём чем дальше от неё случай, тем меньше раз мы его должны встречать.

Имеющаяся же в формуле корреляции ? — среднеквадратическое отклонение — характеризует в этом случае «ширину» данного колокола.

Негауссовость одного или обоих распределений — залог получения очень низкой корреляции даже при очевидной прямой взаимосвязи величин.

В данном случае сумма выпавшего на четырёх кубиках имела распределение, близкое к гауссову, но вот возведение результата в тридцатую степень убило даже намёк на гауссовость, что не замедлило сказаться на результате.

И не помогли даже 10 000 испытаний.

В реальных же исследованиях испытаний вполне может быть штук 100, например. И негауссовость распределения там может быть существенно менее экстремальной, но всё равно пагубно сказаться на результатах.

Выстрел номер четыре: убедительный экстрасенс

К тем же самым паранормологам через некоторое время пришёл ещё один посетитель. Он тоже имел паранормальную связь с кубиками, но его метод был проще: он бросал один кубик, а потом предлагал экспериментатору бросить второй. Благодаря тому, что в его руках была заключена особая магия, первый бросок кубика мистическим образом влиял на всю ситуацию в целом.

О нет, выпавшее на втором кубике он не брался предсказать, однако утверждал, что первый бросок окажет очень сильное влияние на второй бросок, суть коего влияния он, впрочем, не брался объяснить. Но предлагал просто взять и посчитать корреляцию выпавшего на первом кубике с суммой выпавшего на двух кубиках.

Первые сто испытаний повергли паранормологов в шок и трепет: корреляция действительно оказывалась весьма нехилой: 0,75.

Правда, они всё-таки усомнились, не было ли тут простого везения. Однако, проделав привычные для них 10 000 испытаний, они с удивлением отметили, что корреляция упала, но не так, чтобы очень сильно. Всё-таки 0,7 — это весьма неплохо. Согласно всем справочникам, это уже тянет на термин «высокая корреляция».

Определённо у этого экстрасенса был талант — оставалось только понять, каким способом из его предсказаний можно извлекать сведения о том, что выпадет на втором кубике…

Сбитый прицел номер четыре

…и правильный ответ: никаким. Нет никакого способа предсказать, что именно там выпадет. И даже, внезапно, нет никакого способа предсказать сумму.

Да-да, корреляция — высокая, однако всё, что можно сказать про сумму, это то, что она будет лежать на отрезке от выпавшего на первом кубике плюс один до выпавшего на первом кубике плюс шесть. Что было вполне понятно и безо всяких экстрасенсов.

Но никаких случайных совпадений — корреляция, правда, получится примерно вот такая.

Hold your fire №4

Разумеется, выпавшее на первом кубике влияет на сумму, поскольку оно входит туда как слагаемое. Однако корреляция показала всего лишь линейную связь первого со вторым. Выпавшего на первом кубике и случайной величины, полученной прибавлением к уже выпавшему второй случайной величины.

Но сколь же легко очароваться большим значением коэффициента и сделать вывод, который вовсе из него не следует: первый кубик как-то влияет на второй. Или даже, наоборот: ещё не брошенный второй кубик как-то влияет на первый.

Или хотя бы, что из результата броска первого кубика можно узнать что-то ещё, кроме и так очевидного.

Ах, сколько же раз такого рода эксперименты приводят к восторженным публикациям — причём не только в обычной прессе, но даже и во вполне научной.

Временами ничто не отделяет добросовестного биолога от того, чтобы путём сотен замеров открыть удивительный факт: все муравьи планеты строят муравейники, длина окружности основания которых примерно втрое больше диаметра этого основания.

Кажется, будто бы выполнение некого «научного» ритуала обязательно должно давать правильные результаты, даже если при этом не понимать сути этого ритуала, оправдывая фразами вида «я же паранормолог, а не математик».

Математика как бы работает сама. Ведь она же математика. Математика не обманывает.

И да, математика не обманывает — обманывают её трактовки.

Выстрел номер пять: хороший способ вызвать дождь

Как-то раз антрополог наблюдал за обычным городским жителем (конечно же, с его, этого жителя, согласия). И через некоторое время он заметил удивительную закономерность: если этот житель брал с собой зонт, то в этот день шёл дождь.

Конечно, так случалось не каждый раз: иногда объект наблюдения брал зонт, но дождь не шёл, иногда не брал, но дождь всё равно шёл, — однако слишком часто наличие зонта с наличием дождя и отсутствие зонта с отсутствием дождя случались одновременно.

Антрополог, как настоящий учёный, конечно, не доверился таким «навскидочным» оценкам, а вместо этого стал каждый день тщательно протоколировать свои наблюдения.

Через год он приписал событиям «взят зонт» и «был дождь» число 1, событиям «не взял зонт» и «не было дождя» число 0, и посчитал корреляцию по своим протоколам.

Корреляция была очень высокой: 0,95. Эти два события однозначно были связаны.

Гордый собой антрополог написал статью «Как вызывать дождь», в которой убедительно — по трём с половиной сотням наблюдений — доказывал, что именно вот этот житель управляет дождями по месту своего проживания. При помощи ношения зонта.

К сожалению, эту статью отказались печатать, ссылаясь на то, что как-то это всё неубедительно звучит.

Подумав некоторое время, антрополог пришёл к мысли, что наверно всё наоборот: это дождь управляет взятием зонта этим жителем. Просто данный гражданин способен видеть будущий дождь своим внутренним зрением. И, увидев будущий дождь, берёт с собой зонт — даже если на улице сейчас пока ещё нет никакого дождя. Если, конечно, не забыл с утра внутренним зрением посмотреть в будущее.

Ведь однозначно, столь высокая корреляция не может быть результатом случайности.

К сожалению, эту статью в журнал тоже не взяли, поскольку тамошние скептики не поверили в реальности внутреннего футуристического зрения, несмотря на столь яркие доказательства существования оного.

Однако антрополог не отчаялся. Подумав ещё, он сделал финальный вывод: существует мистическая незримая сила, которая вызывает дожди и одновременно с тем побуждает отдельных граждан брать с собой зонт. Поиском этой силы срочно следует заняться, поскольку она перевернёт все представления о мироздании.

В этот раз Фортуна улыбнулась антропологу: под это дело был создан специальный институт и много лет всевозможные учёные мужи пытались найти эту силу, под чутким руководством данного антрополога, которого хоть и не сделали директором, но всё-таки сделали замом. Вот так добро победило зло.

Сбитый прицел номер пять

Если коэффициент корреляции показал реальную связь одной величины с другой (а не случайное число, как это было со вторым физиком), это всё равно никак не доказывает, что одно явление вызывается другим. Даже если этим способом с самого начала хотели доказать наличие таковой связи, что многим почему-то кажется гарантией верности выводов.

Вполне может быть так, что первое явление не вызывается вторым, и при этом даже второе явление не вызывается первым.

В этих случаях говорят: «может быть, что есть некое третье явление, вызывающее оба два», — но и это в ряде случаев скорее вводит в заблуждение, нежели помогает. Ведь правда может быть такое явление, но на этом всё равно возможные варианты не кончаются.

И уж, тем более, никто не гарантирует, что именно то «третье явление», которое предположил кто-то там, и есть то самое искомое.

Улыбнувшаяся антропологу Фортуна, в это время со спины показывала человечеству средний палец, ибо не было никакой внешней мистической силы. Гражданин просто утром смотрел прогноз погоды, и, если там обещался дождь, брал с собой зонт.

Может показаться, что, ну ладно, пусть не мистическая сила, но всё-таки третье явление, вызывающее первые два, тут есть.

Предположим, есть. Но какое?

Прогноз погоды вызывает дождь?

Или ещё не случившийся дождь вызывает прогноз?

Ну Ok, не сам дождь, а атмосферное давление, скорость и направление ветра, наличие водоёмов и т. п. вызывают и дождь, и прогноз?

Однако мы могли бы убедиться, что, вообще говоря, данного жителя побуждают взять зонт сами опубликованные прогнозы, а вовсе не физические явления. Для этого надо было бы просто попросить тот источник, в котором он эти прогнозы читает, некоторое время публиковать неправильные прогнозы. И тем самым воочию узреть, что зонт берётся, если в прогнозе написано, что будет дождь, а вовсе не если какие-то физические параметры указывают на его высокую вероятность.

То есть некого одного «третьего явления», вызывающие первые два, не существует. Вместо этого есть целый набор явлений, состоящих друг с другом в весьма непростых отношениях.

Долгое время некая служба делала прогнозы, ориентируясь на ряд параметров. Их метод правда работал, поэтому их прогнозам начали доверять. Настолько, что некоторые даже стали игнорировать положение вещей, опираясь только на сказанное этой службой. И теперь слова этой службы побуждают этих людей брать зонт. И они достаточно долгое время брали бы его, даже если бы данные метеорологи поголовно сошли бы с ума и начали бы строить прогнозы на основе рисунка кофейной гущи.

Хотя в прошлом связь между явлениями через общую «третью силу» была, сейчас её уже нет. Но по инерции всё продолжает работать.

Выстрел номер шесть — прибытие автобуса

Один психолог наблюдал за ещё одним гражданином. И выяснил, что каждый раз, когда тот гражданин приходит на остановку, не позже, чем через пять минут, к ней приезжает автобус. Причём всё время один и тот же.

Естественно, предположение о том, что приход на остановку именно этого человека вызывает приезд этого автобуса, психолог сразу же отверг, как слишком абсурдное.

Но его заинтересовало, может ли быть верно обратное: что приезд этого автобуса вызывает приход этого человека на остановку? Это выглядело очень правдоподобным.

С согласия этого человека психолог начал за ним наблюдать. Оказалось, что этот человек каждый будний день встаёт в одно и то же время, за полчаса собирается и завтракает, а потом идёт на остановку.

Все введённые психологом способы измерить корреляцию данных событий указывали на одно и то же: связь тут очень жёсткая. Совершенно точно приезд этого автобуса вызывает приход человека на остановку. Точнее, не сам приезд, а знание о приезде.

Именно под приезд данного автобуса (время прибытия которого этот человек, видимо, вычислил на стихийной серии экспериментов) данный человек подстроил свой распорядок дня, учтя, разумеется, время на «успеть собраться».

Это вам не дождь, вызывающий зонт, тут всё тип-топ. Вон, даже читатели этой статьи сейчас думают: «А здесь-то что не так с выводами?!»

Сбитый прицел номер шесть

А с выводами здесь тоже не так всё.

Все способы подсчёта корреляции действительно могут показать однозначную линейную взаимосвязь. Совершенно честно. Без ошибок. И даже другие, не дефолтные, коэффициенты корреляции её покажут. И всё может казаться вообще очевидным. Но и в этом случае вполне возможны неверные выводы.

Дело в том, что описанный гражданин не вычислял время прибытия автобуса. И никогда не видел расписания. И не подстраивал под него свой график.

Он по городскому навигатору узнал время поездки от дома до работы, а потом поставил будильник на красивое круглое число, позволяющее ему успевать на работу. Ну, на девять утра, например.

Полчаса ему хватало на сборы, после этого он выходил на улицу, и — ну надо же — именно в это время приходил данный автобус. Да, вот так вот удачно совпало расписание.

Впрочем, там, в этом расписании, автобусы вообще ходили раз в пять минут, поэтому не совпасть оно просто не могло: округления времени будильника до красивого числа с запасом хватало на покрытие даже максимального ожидания — пяти минут. Приходи этот автобус на две минуты раньше, ну так этот человек ездил бы на следующем. И точно так же каждый раз успевал бы вовремя.

Да, можно понатягивать сову на глобус и выстроить какую-то отмазку про «третье явление». Ну, там, «третьим явлением в данном случае оказывается всё человеческое общество, где людей на работу развозит общественный транспорт, а потому какие-то работники автобусного парка составили правильное расписание с достаточно частым движением автобусов и так далее». Однако всё это совершенно не помогает понять то самое, что хотел понять психолог: почему этот человек так делает? Что его побуждает поступать именно так? Какая сила?

И в данном случае реальной «силой» оказалось «я попробовал почти наугад, оно сработало, поэтому я и дальше так делал».

Сравните это с нарисованной психологом картиной, согласно которой этот человек, как стихийный, но добросовестный исследователь, вычислял расписание автобуса, рассчитывал свои действия, составлял план… в общем, явно был кем-то не тем, кем оказался на самом деле.

И вся эта стройная теория отлично подтверждалась всеми возможными корреляциями и даже, вроде бы, правдоподобными рассуждениями.

Возможно даже, услышав о реальном положении вещей непосредственно от самого наблюдаемого, психолог всё равно решил бы сохранить свой вариант описания, добавив модификацию «он всё равно планирует, только подсознательно». И даже, не исключено, построил бы целую теорию подсознательного планирования, столь же хорошо подкреплённую высокими корреляциями, как и его первоначальный вывод.

Hold your fire №5 and №6

Мораль последних двух историй в том, что никакой статистический показатель сам по себе не может подтвердить нравящуюся вам теорию. Теории подтверждаются только совокупностью показателей в рамках правильно построенной серии экспериментов.

Серии, а не одного эксперимента — пусть даже с большим числом данных.

Какими бы ни оказались все подсчитанные вами статистические показатели, они лишь дают вам некоторую почву для размышлений и предположений. Для гипотез, а не для «теорий», о которых многие любят на первом же этапе заявлять.

Причём, что обидно, «теориями» результаты своих первых экспериментов называют и даже иногда считают не только какие-то безграмотные обыватели, но и некоторые учёные тоже.

Первый эксперимент — первый. По его результатам вам надо сформулировать гипотезу и в следующих экспериментах проверять, правда ли она даёт сбывающиеся прогнозы.

Намеренное в первом эксперименте — это ведь данные, на которых строится гипотеза. На этих данных нельзя проверить, правда ли гипотеза работает: ведь именно на них вы её построили — ясен пень, на них она будет работать. Так будет с любой гипотезой — даже с неверной.

При сбывшихся же прогнозах на новых экспериментах уже правда появится «статистическое доказательство»: ведь предположенная вами зависимость одной величины от другой правда позволяет делать прогнозы на тех данных, которые мы на момент её введения в качестве гипотезы ещё не получили. Вот это доказывает реальность связи, а не просто высокая корреляция.

Более того, мало повторить тот же эксперимент и убедиться, что и второй раз сработало. Сработало или нет, но надо всё это проверить и в других условиях тоже. Ведь реальная теория не может описывать один частный случай — она должна распространяться на довольно обширную область возможных вариантов.

Но и на этом всё не кончается: даже если эта гипотеза правда даёт сбывающиеся прогнозы на широкой области, всё равно на следующих экспериментах надо ещё проверить, что все альтернативные гипотезы на них не срабатывают. В ином случае окажется, что вы доказали не верность именно вашей гипотезы, а лишь верность довольно обширного множества гипотез, включая вашу.

Заметьте, в пунктах пять и шесть исследователи имели дело именно с таким случаем: полученные ими данные укладывались в несколько совершенно разных гипотез. И для окончательного вывода исследователям следовало экспериментально доказать, что в других случаях одна из гипотез срабатывает, а все остальные — нет. И именно по этой причине она стала бы наиболее вероятным объяснением наблюдаемого и заслужила бы звания «теории». А без этого она не «теория», но «одна из возможных гипотез».

Hold your fire now

Собственно, можно догадаться, какие эмоции я испытываю, читая очередную статью, где исследователи замерили две величины, посчитали корреляцию между ними и уже называют это «открытием» и «построением новой теории». О нет, на данном этапе вы ещё не сделали открытие. Вы получили какой-то намёк и первую порцию данных, которые потом, если вы не бросите это занятие и будете ставить корректные серии экспериментов с корректным же анализом результатов, возможно, приведут к открытию.

Увы, сейчас вся мировая наука медленно, но верно, движется в направлении безудержной генерации «теорий» на ровном месте, что в основном провоцируется специфическим подходом к оценке работы учёного.

Считается, что учёный отчитывается за свою работу строго публикациями в журналах. И что эти публикации должны следовать с определённой плотностью, иначе а-я-яй, плохо работал. При этом журналы имеют тенденцию публиковать те работы, где заявлено о «прорывах», «успехах» и «новых теориях», а вовсе не о «проверили — не работает»

Хотя это, повторюсь, ключевой момент доказательства верности гипотез: на большинстве экспериментов как раз и должно не работать — только тогда единственное оставшееся объяснение получит право называться «теорией».

И даже статьи, где измерено что-то полезное, зачастую получают низкий приоритет, если в них не содержится заявлений или хотя бы намёков на тему «мы с первой попытки поняли, как всё устроено».

Естественно, в данном эволюционном процессе преимущество получает стратегия высасывания «открытий» из пальца. Что фактически приводит к отсеву добросовестных учёных в пользу недобросовестных, а также склоняет всех учёных к подтасовке результатов исследований и фабрикации недостоверных выводов.

Метод незатейлив: взяли как можно больше данных, посчитали попарные корреляции всего со всем, нашли ту, которая — пусть даже случайно — «высокая», приписали к ней тот вариант объяснения, который первым пришёл в голову или просто понравился, и вот уже публикация об «открытии».

Даже странно, что всё ещё так мало статей, создаваемых на основании данных с сайта «Ложные корреляции». Давно уже пора построить стройную теорию о том, почему количество выпущенных за год фильмов с Николасом Кейджем так тесно связано с количеством утонувших в этом году в бассейне.

Тут, вон, не только корреляция 66%, но и даже сходство в графиках видно невооружённым глазом.

Кто-то обязательно должен объяснить всё это.

И тем более, объяснить, почему количество потребляемого на душу населения маргарина на 99,26% коррелирует с интенсивностью разводов в Майне.

Источник: 22century.ru

Комментарии: