Цифры врут. Как не дать статистике обмануть себя

Из книги Тома и Дэвида Чиверсов «Цифры врут. Как не дать статистике обмануть себя», получившей в этом году номинацию премии «Просветитель» в категории «Перевод».

Джо Уикс (Joe Wicks) помогал Великобритании пережить локдаун физкультурными занятиями на ютубе (The Body Coach TV by Joe Wicks, более 2 800 000 подписчиков), которые он проводил ежедневно из своей гостиной. Он пытался внести в выпуски элемент случайности – присвоил упражнениям номера от 2 до 12 и бросал кости (кубики), но был неприятно удивлён, что упражнение № 7 («бёрли») приходилось делать намного чаще, чем № 2 (прыжок звездой). Поняв свою ошибку, Уикс заменил кости рулеткой.

Отмечу, что сумма 7 выпадает, согласно «Теории вероятностей», ровно в каждом 6 случае (?17%), а 2 – в каждом 36-м (?3%).

Верно ли, что мужчины едят в присутствии женщин больше, чтобы произвести на них впечатление? Так утверждалось в новости, вышедшей в 2015 году в The Daily Telegraph и других изданиях.

Оказывается, что в присутствии женщин мужчины едят на 93% больше пиццы и на 86% салата, чем в присутствии других мужчин. Статья опиралась на исследования психолога Брайана Вансинка и двух его соавторов.

Впрочем карьере Вансинка скоро пришёл конец, из-за его вольного обращения с данными экспериментов. В письмах своим аспирантам он, в частности, бесхитростно писал: «Мы должны получить из этого намного больше…Думаю, стоит перебрать данные в поисках значимых и увлекательных утверждений».

Порой статистика существенно меняется из-за изменения системы учёта. Например, за период 2022-2019 годов число изнасилований, зарегистрированных полицией Англии и Уэльса, утроилось — примерно с 50 000 до около 150 000. Однако связано это с тем, что раньше стражи порядка и суды не считали их серьёзными преступлениями (поразительно, что сексуальное насилие в отношении супруги (или супруга) не считалось преступлением вплоть до 1991 года). Изменения в общественном сознании заставили полицейских пересмотреть свой подход, и теперь они с большей вероятностью регистрируют такие правонарушения.

Если бы мы хотели сравнить количество изнасилований в 2002-м и в 2019-м, используя данные полиции, нам понадобилось бы определить, сколько из них стражи порядка зарегистрировали бы в 2019 году, если бы применяли те же методы, подходы и критерии, которые были в ходу в 2022-м. Но это невозможно, поэтому придётся пойти другим путём.

Обзор преступлений по Англии и Уэльсу — это массовый опрос людей о том, как часто они становились жертвами преступлений. Его цель — определить тенденции, поэтому методология не менялась десятилетиями. Соответственно, он не связан с тем, изменились ли у полицейских привычки регистрации преступлений, хотя, конечно, может зависеть от изменений в обществе, например от того, что люди начали свободнее говорить об изнасилованиях и сообщать о них — раньше это по многим причинам было не так.

Согласно Обзору, количество изнасилований сократилось с 800 000 в 2004 году до примерно 700 000 в 2018-м. Изменения учёта и измерения данных привели к тому, что реальный спад стал выглядеть как подъём.

«Портят ли вас деньги?» — вопрошал заголовок ВВС News в 2015 году. В статье обсуждалось исследование денежного прайминга — направления в психологии, где изучается влияние финансов на поведение людей. В этой эффектной публикации говорилось: вы можете «зафиксировать» человека на теме денег, если дадите ему задание по расшифровке фраз со словами, связанными с финансами, — после этого он с меньшей вероятностью будет заниматься благотворительностью или помогать другим.

Увы, с тех пор к денежному праймингу появились серьёзные вопросы. Исследователи пытались получить те же результаты, но либо не получали вовсе, либо эффект был слабее и не так впечатлял.

В экономике есть старая поговорка — закон Гудхарта, названный в честь бывшего экономического советника Банка Англии Чарльза Гудхарта: «Как только экономический показатель становится целевой функцией, он перестаёт работать». Он означает, что, какие бы параметры ни применялись для оценки деятельности в той или иной сфере, всегда найдётся способ уйти из-под контроля.

В 2006-м году американская система Medicare начала проводить программу снижения повторной госпитализации, подсчитывая, сколько больных с сердечной недостаточностью были снова госпитализированы в течение 30 дней после выписки. Проведённое в 2018 году исследование показало, что на самом деле программа привела к повышению смертности, поскольку больницы, по-видимому, откладывали госпитализации на 31-й день, стараясь не испортить статистику.

(С) YouTube.com/@Ivan2

Источник: vk.com

Комментарии: