Ложная положительность и положительная ложность

МЕНЮ


Искусственный интеллект
Поиск
Регистрация на сайте
Помощь проекту

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


2018-07-04 16:28

Психология

Случай этот произошел в 1970-х: как-то на занятия к профессору, преподававшему психологию в Гарварде, пришел один странного вида студент средних лет. После первых лекций студент счел нужным объяснить, зачем он записался на курс. В моей преподавательской практике были случаи, когда особо воспитанные студенты объясняли, почему бросают курс, однако ни один студент не потрудился сказать, почему он решил ходить ко мне. Наверно поэтому я в мечтах представляю, как студент подходит и говорит: «Меня очень заинтересовал ваш предмет, вы замечательно читаете лекции». Однако у того студента причины были иными. Ему нужна была помощь, так как с ним происходило нечто странное. Жена сказала ему то. о чем он в тот момент как раз думал; в результате она с ним разводится. Коллега по работе во время дружеской посиделки в баре вскользь упомянул о сокращении, и через два дня нага студент пополнил ряды безработных. Он признался: за последнее время с ним не раз и не два случались подобного рода несчастья и, как он назвал их, вызывающие тревогу совпадения.

Поначалу все эти происшествия лишь сбили его с толку. Затем он, как и большинство из нас на его месте, придумал себе некое объяснение с точки зрения общемирового порядка. Которое, однако, резко отличалась от всего того, что наверняка пришло бы в голову каждому из нас: он решил, что участвует в строго засекреченном научном эксперименте. Что эксперимент ставится большой группой ученых под началом известного психолога Б.Ф. Скиннера. И что когда эксперимент закончится, он, участник, прославится, и его назначат на высокий государственный пост. Вот почему, сказал студент, он записался на курс. Он хотел узнать: как, основываясь на множестве накопившихся к тому времени доказательств, проверить свое предположение.

Спустя некоторое время, когда курс лекций был прочитан, студент снова подошел к профессору. И сообщил, что эксперимент продолжается; он же теперь судится со своим бывшим работодателем, который нашел психиатра, готового засвидетельствовать паранойю бывшего работника.

Одной из навязчивых, по мнению психиатра, идей был якобы выдуманный священник из восемнадцатого века, на реальности существования которого настаивал бывший работник. В частности, психиатр высмеивал утверждение, будто этот священник, увлекаясь на досуге математикой, изобрел причудливую теорию вероятностей. Автор идеи утверждал, что священника звали Томас Байес. А теория его описывала следующее: каким образом можно оценить вероятность того, что некое событие произойдет, если произойдет некое другое событие. Каковы шансы того, что этот студент станет объектом скрытых наблюдений психологов? Следует признать, они невелики. Но что, если чья-то жена высказывает вслух тайные мысли мужа, а коллега за кружкой пива в непринужденной обстановке мимоходом предсказывает увольнение? Студент уверял, что теория Байеса демонстрировала, каким образом необходимо изменить первоначальные подсчеты в свете новых доказательств. И во время суда студент вывалил на судей мешанину из формул и вычислений, подкреплявших его гипотезу, делая вывод о том, что дополнительные доказательства подтверждают: в 999 999 из 1 000 000 его предположения о тайном эксперименте верны. Психиатр со стороны работодателя утверждал, что и священник с математическими наклонностями, и теория — плоды воспаленного воображения бывшего работника.

Студент попросил профессора помочь с опровержением этого утверждения. Профессор согласился. И у него были на то веские причины, потому как Томас Байес, родившийся в Лондоне в 1701 г., действительно был священником, имевшим приход в Танбридж-Уэлс. Байес умер в 1761 г и был похоронен на территории лондонского парка Банхилл-Филдс, в той же самой могиле, что и его отец Джошуа, также служитель церкви. Томас Байес в самом деле изобрел теорию «условных вероятностей», чтобы доказать, что теория вероятностей может распространяться не только на независимые события, но и на события, чьи исходы зависят друг от друга. Например, и вероятность того, что случайно выбранный человек окажется психически больным, и вероятность того, что случайно выбранный человек утверждает, будто жена читает его мысли, весьма низки, однако вероятность того, что человек психически болен, если он утверждает, будто жена читает его мысли, уже гораздо выше, как и вероятность того, что человек утверждает, будто жена читает его мысли, если при этом он психически болен. Как все эти вероятности связаны между собой? Ответ следует искать в области условных вероятностей.

Профессор дал показание под присягой: подтвердил реальное существование Байеса и его теории, хотя и не высказался в поддержку специфических и сомнительных вычислений, которые, как утверждал теперь уже бывший студент, доказывали его вменяемость. Жалость вызывает не сам шизофреник, человек уже немолодой, а команда врачей и юристов, которую сколотило обвинение. Печален тот факт, что некоторые люди больны шизофренией, но хотя лекарства И могут помочь в излечении болезни, они не в силах побороть невежество. Как мы дальше убедимся, неосведомленность об идеях Томаса Байеса лежит в основе многих серьезных ошибок, будто то медицинские диагнозы или судебные решения. Во время же обучения будущих врачей и юристов с невежеством этим редко когда борются.

И в наши дни мы выносим суждения согласно теории Байеса. В одном фильме рассказывается об адвокате, у которого была замечательная работа, очаровательная жена, идеальная семья. Он любил жену и дочь, но ощущал в своей жизни некую пустоту. Однажды вечером он возвращается на трамвае домой и замечает красивую женщину — она с задумчивым видом смотрит из окна танцевальной студии. Проезжая на следующий день и через день, он ищет ее взглядом, с каждым разом все больше подпадая под ее чары. Наконец в один из вечеров он поддается порыву: сходит с электрички и записывается на танцевальные занятия в студию, надеясь увидеть ту женщину. Однако когда видит ее вблизи, чарующий образ, который преследовал его в воображении, улетучивается. Тем не менее он увлекается, однако не той женщиной, а танцами.

Свое увлечение он скрывает и от семьи, и от коллег по работе, выдумывая разные предлоги, чтобы вечером ускользнуть из дому. Наконец жена узнает, что он вовсе не засиживается за работой допоздна, как он говорит. Она думает: вероятность того, что он лжет о сверхурочной работе, гораздо больше при условии, что у него любовная связь, нежели при условии, что никакой любовной связи нет. И приходит к выводу: он все-таки лжет. Однако жена ошибается не столько в своих выводах, сколько в рассуждениях: она путает вероятность того, что муж избегает ее, если у него связь, с вероятностью того, что у него связь, если он ее избегает.

Это довольно распространенная ошибка. Предположим, начальник стал отвечать на ваши электронные письма с запозданием. Многие сочтут это знаком скорого заката собственной карьеры, потому что если вашей карьере подходит конец, велика вероятность того, что босс перестает отвечать на ваши письма оперативно. Однако босс может запаздывать с ответом и потому, что занят или у него заболела мать. Так что вероятность того, что ваша карьера подходит к концу, если начальник отвечает на ваши письма не сразу, гораздо ниже, чем вероятность того, что ваш начальник станет отвечать на письма с задержкой, если вас ждет увольнение. Своей привлекательностью многие теории тайных сговоров обязаны неправильному пониманию вышеприведенных логических выкладок. То есть все дело в путанице: вероятность того, что ряд событий произойдет, если события эти являются результатом тайного сговора, путают с вероятностью того, что тайный сговор существует, если имеет место ряд событий.

На вероятность влияет тот факт, что событие произойдет, если или при условии, что произойдут другие события. В этом и заключается теория Байеса. Чтобы понять принцип ее действия, обратимся к другой задаче, которая имеет отношение к задаче о двух дочерях из главы 3. Предположим, что у двоюродной сестры двое детей. По условию задачи о двух дочерях вам известно, что один ребенок или оба — девочки, и вы пытаетесь вспомнить, как же оно на самом деле: одна девочка или две? Если в семье двое детей, какова вероятность (при условии, что один ребенок — девочка) того, что оба ребенка — девочки? В главе 3 мы не подходили к задаче с такой стороны, однако это «если» переводит задачу в плоскость условных вероятностей. Если бы это «если» отсутствовало, вероятность того, что оба ребенка — девочки, была бы равна 1 из 4 случаев, то есть 4 вариантов очередности рождения (мальчик, мальчик), (мальчик, девочка), (девочка, мальчик), (девочка, девочка). Однако дополнительные сведения о том, что в семье одна девочка точно есть, сводит вероятность к 1 из 3. И это потому, что если один из детей — девочка, для этой семьи существуют всего 3 возможных варианта — (мальчик, девочка), (девочка, мальчик), (девочка, девочка), и лишь 1 из 3 соответствует исходу, при котором оба ребенка — девочки. Возможно, это простейший способ понять идеи Байеса — все дело исключительно в подсчетах. Сначала надо обозначить пространство элементарных событий, то есть сделать список всех возможностей, а вместе с ними и их вероятностей, если они не равны (вообще-то способ хорош для решения любой запутанной задачи на тему вероятностей). Далее надо вычеркнуть те возможности, которые исключаются условиями (в данном случае условие: «хотя бы один ребенок — девочка»). В остатке: возможности и соответствующие им вероятности.

Возможно, все это покажется очевидным. Ничуть не усомнившись в своих силах, вы решите, что могли бы додуматься до этого и без помощи дражайшего преподобного Байеса, после чего дадите себе слово, что когда уединитесь в уборной в следующий раз, захватите почитать какую-нибудь другую книжку. Поэтому прежде чем мы продолжим, рассмотрим несколько измененную задачу про двух дочерей — ее решение может оказаться гораздо более неожиданным.

Вариант таков. В семье двое детей; какова вероятность того, что если один из детей — девочка по имени Флорида, то и другой ребенок тоже девочка? Да, вам не показалось: я назвал девочку Флоридой. Может, вы и подумаете на имя, что оно выбрано наугад, на самом деле это не так — кроме того, что оно обозначает название штата, где полно кубинских иммигрантов, апельсинов и пожилых людей, которые меняют свое просторное жилье в северной части страны на радость обозревать пальмы и играть в бинго, это еще и настоящее имя. В самом деле, оно входит в 1.000 самых популярных женских имен за первые тридцать лет прошлого века в Америке. Я выбрал его совсем неспроста, потому что часть загадки заключается в вопросе: есть ли что-то в имени Флорида, что влияет на вероятность, и если есть, то что? Однако я забегаю вперед. Прежде чем мы продолжим, обдумайте такой вопрос: если брать задачу с девочкой по имени Флорида, остаются ли шансы на семью из двух девочек такими же: 1 из 3 (как в задаче с двумя дочерьми)?

Ответ отрицательный, и я вкратце объясню, почему. Тот факт, что одну из девочек зовут Флорида, меняет шансы на 1 из 2. Может, вам сложно представить такое, однако не стоит переживать по этому поводу. Ключ к пониманию случайности, да и вообще математики заключается не в том, чтобы решить любую задачу мгновенно на интуитивном уровне, а воспользоваться соответствующими средствами и вычислить ответ.

Те, кто сомневался в существовании Байеса, были правы в одном: Байес не опубликовал ни одного научного труда. О его жизни нам известно немного, возможно, он занимался математикой в свое удовольствие и не испытывал потребности в собеседниках. В этом отношении и в некоторых других они с Якобом Бернулли были полными противоположностями. Бернулли сопротивлялся изучению богословия, а Байес совмещал теологию и математику. Бернулли гнался за славой, а Байеса она совершенно не привлекала. И, наконец, теорема Бернулли решает следующий вопрос: сколько получится орлов, если планируется произвести много бросков идеальной монеты, в то время как Байес исследовал первоначальную цель Бернулли — вопрос о том, насколько можно быть уверенным в том, что монета идеальна, если выпадает определенное число орлов.

Существование теории, благодаря которой Байес нам и известен, обнаружилось 23 декабря 1763 г., когда другой священнослужитель и математик, Ричард Прайс, прочел в Королевском обществе, этой британской национальной академии наук, доклад по научной работе. Работа, названная Байесом «Эссе о решении проблем в теории случайных событий», была опубликована в «Philosophical Transactions» Королевского общества в 1764 г. Байес оставил работу Прайсу по завещанию, вместе со 100 фунтами. По свидетельству Прайса, этого «как я полагаю, священника из Ньюингтон Грин», как высказался о нем Байес, автор «Эссе» умер спустя четыре месяца после того, как написал завещание.

Хотя Байес и упомянул Ричарда Прайса вскользь, мимоходом, на самом деле Прайс отнюдь не был никому не известным священником. Его знали как пропагандиста свободы вероисповедания, друга Бенджамина Франклина, человека, которому Адам Смит доверил критический обзор некоторых частей чернового варианта «Исследования о природе и причинах богатства народов». Кроме всего прочего, Ричард Прайс был известным математиком. В заслугу ему ставят также основание страховой статистики, история которой началась с того, что в 1765 г. трое служащих из страховой компании «Equitable Society» обратились к Прайсу за помощью. Спустя шесть лет Прайс опубликовал свою работу в виде книги под названием «Заметки о страховых выплатах». И хотя книга, своего рода Библия для экспертов-статистиков из страховых учреждений, прослужила вплоть до XIX в., Прайс по-видимому недооценил среднюю продолжительность жизни — из-за недостаточности сведений и ненадежного метода подсчетов. В результате неоправданно завышенные страховые взносы обогатили его приятелей из «Equitable Society». С другой стороны, незадачливое британское правительство, производившее свои ежегодные выплаты исходя из таблиц Прайса, потерпело убытки: к ожидаемому по табличным данным сроку пенсионеры по-прежнему оставались в добром здравии.

Как я уже говорил, Байес разработал условную вероятность в попытке ответить на тот же вопрос, который увлек Бернулли: как по известному факту события вычислить вероятность того, что оно было вызвано данной причиной? Если в процессе клинических испытаний лекарство помогло 45 пациентам из 60, каковы шансы того, что лекарство подействует и на следующего пациента? Если оно помогло 600 000 пациентов из 1 млн, шансы того, что оно подействует, приближаются к 60%. Однако к какому выводу вы придете, если будете исходить из испытаний меньшего масштаба? Байес задался и другим вопросом: если перед испытаниями у вас были основания верить в то, что лекарство эффективно лишь на 50%, насколько весомыми окажутся новые сведения для ваших дальнейших оценок? Наш жизненный опыт в основном выглядит следующим образом: мы наблюдаем сравнительно небольшую выборку исходов, а уже из этого выводим информацию и приходим к заключению относительно качеств, которые привели к подобным исходам. Как нам следует выводить информацию?

Байес задумал решить задачу через метафору. Предположим, нам выдали квадратный стол и два мяча. Первый мяч мы катим по столу таким образом, чтобы имели место равные вероятности: мяч остановится в любой точке. Наша цель — определить, не глядя, где именно вдоль всей оси слева направо мяч остановился. При этом наше орудие — второй мяч, который мы поначалу тоже будем неоднократно катать по столу тем же самым образом, что и первый. С каждым разом специально поставленный для этого человек будет записывать, где именно, справа или слева от первого мяча, остановился второй мяч. В конце человек сообщит нам общее количество попыток, во время которых второй мяч останавливался в каждом из двух основных направлений. Первый мяч представляет собой то неизвестное, о чем мы хотели узнать, второй мяч представляет собой свидетельства, которые нам удалось собрать. Если второй мяч будет раз за разом останавливаться справа от первого мяча, можно быть в достаточной степени уверенным, что первый мяч останавливается в дальнем левом углу стола. Если он останавливается — не так последовательно, раз за разом — мы будем в меньшей степени уверенными в своем выводе или же предположим, что первый мяч находится в дальнем правом углу. Байес продемонстрировал, как, опираясь на сведения о втором мяче, определять точную вероятность того, что первый мяч находится в любой данной точке рядом с осью слева направо. И продемонстрировал, как при наличии дополнительных сведений можно пересмотреть первоначальные подсчеты. Согласно терминологии Байеса, первоначальные подсчеты называются априорной вероятностью, а новые предположения — апостериорной вероятностью.

Байес затеял эту игру по той простой причине, что она моделирует многие решения, которые мы принимаем в жизни. В примере с испытаниями лекарства положение первого мяча представляет собой истинную эффективность лекарства, а то, что говорится о втором мяче, представляет собой информацию о пациенте. Положение первого мяча может также обозначать интерес к фильму, качество изделия, умение водить машину, усердную работу, упрямство, талант, способность — да что угодно, что определяет успех либо неудачу того или иного предприятия. Сообщения о втором мяче в таком случае обозначали бы наши наблюдения либо полученные нами данные. Теория Байеса демонстрирует, как производить оценку и согласовывать ее при наличии новой информации.

В наше время байесовский анализ широко применяется и в науке, и на производстве. К примеру, в модели, с помощью которых рассчитываются страховые тарифы для автомобилей, заложена математическая функция, описывающая в единицах времени за рулем вероятность для вас лично попасть в аварию однажды, не один раз, ни одного раза. В нашем случае достаточно рассмотреть упрощенную модель, согласно которой все водители распределяются на две категории: высокого риска, к которой относятся водители, в среднем попадающие в одну аварию в год, и малого риска, к которой относятся водители, в среднем попадающие в менее чем одну аварию в год. Допустим, в момент обращения за страховкой вы предоставляете данные, согласно которым проездили без единой аварии аж двадцать лет, либо предоставляете данные, согласно которым за двадцать лет побывали в тридцати семи авариях. Страховая компания четко определит для себя, к какой категории вас отнести. Однако если вы сели за руль недавно, к какой категории вас отнести: малого риска (водитель не превышает скорость и не употребляет ни капли спиртного за рулем) или высокого риска (водитель гонит по шоссе, отхлебывая из уже полупустой бутылки вина)? У страховой компании нет на вас никаких данных — ни малейшего представления о «положении первого мяча», — поэтому вас могут отнести с равной априорной вероятностью и к той, и к другой категории, либо, на основании известных данных о начинающих водителях, сразу приписать к категории высокого риска, скажем, 1 к 3. В таком случае компания применит к вам смешанную оценку — одна треть высокого риска и две трети малого риска — и возьмет с вас одну треть платы, которую берет с водителей категории высокого риска, и две трети платы, которую берет с водителей категории малого риска. Далее после года наблюдений — то есть, после броска одного из вторых байесовских мячей, — компания будет располагать другими данными, чтобы переоценить модель, привести в соответствие ранее рассчитанные пропорции в одну треть и две трети и определить новую ставку. Если у вас не было ни одной аварии, соотношение малого риска и следовательно низкого тарифа возрастет; если у вас произошло две аварии, соотношение снизится. Точные размеры соответствия даются теорией Байеса. Таким же образом страховая компания может периодически приводить в соответствие свои оценки в последующие годы, отражая факт того, что у вас не было аварии или же вы дважды попали в аварию, когда ехали по улице с односторонним движением не в ту сторону, Да еще одной рукой прижимали к уху мобильный телефон, а в другой держали пончик. Вот почему страховые компании могут назначать скидки так называемым «примерным водителям»: отсутствие аварий повышает апостериорную вероятность того, что водитель входит в категорию малого риска.

Очевидно, что многие детали байесовской теории довольно сложны. Но как я уже говорил, во время анализа задачи про двух дочерей я использовал новые данные для «урезания» пространства элементарных событий и соответственной выверки вероятностей. В задаче с двумя дочерьми пространство элементарных событий изначально было таким: (мальчик, мальчик), (мальчик, девочка), (девочка, мальчик), (девочка, девочка), однако оно сокращается до следующих параметров: (мальчик, девочка), (девочка, мальчик), (девочка, девочка), если вы узнаете, что один из детей — девочка, что шансы на семью из двух девочек составляют 1 из 3. Попробуем применить эту несложную стратегию и посмотрим, что выйдет при условии, если вам станет известно следующее: один из детей — девочка по имени Флорида.

В задаче про девочку по имени Флорида нас интересует помимо пола детей еще и имя, поскольку речь о девочках. Наше первоначальное пространство элементарных событий должно включать в себя все вероятности, поэтому список содержит и пол, и имя. Обозначим девочку по имени Флорида как «девочка Ф», а девочку по имени не Флорида как «девочка не Ф». Обозначим пространство элементарных событий: (мальчик, мальчик), (мальчик, девочка Ф.), (мальчик, девочка не Ф.), (девочка Ф., мальчик), (девочка не Ф., мальчик), (девочка не Ф., девочка Ф.), (девочка Ф., девочка не Ф.), (девочка не Ф., девочка не Ф.), (девочка Ф., девочка Ф.).

Ну а теперь «урежем». Так как нам известно, что один из детей — девочка по имени Флорида, можно сократить пространство элементарных событий: (мальчик, девочка Ф.), (девочка Ф., мальчик), (девочка не Ф., девочка Ф.), (девочка Ф., девочка Ф.). Теперь видно, чем еще эта задача отличается от задачи про двух дочерей. Поскольку утверждения, что девочку зовут Флорида и девочку зовут не Флорида, нельзя назвать равновероятными, не являются таковыми и все элементы пространства элементарных событий.

В 1935, последнем году, за который Управление социальным обеспечением предоставило статистику в отношении имени, около 1 из 30.000 девочек были наречены именем Флорида. Поскольку имя становилось все менее популярным, предположим, что сегодня вероятность появления девочки по имени Флорида равна 1 из 1 млн. Это значит следующее: если нам станет известно, что определенную из двух девочку зовут не Флорида, ничего страшного, однако если мы узнаем, что ее зовут Флорида, можно сказать, что мы попали в точку. Вероятность того, что обеих девочек назовут именем Флорида (даже если мы проигнорируем тот факт, что обычно родители избегают давать детям одинаковые имена), настолько мала, что можно спокойно ею пренебречь. Итак, вот что у нас остается: (мальчик, девочка Ф.), (девочка Ф., мальчик), (девочка не Ф., девочка Ф.), (девочка Ф., девочка не Ф.). Все эти события в весьма хорошем приближении равновозможны.

Поскольку 2 из 4, то есть половина элементов пространства элементарных событий являются семьями с двумя девочками, ответом не может быть 1 из 3 — как это было в задаче с двумя дочерьми, — ответом является 1 из 2. Все дело в дополнительной информации — осведомленности насчет имени девочки.

Если вы по-прежнему теряетесь в догадках, то можно представить себе следующее: в очень-очень большой комнате мы собираем 75 млн семей с двумя Детьми, из которых хотя бы один ребенок — девочка. Как нам стало известно из задачи с двумя дочерьми, в комнате окажется около 25 млн семей с двумя девочками и 50 млн семей с одной девочкой (25 млн семей, в которых девочка является старшим ребенком, и столько же семей, в которых девочка является младшим ребенком). Далее «урезаем»: просим остаться в комнате только те семьи, в которых есть девочки по имени Флорида. Поскольку Флорида — 1 имя на 1 млн имен, останутся около 50 из 50 млн семей с одной девочкой. А из 25 млн семей с двумя девочками 50 тоже останутся: 25 потому, что их первый ребенок назван по имени Флорида, другие 25 потому, что их младшая дочь названа Флоридой. В этом примере всех девочек можно представить как лотерейные билеты; в таком случае девочки по имени Флорида станут выигрышными билетами. И хотя семей, в которых один из двух детей — девочка, в два раза больше, чем семей, в которых оба ребенка — девочки, семьи с двумя девочками обладают двумя лотерейными билетами, поэтому среди выигравших будет примерно одинаковое соотношение семей с одной девочкой и семей с двумя девочками.

В теории я расписал задачу про девочку по имени Флорида уж очень подробно, до такой степени, что иногда из-за этого моего пристрастия к деталям меня не приглашают на свои дружеские посиделки соседи. Но я поступил так не потому, что ожидал от вас того же самого, что и от своих соседей. Дело в том, что контекст прост, а аналогичный ход рассуждений прояснит многие ситуации, реальные для нашей повседневной жизни. Давайте поговорим о них.

Лично я наиболее яркими воспоминаниями, связанными с преподобным Байесом, обязан одной из пятниц 1989 г.: в тот день позвонил лечащий врач и сообщил, что жить мне осталось от силы лет десять, причем вероятность этого прогноза равна 999 из 1 000. Он еще прибавил: «Мне действительно очень жаль», как будто у него бывали пациенты, которым он говорил о своем сожалении, но на самом деле ничего подобного к ним не испытывал. Далее врач ответил на кое-какие вопросы относительно протекания болезни, после чего повесил трубку: видимо, торопился сообщить очередному пациенту крайне важную для того новость. Тяжело говорить, даже вспоминать о том, что я пережил за субботу и воскресенье, скажу только, что ни в какой Диснейленд я не поехал. Но раз мне был вынесен смертный приговор, почему я все еще жив, почему сижу и пишу об этом?

А началось все с того, что мы с женой решили застраховаться. В заявлении говорилось, что мы должны предоставить результаты анализа крови. Через неделю-две нам отказали в страховании. Крайне экономная страховая компания выслала нам два коротеньких извещения, которые были одинаковы, только текст в извещении на имя жены оказался на одно слово длиннее, чем текст в извещении на мое имя. В моем извещении говорилось, что компания отказывает мне в страховании на основании «результатов Вашего анализа крови». В извещении для моей жены говорилось, что компания не может застраховать ее жизнь на основании «результатов анализа крови Вашего мужа». Когда выяснилось, что в этом самом слове, «муж», и кроется разгадка того, почему добросердечные страховщики отказывают нам в страховании, я, действуя интуитивно, пошел к врачу и сдал анализ на ВИЧ. Результаты оказались положительными. И хотя я поначалу был слишком потрясен, чтобы поинтересоваться у врача о высказанной им вероятности, позднее мне стало известно, что он вычислил мой 1 из 1 000 шанс на жизнь из следующих статистических данных: лишь в 1 случае из 1 000 анализ на ВИЧ может дать положительный результат, пусть даже кровь при этом и не заражена вирусом СПИДа. Может показаться, что врач сказал то же самое, однако это не так. Врач перепутал вероятность того, что результаты моего анализа будут положительными, если я не являюсь ВИЧ-инфицированным, с вероятностью того, что я могу и не быть ВИЧ-инфицированным, даже если результаты моего анализа окажутся положительными.

Чтобы разобраться, где ошибся врач, прибегнем к методу Байеса. Первым делом очертим пространство элементарных событий. Можно включить в него всех, кто когда-либо сдавал анализы на ВИЧ, но мы получим более точные результаты, если примем во внимание некоторые дополнительные, имеющие непосредственное отношение к теме сведения обо мне: рассмотрим только гетеросексуальных, не принимающих наркотиков белых американцев мужского пола, которые сдавали анализы на ВИЧ. (Далее мы увидим, какое это имеет значение.)

Теперь, когда мы знаем, кого следует включить в пространство элементарных событий, распределим членов этого пространства по категориям. Вместо деления на мальчиков и девочек выберем деление на тех, кто у кого анализы оказались ВИЧ-положительными и кто ВИЧ-положителен (истинная положительность), тех, у кого анализы оказались положительными, но кто на самом деле не положителен (ложная положительность), тех, у кого анализы оказались ВИЧ-отрицательными и кто ВИЧ-отрицателен (истинная отрицательность), тех, у кого анализы оказались ВИЧ-отрицательными, но кто на самом деле ВИЧ-положителен (ложная отрицательность).

Наконец задаем вопрос: сколько людей в каждой из этих категорий? Предположим, мы рассматриваем изначально население из 10 000 человек. Пользуясь статистическими данными Центра по контролю и профилактике заболеваемости, подсчитаем, что в 1989 г. около 1 из 10 000 гетеросексуальных, не принимающих наркотиков белых американцев мужского пола, сдавших анализы, оказались ВИЧ-инфицированными{108}. Предположим, что в категории «ложная отрицательность» показатель равен 0, тогда около 1 человека из каждых 10000 сдавших анализы окажется положительным из-за наличия инфекции. К тому же поскольку показатель «ложной отрицательности» равен, по словам врача, 1 из 1 000, наберется около 10 тех, кто не заражен ВИЧ, однако анализы которых тем не менее окажутся положительными. У остальных 9989 человек из 10 000, составляющих пространство элементарных событий, результаты анализов окажутся отрицательными.

Теперь «урежем» пространство элементарных событий — включим в него только тех, результаты анализов которых оказались положительными. У нас останется 10 человек из категории «ложная положительность» и 1 человек из категории «истинная положительность». Другими словами, лишь 1 человек из 11, результаты анализов которых оказались положительными, действительно ВИЧ-инфицирован. Врач сказал мне: вероятность того, что в анализе ошибка — на самом же деле я был совершенно здоров, — равна 1 из 1 000. А на самом деле ему следовало сказать следующим образом: «Не волнуйтесь, шансы на то, что вы на самом деле не инфицированы, выше 10 из 11». В моем случае на результаты пробы для выявления скрытой формы заболевания повлияли определенные метки, которые присутствовали в моей крови, хотя вирус, ради которого и брали пробу, отсутствовал.

При оценке любого диагностического испытания важно знать, каков показатель «ложной положительности». Например, анализ, который выявляет 99% всех злокачественных опухолей, производит сильное впечатление, однако я с легкостью могу придумать анализ, который выявляет 100% всех злокачественных опухолей. Для этого мне только и надо что находить у каждого осматриваемого пациента опухоль. Статистический показатель, отличающий мой анализ от действительно полезного, заключается в следующем: в результате моего анализа показатель «ложной положительности» окажется высоким. Однако вышеприведенный пример демонстрирует: осведомленности о показателе «ложной положительности» недостаточно для того, чтобы определить, полезен анализ или не полезен. Необходимо также знать, как показатель «ложной положительности» соотносится с истинной распространенностью заболевания. Если заболевание обычное, положительный результат будет гораздо более убедительным. Чтобы увидеть, как истинная распространенность связана с положительными результатами анализа, предположим, что я гомосексуалист, и результаты анализа у меня положительные. Предположим, что в сообществе гомосексуалистов вероятность заражения среди тех, кто сдал анализы в 1989 г., была около 1%. Что значит: среди результатов 10 000 анализов мы должны обнаружить не 1 (как ранее), а 100 «истинно положительных» вместе с 10 «ложно положительными». Таким образом, в данном случае вероятность того, что положительный результат означал мою инфицированность, должна была равняться 10 из 11. Вот почему при оценке результатов неплохо выяснить: относитесь вы к группе повышенного риска или нет.

Теория Байеса говорит о следующем: вероятность того, что А произойдет, если произойдет В, обычно отличается от вероятности того, что В произойдет, если А произойдет. Что не принимается во внимание и является частой ошибкой среди врачей. Например, во время исследований в Германии и США терапевтов попросили подсчитать вероятность того, что не обнаруживающая симптомов рака женщина в возрасте между 40 и 50, чья маммограмма показывает рак, на самом деле больна раком груди, если при этом в 7% случаев маммограммы диагностируют рак, когда на самом деле его нет. Кроме того, врачам сообщили, что в реальности частота возникновения заболевания равна примерно 0,8% и что «ложно отрицательные» результаты равны примерно 10%. Принимая все вышесказанное во внимание, можно с помощью метода Байеса определить, что «положительная» маммограмма диагностирует рак лишь примерно в 9% всех случаев. Однако в немецкой группе треть врачей пришли к выводу, что вероятность равна примерно 90%, а срединное значение оказалось равно 70%. В американской группе у 95 из 100 врачей вероятность оказалась равна примерно 75%.

Подобная же ситуация складывается и с проверкой спортсменов на допинг. Цифры, на которые часто ссылаются, на самом деле не соответствуют действительности, являясь относительным числом ложно положительных заключений. И дают искаженное представление о вероятности того, что спортсмен виноват в приеме допинга. Например, Мэри Дэкер Слэни, бегунья мирового класса и чемпионка 1983 г. в забегах на 1.500 и 3.000 м, пыталась снова вернуться в спорт, когда на отборочных соревнованиях в Атланте в 1996 г. ее обвинили в приеме допинга — вещество попало в организм при употреблении тестостерона. После всевозможных обсуждений ассоциация (с 2001 г. официально именуемая Международной ассоциацией легкоатлетических федераций) вынесла решение: Слэни «была виновна в злоупотреблениях, связанных с приемом допинга», которое по сути дела поставило крест на ее спортивной карьере. Согласно некоторым свидетельским показаниям в деле Слэни, «относительное число ложно положительных заключений» применительно к анализу мочи спортсменки могло доходить до 1%. Видимо, поэтому многие легко согласились со следующим: вероятность вины спортсменки равна 99%. Однако мы уже убедились в том, что это неверно. Предположим, анализы сдали 1.000 спортсменов, 1 из 10 был признан виновным, а результаты анализа, выданные признанному виновным спортсмену, представляли собой 50% вероятность злоупотребления допингом. Далее из каждой 1.000 проверенных спортсменов 100 оказались бы виновными, а результаты анализов указали бы на 50 из этих 100. Тем временем из 900 невиновных спортсменов по результатам анализов выделились бы 9 человек. Таким образом, в действительности анализы на выявление допинга означали вовсе не то, что вероятность вины спортсменки равнялась 99%, скорее всего, цифра была: 50/59 = 84,7%. Другими словами, если иметь в виду свидетельства, у вас должна быть такая же степень уверенности в том, что Слэни виновна, как и в том, что если она подбросит кость, число 1 не выпадет. Это, конечно же, не исключает разумные основания для сомнения, но важно вот что: соответствующие заключения, основанные на масштабной проверке (90.000 спортсменов ежегодно сдают мочу на анализы), равносильны обвинению большого числа невиновных спортсменов.

В сфере права такую ошибку перестановки двух элементов иногда называют «ошибкой обвинения», поскольку обвинитель часто прибегает к подобному типу ошибочного довода, подводя присяжных заседателей к обвинительному приговору подозреваемого, хотя доказательства и неубедительны. Например, рассмотрим имевшее место в Британии дело Салли Кларк. Первый ребенок Кларк умер в возрасте 11 недель. Как было сказано, смерть ребенка наступила в результате синдрома внезапной смерти ребенка грудного возраста — этот диагноз ставится, когда ребенок умирает внезапно, а вскрытие не проясняет причины смерти. Кларк снова забеременела. Ее второй ребенок прожил 8 недель, а затем умер по той же причине — синдром внезапной смерти. После этого случая Кларк была арестована: ей предъявили обвинение в том, что она задушила обоих детей. Во время судебных слушаний обвинение вызвало в качестве эксперта педиатра, Роя Мидоу, который свидетельствовал: учитывая редкость синдрома, вероятность того, что оба ребенка умерли именно по этой причине, равны 73 млн к 1. Обвинитель не предъявил никакого другого существенного свидетельства против Кларк. Могло ли такое свидетельство эксперта оказаться достаточным для вынесения обвинительного приговора? Присяжные решили, что могло, и в ноябре 1999 г. Кларк посадили.

Мидоу подсчитал: вероятность того, что ребенок умрет от синдрома внезапной смерти, равна 1 из 8.543. Свою цифру — 73 млн к 1 — он получил путем умножения этих двух факторов, по одному на каждого ребенка. Однако согласно его подсчетам выходит, что смерти детей были независимы друг от друга — то есть, ни факторы окружающей среды, ни наследственность не играли роли, увеличивавшей риск заболевания второго ребенка синдромом, от которого умер первенец. В действительности, в статье, опубликованной в «Бритиш медикал джорнел» через несколько недель после суда, вероятность того, что оба ребенка умрут в результате синдрома внезапной смерти, была определена как 2.75 млн к 1. Но даже эта цифра слишком велика.

Чтобы понять, почему так получилось, что Салли Кларк посадили, нужно разобраться в ошибке перестановки двух элементов: мы пытаемся выяснить не вероятность того, что двое детей умрут в результате синдрома, а вероятность того, что двое умерших детей действительно умерли в результате синдрома. Спустя два года после заключения Кларк в тюрьму, Королевское общество статистиков рассмотрело ее дело и в сообщении для печати заявило: в своем решении присяжные «допустили серьезную логическую ошибку, именуемую “ошибкой обвинения». Присяжные должны рассмотреть два разных объяснения детских смертей: от синдрома или же в результате умышленного убийства. И два смертельных исхода от синдрома, и два убийства в равной степени маловероятны, однако одно из двух все же случилось. В данном случае значение имеет относительное правдоподобие смертей..., а вовсе не то, насколько маловероятно ... {объяснение смертей синдромом внезапной смерти{114}}». Позднее математик подсчитал относительное правдоподобие того, что семья теряет двух детей в результате синдрома внезапной смерти или же умышленного убийства. И на основании имевшихся данных заключил: вероятность того, что двое младенцев умрут в результате синдрома, в 9 раз выше, нежели то, что они станут жертвами убийства.

Семья Кларк подала на апелляцию, а в качестве экспертных свидетелей наняла собственных специалистов-статистиков. Апелляцию они проиграли, однако не сдались и решили добиваться врачебных разъяснений относительно причины смертей. В результате открылось, что патологоанатом, привлеченный обвинением, утаил тот факт, что второй ребенок на момент смерти страдал от бактериальной инфекции, каковая и могла вызвать летальный исход. Основываясь на данном обстоятельстве, судья отменил обвинительный приговор — Салли Кларк, просидевшая в заключении почти три с половиной года, была освобождена.

Известный адвокат и профессор юридического факультета в Гарварде Алан Дершовиц также с успехом воспользовался «ошибкой обвинения» во время защиты О.Дж. Симпсона, обвинявшегося в убийстве своей бывшей жены, Николь Браун Симпсон, и ее спутника. Судебный процесс с участием Симпсона, бывшей футбольной знаменитости, был одним из самых громких событий в прессе за 1994-95 гг. У полиции имелось достаточно улик, свидетельствовавших против Симпсона. Одну перчатку, испачканную в крови, они нашли у него дома, другую обнаружили на месте преступления. Пятна крови, совпадающей по группе с кровью Николь, были найдены на перчатках, в его машине, на носках в его спальне, а также на подъездной аллее у дома и в самом доме. Более того, образцы ДНК крови, обнаруженной на месте преступления, совпали с образцами ДНК крови Симпсона. Защита была бессильна, она разве что обвинила полицейское управление Лос-Анджелеса в расизме (О. Дж. Симпсон — афро-американец), а также нечестности и усомнилась в подлинности улик.

Обвинение решило напирать на склонность Симпсона к агрессии по отношению к Николь. Первые десять дней обвинители говорили о многочисленных случаях насилия и заявляли о том, что одно уже это является достаточным основанием, чтобы подозревать Симпсона в убийстве. Как они выразились, «начинается с пощечины, а заканчивается убийством»{116}. Защита воспользовалась этой стратегией, усмотрев в ней двойные стандарты — адвокаты указали на то, что обвинение две недели пыталось сбить присяжных с толку, а свидетельства о том, что Симпсон раньше бил Николь, ничего не значат. Вот доводы Дершовица: в США 4 млн женщин ежегодно терпят побои от своих мужей и парней, и однако согласно общей сводке ФБР по преступлениям, совершенным в 1992 г., убитыми оказались в общей сложности 1 432 женщины, то есть 1 женщина из каждых 2 500. Следовательно, возразила защита, очень немногие мужчины, поколачивающие своих жен, способны убить их. Верно? Да. Убедительно? Да. Имеет ли отношение к делу? Нет. Нас интересует не вероятность того, что мужчина, который бьет жену, зайдет так далеко, что убьет ее (1 из 2.500), а скорее вероятность того, что избитая и убитая жена была убита именно тем, кто ее избивал. Согласно сводке по совершенным в США преступлениям в 1992, а также 1993 гг., вероятность, которую Дершовиц (или обвинение) должны были привести, звучала бы следующим образом: из всех избитых женщин, убитых в США в 1993 г., около 90% были убиты теми, кто их бил. Эти статистические данные во время судебного процесса обнародованы не были.

По мере того, как приближался час вынесения приговора, вдвое сократилось количество междугородних звонков, объем торгов на Нью-йоркской фондовой бирже упал на 40%, а около 100 млн человек включили телевизоры и радио, чтобы услышать: невиновен. Возможно, Дершовиц считал оправданной стратегию введения присяжных в заблуждение, потому как по его словам «клятва, произносимая в зале судебных заседаний — говорить правду, всю правду и ничего, кроме правды» касается только свидетелей. Адвокаты со стороны защиты, обвинения, а также судьи не дают этой клятвы... и конечно же, справедливо сказать, что в основе американской судебной системы лежит принцип — не говорить всю правду».

Хотя условная вероятность произвела среди идей о теории случайности революцию, Томас Байес не был революционером, его работа, пусть даже и опубликованная в престижном издании «Philosophical Transactions» в 1764 г., осталась незамеченной. Пока другой человек, французский математик Пьер-Симон де Лаплас, не привлек внимание ученых к идеям Байеса: так мир узнал, как неразличимые на первый взгляд вероятности могут быть вычислены благодаря очевидным исходам.

Возможно, вы помните: «золотая теорема» Бернулли позволяет вычислить еще до самого эксперимента с подбрасыванием монет степень уверенности в том, что получится определенный исход (при условии, что монета идеальна, без изъянов). Возможно, вы также помните: теорема эта не скажет вам уже после проведенного вами эксперимента с монетой степень вероятности того, что монета была идеальной. Точно так же, если вам известно: вероятность того, что старик восьмидесяти пяти лет доживет до девяноста, равна 50/50, «золотая теорема» подсказывает вероятность того, что половина из стариков восьмидесяти пяти лет в группе из 1.000 человек умрет в течение ближайших пяти лет. Однако если половина людей в группе умрет в течение ближайших пяти лет уже после того, как им исполнится восемьдесят пять, теорема не ответит на вопрос: насколько вероятно, что неявные шансы на выживание для людей из этой группы равны 50/50. Или такой пример. Если Форд знает, что у 1 из 100 его машин неисправна трансмиссия, при помощи «золотой теоремы» можно узнать вероятность того, что в партии из 1.000 машин 10 или более трансмиссий будут неисправными однако если Форд обнаружит 10 неисправных трансмиссий в выборке из 1.000 машин, данный факт не сообщит автомобильной компании вероятность того, что среднее арифметическое неисправных трансмиссий равно 1 из 100. В жизни наиболее частой из данных примеров оказывается вторая постановка задачи: вне ситуации связанной с азартными играми, мы обычно не обладаем теоретическими знаниями шансов, скорее нам приходится вычислять их, основываясь на серии наблюдений. Ученые тоже оказываются в подобном положении: обычно они не пытаются найти (располагая размером физической величины) вероятность того, что измерения получатся такими либо другими, а вместо этого стараются распознать истинный размер физической величины, опираясь на ряд измерений.

Я специально выделил это различие — ввиду его важности. Оно определяет существенную разницу между вероятностью и статистикой: первая имеет дело с прогнозами на основе определенных вероятностей; последняя связана с заключениями на основе вероятностей, выведенных посредством серии наблюдений.

Именно к ряду вопросов, связанных со статистикой, и обращался Лаплас. Он не знал о существовании теории Байеса и, следовательно, вынужден был придумать ее снова. Как только Лаплас сформулировал теорию, встал следующий вопрос: имеется ряд измерений; каково наилучшее предположение, какое можно сделать из истинного размера измеренной величины, и какова вероятность того, что это предположение будет «близко» к истинному размеру, какие бы требования вы ни предъявляли к степени этой «близости»?

Лаплас с головой ушел в исследования; работа, начатая в 1774 г., затянулась на сорок лет. Вообще Лаплас был человеком неплохим, не чуждым широких жестов, однако иной раз неосознанно заимствовал идеи из чужих работ и без устали рекламировал себя. Лаплас располагал гибкостью травы на ветру — легко прогибался, что позволяло ему во время своего эпохального труда не отвлекаться на происходившие вокруг бурные события. Еще до Французской революции Лаплас занял выгодную должность преподавателя в Военной академии, где ему посчастливилось принимать экзамен у способного шестнадцатилетнего юноши по имени Наполеон Бонапарт. В 1789 г., когда грянула революция, Лаплас некоторое время находился под подозрением, однако не в пример многим другим уцелел, заявив о своей «страстной ненависти к королевскому дому», и позднее был не раз награжден уже республиканским правительством. Далее, когда в 1804 г. Наполеон провозгласил себя императором, Лаплас туг же забыл о своих республиканских взглядах; в 1806 г. ему дали титул графа. Когда же к правлению вернулась династия Бурбонов, Лаплас раскритиковал Наполеона в своем труде «Аналитическая теория вероятностей» издания 1814 г., написав: «падение империй, притязавших на вселенское господство, могло бы быть предсказано с очень высокой долей вероятности человеком, сведущим в вычислениях вероятностей». Предыдущее же издание, 1812 г., было посвящено «Наполеону Великому».

От гибкости Лапласа в политических вопросах только выиграла математика, поскольку анализ Лапласа оказался глубже и полнее, чем анализ Байеса. Имея в качестве основы работу Лапласа, мы в следующей главе оставим мир вероятности и познакомимся с миром статистики. Их область слияния является одной из самых важных во всех естественных науках — это колоколообразная кривая или же график нормального распределения. Кривая, а также сопутствующая ей новая теория измерения и станут темами следующей главы.

Источник: Млодинов Леонард, «(Не)совершенная случайность. Как случай управляет нашей жизнью»


Источник: cont.ws

Комментарии: