Все мы знаем Закон Больших чисел: среднее по выборке независимых одинаково распределенных случайных величин стремится с ростом объема выборки к математическому ожиданию

Все мы знаем Закон Больших чисел: среднее по выборке независимых одинаково распределенных случайных величин стремится с ростом объема выборки к математическому ожиданию. Иными словами, если вы наблюдаете многократно одну и ту же случайную величину, складываете полученные значения и делите на число опытов N — результат будет все ближе (при больших N) к математическому ожиданию случайной величины. Одинаковое распределение означает, что опыт один и тот же. Независимость — что один опыт не влияет на другой.

Есть некоторые оговорки и предположения, причем в различных вариантах: существует несколько теорем. А вот для распределения Коши (плотность ???/(1+x?)) Закон не работает, потому что у него матожидания нет (ну, с натяжкой, формально, только по соображениям симметрии). Но в целом смысл таков, и это подводит обоснование под сами понятия вероятности и среднего.

Что приятно: Закон работает для любых распределений, лишь бы некоторые условия выполнялись. Для нормального есть намного более точные оценки, я уже рассказывал: по сути, ЗБЧ говорит лишь, что сумма величин с нулевым матожиданием растет медленнее, чем число слагаемых.

Законом малых чисел иногда в шутку называют ошибку, которая состоит в распространении ЗБЧ на маленькие выборки.

Возьмем орлянку: выигрыш или проигрыш единицы с равными шансами. Средний выигрыш за ход при большом числе игр стремится к нулю. Собственно, Центральная Предельная Теорема позволяет оценить распределение суммы N результатов как нормальное, причем среднее у него нуль, а дисперсия равна сумме (одинаковых, равных единице) дисперсий, то есть равна N. Тогда сигма —- это ?N. А вероятность уклонения нормального распределения от среднего на три сигмы — очень невелика. А среднее при этом будет не больше 3/?N. То есть, вероятность, что средний результат 100 партий будет больше 0.3, весьма невелика.

Однако это для больших N. Для малых дело обстоит иначе. Если N=10, то вероятность проиграть все десять партий равна 1/1024, а девять партий —- в десять раз больше, около 0.01.

Но вот я провел эксперимент на R.

c=0; for(n in seq(1e4)){ if(sum(round(runif(10))*2-1) < -9) {c=c+1} }; c

Десять тысяч эксериментов по 10 партий в орлянку. Считаются только "фиаско": 10 проигрышей подряд. Ну их 9-12 набирается.

Если в числах, то для пяти партий среднее выходит за пределы [0.4,0.6] с вероятностью 0.375, а для ста партий — 0.035.

Это приводит к такому эффекту: при малом числе попыток больше разброс, уклонение от среднего. Стрелок, который выпустил пять стрел, может случайно попасть очень хорошо и выглядеть лучше стрелка, который выпустил сто стрел.

Это же принцип "новичкам везёт", хотя тут ситуация глубже.

Предельный пример: явка на выборы в деревне, где всего двое живут, равна либо 100%, либо 50%, либо нулю. И если жители бросают монетку, то с вероятностью 25% у них явка больше, чем где-бы то ни было!

Еще "Сильный закон малых чисел" применяется для обозначения такого принципа: "Малых чисел не так много". Принадлежит Р. Гаю. Иными словами, мы обычно оперируем небольшими числами, просто потому, что большие неудобны, а потому совпадения неизбежны.

Например, "космическая скорость" (первая, вторая), выраженная в терминах массы планеты или звезды через расстояние до ее центра и гравитационную постоянную, чисто из теоретико-групповых соображений (также известных как принципы размерности или пи-теорема) пропорциональна квадратному корню из GM/R, коэффициент пропорциональности не может быть слишком большим или слишком малым (это более тонкое соображение). В итоге "почему-то" вторая космическая в корень из двух раз больше первой, а скорость ухода от гравитирующего тела в ОТО "случайно" совпадает с ньютоновкой второй космической скорстью, хотя там вообще нет ничего общего!

Парадокс дней рождения, о котором будет отдельная заметка, тому ещё один пример. В году 365 дней и это не так много, чтобы дни рождения не совпадали. Конечно, можно набрать 365 человек с несовпадающими днями рождения, но это сложно, и при случайном выборе дни рождени будут с большой вероятностью совпадать. Парадокс в том, что вероятность совпадения больше 50% задолго до половины от 365 — после 20 с чем-то.

Вот еще пример: сумма квадратов 3 и 4 равна квадрату 5, сумма кубов 3, 4, и 5 равна кубу 6. Совпадение или правило? Как насчет суммы четвертых степеней 3, 4, 5 и 6 — равна ли она четвертой степени 7?

Нет. Это совпадение.

Или вот продолжите ряд: 3 1 4 1 5

Какое число следующее?

9. Потом 2. Понятно, почему?

Закон Очень Больших Чисел — часть принципа невероятности. Гласит, что если пробовать достаточно много раз, вероятность наблюдать маловероятное событие хотя бы один раз сколь угодно велика (сколь угодно близка к единице). Иными словами, вероятность НИ РАЗУ не наблюдать маловероятное события МАЛА, если попыток много.

Еще одно значение выражения "закон малых чисел" относится к распределению Пуассона. Оно заслуживает отдельной заметки, сейчас кратко. Биномиальный закон, он же "схема Бернулли", дает вероятности наблюдать k успехов из n попыток при вероятности успеха в одной попытке p. При больших n и маленьких p считать становится трудно; выручает приближение биномиального закона законом Пуассона, или "малых чисел": если p мало, а n велико, так что np=?, то вероятность, что будет ровно k успехов хорошо приближается формулой exp(-?)??/k!.

Например, пусть вероятность чего-нибудь равна 0.01 и делается сто попыток. Вероятность ровно двух успехов составляет 0.1849; оценка Пуассона дает 0.1839.

В заметке использовался материал книги Д. Хенда Improbability Principle.

Источник: vk.com

Комментарии: