Любая система, существующая в природе, а тем более сложная система, такая, например, как современный город, предприятие, инвестиционный проект, человеческий организм, наконец, будучи предоставленной

Любая система, существующая в природе, а тем более сложная система, такая, например, как современный город, предприятие, инвестиционный проект, человеческий организм, наконец, будучи предоставленной самой себе, с течением времени накапливает погрешности и ошибки своего функционирования. Время – главный разрушитель, который работает против существования системы. Энтропия системы, то есть набор внутренних погрешностей или мера ее внутреннего беспорядка, растет с течением времени до тех пор, пока не достигнет значений, не совместимых с дальнейшим существованием системы. Система гибнет – предприятие банкротится, из города уезжают его жители, и город постепенно прекращает свое существование, человек умирает, проект останавливается из-за своей убыточности. Удержание сложной системы в рабочем состоянии возможно только через введение процедур и механизмов, сдерживающих рост энтропии.

Энтропия – это степень беспорядка, другими словами – неопределенности, неупорядоченности. Тогда система из разбросанных клочьев бумаги на улице, которые еще периодически подбрасывает ветер, имеет высокую энтропию.

Чаще всего в науке о данных мы встречаем средние значения энтропии - между невероятно высокими и идеально низкими. Высокой энтропии соответствует маленький прирост информации; низкой энтропии, наоборот, большой прирост информации. Прирост информации можно определить, как уровень чистоты системы - количество чистой доступной в ней информации.

Чем больше хауса (энтропия) тем меньше информации и наоборот. Значит минимизируется возможность обнаружить причинно-следственную связь.

(В сенате было выдвинуто предложение, что рабов следует отличать от свободных людей по одежде, но оно было отклонено из-за опасности того, что "тогда рабы смогут пересчитать нас" -(Единая форма одежды (униформа) укрепила бы среди рабов чувство единства и солидарности и угроза восстания становилась более реальной).(Сенека, "О Милосердии": 1,24). Что бы избежать угрозы восстания людей (рабов) используется информационный выигрыш с более высокой энтропией).

Информационный выигрыш или относительная энтропия в построении причинно-следственных связей ределяется как расстояние между двумя вероятностными распределениями P и Q. Также оно известно как расстояние Кульбака-Лейблера (Расстояние (расхождение, дивергенция) Ку?льбака — Ле?йблера (англ. Kullback–Leibler divergence), РКЛ, информационное расхождение, различающая информация, информационный выигрыш, относительная энтропия (англ. relative entropy) — неотрицательнозначный функционал, являющийся несимметричной мерой удалённости друг от друга двух вероятностных распределений, определённых на общем пространстве элементарных событий. Часто применяется в теории информации и математической статистике.)

Источник: vk.com

Комментарии: