Математическая теория связи (видео 13) | Теория информации | Программирование

«Математическая теория связи» — так называлась статья, опубликованная Клодом Шенноном в 1948 году, сделавшая его всемирно известным, поскольку эта публикация стала считаться начальной точкой нового научного направления — теории информации, рассматривающего процессы обмена информацией в самом общем понимании и с помощью математических методов.

В ближайшее десятилетие научное сообщество оценило универсальность и эффективость нового информационного подхода в решении очень широкого спектра задач, в следствии чего популярнность теории информации настолько возросла, что начала вызывать тревогу своего автора, и даже побудила Клода Шенона в 1965 году написать еще одну статью, которую он озаглавил — «Бандвагон» — американский термин обозначающий эффект присоединения к большинству, в которой он предостерегал от переоценки теории информации следующими словами:

«Очень редко удается открыть одновременно несколько тайн природы одним и тем же ключом...»

Тем не менее теория информации оказалась тем ключом, который позволил открыть очень многие двери, сделав возможными не только разработки эффективных систем связи и алгоритмов, лежащих в основе практически всех современных вычислительных систем, но и открыв новые подходы в совершенно неожиданных областях таких, как генетика, нейробиология и квантовая физика.

В этом видео мы познакомимся с одной из ключевых идей из публикации Шенона — методом генерации теста с помощью n-грамм, основанным на применении марковских цепей, в которых каждое следующее звено является следующим слогом в слове.

Комментарии: