Информационные когомологии

Anything is a cohomology if you are brave enough

Это будет неформальный рассказ про информационные когомологии, которые были определены Бадо-Бенекеном в 2014 году в качестве категорно-алгебраической формализации информационной энтропии. Энтропия H - это некий функционал на множестве всех вероятностных мер. Почему энтропия выглядит именно так, как она выглядит? Шеннон потребовал, чтобы энтропия обладала набором эвристических свойств, и доказал, что этими свойствами обладает только один функционал, с точностью до мультипликативной константы. Он также заметил, что энтропия удовлетворяет соотношению H(X)-H(X,Y)+H(Y|X)=0, если аккуратно определить присутствующие в формуле символы.

Если обычный человек видит в этом соотношении "ну какой-то логарифмический (тропический) аналог формулы полной вероятности", то Бадо и Бенекен увидели в нем же условие коцикла в бар-конструкции по типу того, что возникает в когомологиях групп или алгебр. Осталось только придумать теорию когомологий, в которой именно такие 1-коциклы. Что они и сделали, итоговый продукт назвали информационными когомологиями. Это инвариант диаграммы ?-алгебр. Такие диаграммы - уже не топологические пространства, но их можно превратить в топосы Гротендика, и работать с абелевой категорией пучков на них.

Если диаграмма похожа на диаграмму граней симплекса, то модуль ее 1-х информационных когомологий одномерен, и его порождает энтропия Шеннона. Можно для произвольного симплициального комплекса определить диаграмму (для ценителей: это такие полиэдральные произведения в вероятностной категории!), но про их информационные когомологии в старших размерностях, кажется, ничего не известно.

Впечатление, что в этой теме есть над чем поразмыслить: начиная от открытых математических вопросов, заканчивая возможными связями этой истории с диффузионными нейросетками. Я постараюсь рассказать какое-то общее введение, хотя углубляться в когомологии пучков на топосах Гротендика не буду, - это явно занятие не на пару часов. Однако, у слушателей предполагается некоторый бэкграунд:

* Основы тервера: ?-алгебры, вероятностные меры, условные вероятности, стандартные операции на ?-алгебрах. Собственно интуиция об информационной энтропии тоже будет полезна, потому что у меня ее нет.

* Основы теорката: ковариантные/контравариантные функторы, диаграммы, категория чума. Что такое чум, его диаграмма Хассе, да и симплициальные комплексы - тоже лучше понимать.

* Общематематическая эрудиция на тему "разные штуки определяются алгебрами функций на них". Например, вы знаете nullstellensatz Гильберта (о соответствии аффинных многообразий и конечно порожденных алгебр) или теорему Гельфанда-Колмогорова-Наймарка (о соответствии компактных хаусдорфовых пространств и коммутативных C*-алгебр). Если вы в связи с этим еще и понимаете, зачем в принципе нужны сайты, топосы, схемы и прочая гротендиковская чертовщина, то вам будет совсем хорошо.

* Видимо, знакомство хоть с какими-то когомологиями будет полезно. В идеале вы знаете, что такое когомологии группы, и как их считать с помощью алгебраической бар-конструкции. Но если нет, то когомологий симплициальных/де Рама хватит на первый раз.

---------------------------------------------—

На всякую дурость зум найдется:

https://docs.google.com/document/d/1ia2hSgMOWKZP7Sd_a8ONOgj30pFLArQnnOIMtKNVz5o/edit?usp=sharing

Источник: docs.google.com

Комментарии: