Артемий Колчинский Об автономных агентах и семантической информации

Почему смысл информации для каждого свой.

В сети появилось видео доклада Артемия Колчинского о семантической информации (1).

Уже 70 лет человечество ходит по худшему из лабиринтов из-за того, что с подачи Клода Шеннона доминирующей интерпретацией понятия «информация» стала «бессмысленная информация» (2).

Эта «бессмысленность информации» до последнего времени не позволяла ответить на «три проклятые вопроса», почему одна и та же информация:

для одного человека имеет смысл, а для другого — нет;

для одного составляет ценность, а для другого — нет;

для одного является истиной, а для другого — нет.

Четыре года назад в этой области произошла революция. Дэвид Волперт и Артемий Колчинский разработали новую теорию информации, дав формальное определение информации в контексте ее связи со смыслом и его интерпретацией (3).

Согласно новой теории, семантическая информация – это информация, которой обладает физическая система об окружающей среде, и которая казуально необходима системе для поддержания собственного существования.

Новая теория информации не только в состоянии ответить на «три проклятые вопроса», но и, по сути, является «единой теорией смысла информации», т.к. она универсальна для всех наук и всех видов физических систем - живых и неживых (4)

В новой теории впервые дано математическое определение до сих пор чисто интуитивных понятий: «ценность информации», «семантический контент» и «автономный агент».

Но с пониманием этих математических определений есть две проблемы:

• доказательный аппарат теории оперирует нетрадиционными формализмами на стыке информатики и термодинамики (типа «причинной необходимости» и «поддержания существования»), что с ходу и не поймешь, о чем идет речь;

• сложно разобраться в нетривиальных преобразованиях довольно сложных формул;

И поэтому столь ценно для желающих разобраться в новой теории простое и понятное 30 минутное изложение её брифа, сделанное Артемием Колчинским на недавно прошедшем междисциплинарном воркшопе «Is AI Extending the Mind?» https://t.me/theworldisnoteasy/1510

1. 70 лет человечество бредет по худшему из лабиринтов.

С 1948 г. доминирующей интерпретацией понятия «информация» стала «бессмысленная информация»

Этот пост - не закос под эзотерику и не плод биполярного расстройства (хотя «Звездная ночь» Ван Гога одна из моих любимых картин). Все абсолютно серьезно, что подтверждается научным весом инициатора этой истории Dan Dennett и примкнувших к нему ученых высшего калибра, типа David Wolpert.

Вот уже 70 лет человечество бредет по самому худшему из возможных лабиринтов, описанному в одном из рассказов Борхеса. Он писал, что худший лабиринт - это не какая-то сложная и запутанная форма, по которой можно плутать бесконечно, а лабиринт, состоящий из одного единственного абсолютно прямого пути.

Таким путем стала для человечества единая трактовка понятия информация, доминировавшая около 60 лет, а с началом тотальной цифровизации мира где-то лет 10 назад, превращающаяся из единой в практически единственную.

В 1948 году Клод Шэннон, с головой погруженный в решение инженерных задач кодирования, передачи и декодирования электронных сигналов, предпринял радикальный шаг в определении информации таким образом, что полностью исключил из определения смысл информации. В определении Шеннона игнорировался любой потенциальный смысл, который мог бы содержаться в передаваемом сигнале. Для Шеннона информацией были статистические свойства сигналов, отправленных от отправителя к получателю.

С тех пор такое определение стало доминирующим и вот уже 70 лет широко применяется в физических, биологических и социальных науках, не говоря уж об инженерных приложениях.

Между тем, лингвисты и философы продолжили бороться за определение информации в контексте ее связи со смыслом и его интерпретацией, фокусируясь, в основном, на изучении разума и языка.

70 лет они думали прежде всего о семантике высказываний, - о том, что они называют суждениями.

Таких исследователей не удовлетворяла абсолютно бессмысленная трактовка двоичной последовательности «010001010011110101001101010000110101111000110010», поскольку ее смысл «E=MC^2» ускользает в определении Шеннона.

Теория Шеннона и ее акцент на статистических свойствах информации были полезны во многих научных и технических контекстах. Но в других контекстах, и не только применительно к людям, информация без смысла кажется ограниченной и непродуктивной.

Два фундаментальных вопроса так и остаются пока без ответа:

— Является ли извлечение смысла источником разума?

— Может ли машина генерировать смысл из информации на ее входе?

Чтобы начать преодоление 70-летнего разрыва между информацией Шеннона и семантической информацией, знаменитый ученый Дэниел Деннетт организовал рабочую группу «Смысл информации», объединившую физиков, инженеров, эволюционных биологов, лингвистов, философов и нейроисследователей https://goo.gl/7bfACc .

Их подход состоит в том, чтобы определить наиболее фундаментальные случаи семантики смысла и изучить их свойства и последствия:

— в физике и инжиниринге;

— в биологии;

— в семантике естественных языков.

Цель этого – выработка альтернативной интерпретации информации посредством ее значения (смысла).

Первый семинар рабочей группы «Смысл информации» состоялся на прошлой неделе. Отправной точкой обсуждения на нем стало новое эссе гарвардского биолога проф. Дэвида Хейга https://goo.gl/om4dE9 .

Он предложил определить смысл, как результат интерпретирующего процесса, на входе которого информация.

Например.

Представьте простое устройство, способное порождать искру. Если в воздухе присутствует только кислород, ничего не происходит, но если присутствует водород, происходит взрыв.

А теперь рассмотрим другую конструкцию устройства, с одним ключевым отличием: датчик водорода. Если водород не обнаружен, система поражает искру. Если же водород обнаружен, искра не вырабатывается.

Система с датчиком действует по-разному, извлекая смысл из информации об окружающей среды. Можно ли сказать, что система интерпретирует среду? Если да, каков смысл этой интерпретации?

2. Создана кардинально новая теория информации

Это может быть переломным моментом для десятка наук и технологий: от биологии до ИИ

Революционная работа Артемия Колчинского и Дэвида Вольперта «Семантическая информация, автономное агентство и неравновесная статистическая физика» только что опубликована в трудах Королевского общества.

Мои постоянные читатели знакомы с предысторией этой фантастически интересной и бесконечно важной работы.

А) В январе в посте «70 лет человечество бредет по худшему из лабиринтов» было рассказано, что:

— с 1948 г. доминирующей интерпретацией понятия «информация» стала «бессмысленная информация»;

— эта интерпретация вот уже 70 лет ведет нас по худшему из возможных лабиринтов – вовсе не сложному и запутанному, в состоящему из одного единственного абсолютно прямого пути, ведущего в никуда.

Б) В июле в посте «Создана единая теория смысла информации, универсальная для живого и неживого» сообщалось о разработке проф. Дэвидом Вольпертом математической теории:

— формально описывающей семантическую информацию для широкого спектра наук: от философии и психологии до физики и биологии;

— применимой как для живых существ, так и для любой иной физической системы;

— объясняющей и математически описывающей, почему одна и та же информация для одного человека (и вообще, для любой физической системы) имеет смысл, а для другого – нет.

Новая работа Вольперта и Колчинского дает полное и законченное описание революционной теории информации.

Из этого описания следует:

— Семантическая информация определена, как синтаксическая информация, которую физическая система имеет о своей среде, и которая причинно необходима системе для поддержания своего собственного существования.

— «Причинная необходимость» определяется в терминах гипотетических вмешательств (counter-factual interventions), которые рандомизируют корреляции между системой и ее средой, а «поддержание существования» определяется с точки зрения способности системы держаться в низком энтропийном состоянии.

— Впервые дано математическое определение до сих пор чисто интуитивных понятий: ценность информации», «семантический контент» и «автономный агент». Сущностной связкой этих понятий является базовое положение, что физическая система является автономным агентом в той мере, в какой она располагает бОльшим объемом семантической информации.

Будучи принятой, кардинально новая теория информации:

изменит вектор развития математико-кибернетических дисциплин и, в первую очередь, ИИ;

сможет привести к разгадке самого интригующего вопроса биологии - как эволюционировали самые ранние формы жизни и как теперь адаптируются существующие виды, и в частности:

• увеличивается ли объем семантической информации в ходе эволюции?

• является ли обучение совершенствованием навыка сбора осмысленной и важной для существования организма информации?

поменяет все наши привычные инструменты работы с информацией – и в первую очередь – поисковики (привет поисковым алгоритмам Гугла и Яндекса).

3. Создана единая теория смысла информации, универсальная для живого и неживого.

Эта теория:

А) дает формальное описание семантической информации, пригодное для использования в разных науках (от философии и психологии до физики и биологии);

Б) позволяет использовать формальное описание семантической информации, как для живых существ, так и для любой иной физической системы (скалы, урагана или сети).

Данная теория объясняет и формально описывает, почему одна и та же информация:

для одного человека (и вообще, для любой физической системы) имеет смысл, а для другого – нет;

для одного имеет ценность, а для другого – нет;

для одного является истиной, а для другого – нет.

Подробности в новом посте https://goo.gl/82yTa1

Источник: youtu.be

Комментарии: