В продолжение вчерашнего — как же будут работать системы искусственного интеллекта послезавтрашнего дня?

В продолжение вчерашнего — как же будут работать системы искусственного интеллекта послезавтрашнего дня? Что у них там внутри и что можно поизучать сегодня, чтобы в случае чего завтра вовремя вскочить в экспресс? Пока основной тренд — это поиск каких-то глубинных аналогов с биологическими системами. Об этом говорят десятки лет, и вообще, эта "биологическая схожесть" стала зашкваром, столь её замусолили...

Но Хэва недаром думает в этом направлении десятки лет, она уже доказала изоморфизм между биологическими (математическое описание которых невозможно сформировать через стандартный анализ объективно измеряемых параметров) и хаотическими системами (по сверхтьюрингу).

https://science.sciencemag.org/content/268/5210/545

===

Вчерашний пост:

https://vk.com/wall-152484379_2153

Идея Explainable AI, что мета-система изучает различные текстовые публикации по рекомендации белковых экспертов, из которых извлекаются ключевые фрагменты (в некотором смысле например я сам так делаю, когда выжимаю курс из пяти учебников и двадцати статей), затем эти фрагменты пересобираются в более целостные причинно-следственные модели, и после чего получается объяснять явления и рассуждать с помощью этих моделей. Они будут, обещает DARPA, беспрецедентной полноты и сложности, которая однако постоянно сохраняет прозрачность (glass box). Постоянно подчёркивается "механистичность" всех этих процессов, то есть никакой по большому счёту сложной оптимизационной математики там нету, всё в основном на уровне символьных исчислений вроде комбинаторной логики (своя математика есть конечно, FOL точно, а возможно и HOL, дух Пролога везде).

И на основе таких моделей реализуются три направления: симуляция предметных областей, формальные модел-чекеры (солверы-пруверы :) и робототехника (особо выделена в отдельное направление).

Один из хаков кстати, как можно побить DARPA в этой сфере — это создавать логические движки для очень слабого железа, чтобы они работали на raspberry pi, да и вообще на bare metal, в реалтайме, это не просто инженерная, но и научная задачка. Не только оптимизация и "переписывание на си", но и комбинирование подходящих движков, а прежде всего, подбор и аккуратная реализация хорошей формальной теории. На базе HoTT сегодня уже несколько десятков математических теорий развивается.

"Где-то есть люди, для которых теорема верна" (с)

===

Вот например, чудо какое минималистичное: "Homotopy Type Theory in Python!!!"

https://github.com/Trebor-Huang/HoTT

Делаю сейчас первый цикл по объектно-ориентированному проектированию, и вот после него уже прямая дорожка, будем в это всё наконец погружаться, соревноваться с группировкой профессора Альтенкирха и DARPA :) Они вот пишут например, что "Focus on functional system development, taking inspiration from known biological properties". Я о прозаической востребованности функционального проектирования как раз на днях упоминал:

https://vk.com/wall-152484379_2151

По ООП будет совсем не хипстерство, а на основе достаточно хорошей математики. Знать её не нужно, но будут как следствия из неё, важные, но контринтуитивные правила проектирования (в виде решающего дерева с постепенной детализацией, см. ниже :). Потому что, например, наследование и subtyping это коварно похожие, но принципиально разные вещи; классы это не типы; семантическая двусмысленность ООП это обоюдоострый меч, и им легко порезать свой проект, и т. п. Разбирать это всё будем на примерах из roguelikes и dwarf fortress.

===

"Machine learning is the core technology", но современные подходы — непрозрачны, не интуитивны и трудны для понимания людьми. Глубокое обучение показывает хорошую обучаемость, но почти непрозрачно. Интересно, что почти рядом с Deep Learning на графике производительность обучения / понимаемость — старые-добрые И-ИЛИ графы доказательства теорем из наследия Пролога, но они тоже трудны для понимания, как там внутри этот вывод происходит. Но, AOG постепенно развивается:

https://arxiv.org/pdf/1506.00858.pdf

И из этой же области, метод опорных векторов SVM.

На этом же уровне примерно и случайные леса — использование решающих деревьев, которые в большом количестве дают приличное качество, для чего применяются так называемые ансамбли методов. Работает это всё быстро, но требуется дофига памяти, но зато они без проблем масштабируются, хорошо натравливаются на нечёткие задачки и т. п.

Далее, по мере снижения обучаемости, но повышения прозрачности — Байесовские сети доверия, модели Маркова, CRF-классификаторы (дискриминативные вероятностные модели), semantic role labeling (SRL) и Марковские логические сети. Не знал о таких! синтез сетей Маркова и FOL, круто :)

И внезапно, чистые решающие деревья (на моих последних циклах по алгоритмам их проходим) оказываются пусть и проигрывающими пока по производительности обучения глубоким нейронным сетям, однако по прозрачности и понимаемости работы они топчик (для этого, собственно, исходно и создавались).

В заключение, посмотрим, почему всё же deep learning нередко проигрывает в большом числе классов задач другим подходам, как вероятность (пресловутые графические модели) встречается с формальной логикой, и что тут можно поизучать на перспективу. И про мотивацию немного — почему погружение в эти вещи может увлечь на всю жизнь.

Источник: arxiv.org

Комментарии: