Бездумные машины

Что пошло не так в развитии ИИ и куда это может привести

Cамой известной технологией 2017 года, одинаково привлекательной для СМИ и инвесторов, стал искусственный интеллект (ИИ) и его машинное обучение. Многие эксперты полагают, что это долгосрочный тренд на многие годы. Что, наконец-то, возникшее более полувека назад научно-технологическое направление, названное ИИ, вырулило на магистральный путь прогресса.

Но так ли это?

А что, если правы те, кто считают этот путь ошибочным, ведущим в тупик инженерным подходом, принципиально не способным привести к пониманию устройства интеллекта и возможности его воспроизведения в машине?

Что если, как говорят критики возобладавшего подхода к развитию ИИ, — он есть не что иное, как временная победа инженеров над учеными в условиях, когда тактические коммерческие цели бизнеса взяли верх над стратегическими целями человечества в познании мира и самих себя?

Как получилось, что многие отцы-основатели направления ИИ — самые известные и авторитетные ученые мира, — оказались в числе критиков сегодняшнего подхода к развитию ИИ, определяемого крупнейшими мировыми корпорациями?

Наконец, что ждет человечество на этом пути, если окажутся правы его критики, и рано или поздно человечеству все равно придется отказаться от используемой модели устройства интеллекта (человеческого и машинного), подобно тому, как пришлось отказаться от геоцентрической модели мироздания после многих сотен лет ошибочных представлений о мире?

В этом посте я не буду ничего доказать. Лишь попытаюсь рассказать, как все это получилось и почему.

Это рассказ о битве «титанов науки» и «богов бизнеса», которую, как и в древнегреческой мифологии, выиграли боги, воцарившись после этого на Олимпе развития ИИ.

Титаны науки бросают вызов

Bмае 2011 г. Массачусетский технологический институт (MIT) отмечал свое 150-летие. Одним из центральных событий в обширной программе эпохального юбилея мировой науки стал симпозиум “Brains, Minds and Machines” («Мозги, умы и машины»), посвященный прошлому и будущему ИИ в его связи с нейронауками.

Зал панельных дискуссий симпозиума «Brains, Minds and Machines», 3–5 мая 2011, MIT

Как сказал, глядя на состав участников, модератор установочной дискуссии известный когнитивный психолог Стивен Пинкер, ему вспомнилась знаменитая цитата Президента Кеннеди, когда тот организовал в Белом доме обед, собрав вместе всех живых лауреатов Нобелевской премии западного мира —

«Это самый выдающийся пул талантов и знаний, собранных вместе под одной крышей».

Выбор ИИ в качестве темы юбилейного симпозиума был предопределен, поскольку именно здесь, в стенах MIT, и возникло это ключевое научно-технологическое направление XXI века. Еще в 1950-х и 60-х Уоррен МакКаллох и Уолтер Питтс построили в MIT первые сети искусственных нейронов, Джон Маккарти и Марвин Мински придумали термин ИИ и структурировали изучение новой дисциплину в рамках созданной ими «AI Group», а Ноам Хомски революционизировал лингвистику, рассматривая язык (ключевой фактор в понимании интеллекта), как вычислительное, а не чисто культурное явление.

По замыслу организаторов, симпозиум должен был стать не просто юбилейным торжеством для подведения итогов. Его сверхзадача виделась в привлечении внимания всех многодисциплинарных исследователей ИИ к необходимости переосмысления целей ведущихся ими исследований и возрождению того изначального научного подхода, из которого возникла научная дисциплина ИИ более 50 лет назад. Научного подхода отцов-основателей ИИ, ориентированного на поиск ответов для трех, возможно, самых главных вопросов человечества:

— Как работает интеллект?

— Как наш мозг порождает познавательные способности?

— Может ли это быть реализовано в компьютере?

Тематическая подводка симпозиума формулировалась так.

50+ лет исследований в области ИИ и машинного обучения привели к созданию замечательно успешных приложений, таких как Deep Blue, Google search, Watson и пр. И хотя каждая из этих систем в своей узкой области работает на уровне человека и даже существенно лучше, ни одна из них не может считаться действительно интеллектуальной.

Основными вопросами панелей симпозиума стали следующие:

1. Какие новые усилия в движимых научным любопытством, а не коммерческой выгодой исследованиях необходимо предпринять для достижения понимания работы интеллекта и мозга?
2. Какие новые фундаментальные исследования способны создать синергетический эффект на стыках компьютерной науки, когнитивной науки, неврологии и социальных наук?
3. Как интегрировать различные аспекты интеллекта, такие как зрение, планирование, язык, овеществление и социальный интеллект?

Выступавшие на установочной панели «The Golden Age — A Look at the Original Roots of Artificial Intelligence, Cognitive Science, and Neuroscience» (Золотой век — взгляд на оригинальные корни ИИ, когнитивистики и нейронауки) первопроходцы этого комплекса из 3х междисциплинарных научных направлений напомнили изначальную, воистину титаническую цель «Золотого века» их становления (50е-70е гг. XX века)

— раскрыть тайны устройства интеллекта и возможности его воспроизведения в машине.

Участники установочной панели «The Golden Age — A Look at the Original Roots of Artificial Intelligence, Cognitive Science, and Neuroscience»

Первопроходцы ИИ рассказывали в своих выступлениях о том:

— как по мере прояснения вычислительной сложности даже самых общих человеческих когнитивных (относящихся к познанию) задач, цели исследований неуклонно упрощались;

— и как, в результате упрощения целей, ИИ превратился в широкий спектр инженерных приложений, облегчающих человеку выполнение разнообразных задач: от авто-настройки фотокамеры до голосовых ассистентов в системах бронирования авиабилетов или при управлении бытовыми приборами.

Выступления участников дискуссии фокусировались вокруг одной главной мысли — пришло время для комплекса междисциплинарных исследований ИИ, когнитивистики и нейронауки снова стать амбициозными и вернуться к своей главной цели — понять, как работает интеллект.

«Задайтесь вопросом, почему нет роботов, которые можно было бы отправить для ремонта японских реакторов», — сказал Марвин Мински , впервые начавший создавать нейронные сети еще в 1950-х и существенно продвинувший эти разработки в области ИИ и робототехники. «Ответ заключается в том, что сначала в 1960-х и 1970-х был достигнут большой прогресс. А дальше что-то пошло не так. Сегодня мы видим, как студенты создают роботов, умеющих танцевать, играющих в футбол и баскетбол и даже делающих смешные физиономии — но люди не учатся делать роботов умнее».

Патрик Уинстон, директор лаборатории ИИ в MIT с 1972 по 1997 год, вторил Минскому. «Многие возразят, если сказать, что прогресса в исследованиях ИИ нет. Но я не думаю, что кто-то возразит против предположения, что прогресс за последние 20 лет мог бы быть существенно большим.
То, что «пошло не так» в исследованиях ИИ, — случилось в 80-е годы. Среди причин этого, Уинстон назвал слишком ранние попытки коммерциализации ИИ. А самой большой ошибкой, по его словам, стала «механистическая балканизация» исследований ИИ, дробящая эту научную область на все более узкие подразделы, — такие как нейронные сети или генетические алгоритмы.
«Когда вы посвящаете свои конференции механизмам, вы перестаете работать над фундаментальными проблемами, а вместо этого занимаетесь только теми проблемами, с которыми могут справиться механизмы.»
«Исследователи должны сосредоточиться на тех вещах, которые делают людей отличными от других приматов и даже от неандертальцев… Волшебный ингредиент, который делает людей уникальными, — это наша способность создавать и понимать тексты, используя способности, которые поддерживает язык. Когда у вас есть тексты, у вас есть особый вид творчества, который делает человеческий вид отличным ото всех иных».

Эту мысль развили два выдающихся лингвиста Ноам Хомски и Барбара Парти. Они отстаивали мысль, что понимание человеческого языка является ключом к созданию подлинно мыслящих машин.
«На самом деле знание семантики является предпосылкой того, чтобы называться интеллектом», — сказал Барбара Парти.

Ноам Хомский просто высмеял исследователей в области машинного обучения, использующих чисто статистические методы для создания моделей поведения, имитирующих что-либо в мире, даже не пытаясь понять смысл этого поведения.

Хомский сравнивал таких исследователей с учеными, занимающимися изучением танцев возвращающихся в улей пчел путем статистического моделирования этих танцев без каких-либо попыток понять, почему пчелы ведут себя таким образом.

Сидней Бреннер, расшифровавший совместно с Фрэнсисом Криком трехбуквенный код ДНК и построивший полную нейронную структуру червя c. elegans на клеточном уровне, согласился с тем, что исследователи, как в области ИИ, так и в нейробиологии перегружены изучением лежащих в основании процессов деталей, вместо того, чтобы искать более крупные и фундаментальные смыслы на более высоких уровнях понимания.

Комментируя попытки повторить его достижение в составлении нейронной «схемы электропроводки» червя c. elegans для более сложных организмов, Бреннер сказал, что в этих попытках нейро- и когнитивные ученые явно «переусердствовали». Вместо этого, они должны переориентироваться на проблемы более высокого уровня. Бреннер использовал аналогию с кем-то, делающим фото с помощью смартфона: сегодня никому не придет в голову давать описание такого действия на транзисторном уровне: гораздо более полезно обсудить процесс с точки зрения подсистем и программного обеспечения более высокого уровня.

Эмилио Биззи , один из основателей МакГоверновского Института исследований мозга, также указал, что исследователи должны сосредоточиться на более высокоуровневых элементах человеческого интеллекта, таких как способность обобщать опыт обучения и умение плавно видоизменять свои планы по мере возникновения препятствий на пути к достижению цели.

Лейтмотив всех выступлений установочной панели можно было бы сформулировать так.

— Уже с 80х годов прошлого века в развитии направления ИИ «что-то пошло не так». И теперь эти исследования ведутся лишь в узко практических, но при этом научно-тупиковых направлениях.

— Упрощение целей, их коммерческая фокусировка на решении инженерных задач и увлечение статистическими методами машинного обучения привело к забвению изначальной высокой цели понимания основ работы интеллекта и мозга, делая достижение этой цели все более нереальной и призрачной.

— Пришло время для «перезагрузки» в области ИИ-исследований и возвращения их на путь решения одной из величайших проблем современной науки и, возможно, самой важной задачи человечества — достижению научного понимания того, как работает интеллект, как он порождается мозгом и как его можно воспроизвести на машинах.

Общая позиция ведущих мировых ученых в области ИИ, высказанная ими на симпозиуме, была резюмирована в заголовке MIT Technology Review от 4 мая 2011:

«Unthinking Machines. Artificial intelligence needs a reboot, say experts» (Бездумные машины. Искусственный интеллект требует перезагрузки, говорят эксперты).

По сути, титаны науки назвали вещи своими именами: вместо создания более совершенного искусственного интеллекта бизнес занимается лишь коммерциализацией разнообразных приложений на основе искусственного бездумия.

Боги бизнеса наносят ответный удар

Bызов «титанов науки» мейнстриму исследований ИИ, не мог остаться без ответа «богов бизнеса». Главным калибром ответил «верховный бог» современных ИИ-технологий — корпорация Google, от которой выступил ее директор по исследованиям и соавтор знаменитой монографии, по которой учатся студенты многих университетов мира, «Artificial Intelligence: A Modern Approach» Питер Норвиг.

Целью эссе Норвига «On Chomsky and the Two Cultures of Statistical Learning» (О Хомском и двух культурах статистического обучения) стала критика позиции самого известного и цитируемого мирового ученого 2й половины XX века Ноама Хомского, наиболее детально обосновавшего бесперспективность современного подхода к развитию ИИ.

Питер Норвиг (слева) и Ноам Хомский

Обстоятельный текст эссе Норвига можно прочесть на его сайте. В нем Норвиг излагает свое видение критики Хомского и анализирует ее, чтобы показать, где Хомский неправ. Основные контраргументы Норвига призваны доказать, что статистический подход в области ИИ не только оправдан, но и абсолютно верен. И это справедливо, как при решении инжиниринговых задач, так и научных.

Не вдаваясь в подробности, я бы резюмировал контраргументацию Норвига так.

1. Хомский прав, разделяя инженерный и научный подходы, однако он не прав, противопоставляя их. Оба подхода развиваются параллельно и помогают развитию друг друга.
2. Наука — это сочетание сбора фактов и построения теорий; но она не может развиваться самостоятельно без инжиниринга, показывающего, какие теории верны, а какие нет.
3. Неважно, что статистические модели содержат миллиарды элементов и потому необъятны для понимания человеком. Такие модели все равно позволяют человеку получать представление о поведении систем, исследуя их свойства, как функцию данных — на каких данных модели дают хорошее приближение, а на каких — нет.
4. Кроме того, многие явления в науке по своей природе стохастичны, и простейшая их модель — вероятностная.
5. Изучение и освоение человеком основного инструмента своего интеллекта — языка, скорее всего, также базируется на чем-то вроде вероятностного и статистического вывода.
6. Точное предсказание — это тоже, своего рода, инсайт. И, следовательно, модели, дающие правильные предсказания, помогают ученым развивать науку.

Ноам Хомский не замедлил с ответным выпадом, дав обширное интервью журналу The Atlantic, в котором детально объяснил, почему ошибочен современный подход к ИИ, не смотря на всю контраргументацию Норвига.

Вкратце принципиальные противоречия позиций Хомского и Норвига можно резюмировать так (а желающие ознакомиться с их детальным анализом и разбором могут сделать это, прочтя работу Йошихико Сухара).

1. Главным, против чего выступил Ноам Хомский, это краеугольный камень современных ИИ технологий — использование машинного обучения на больших данных.
   Хомский признал, что для решения многих инженерных задач статистический подход вполне хорош, как, например, в работе поисковой системы, способной быстро обрабатывать огромные массивы данных. Но что касается науки, статистический подход просто неадекватен, а говоря более жестко, это просто тупик. Такой подход в принципе не позволяет научить компьютер понимать семантику языка. Например, понять, какой смысл несет в себе фраза «физик сэр Исаак Ньютон», даже если мы сможем создать поисковую систему, которая возвращает разумные ответы пользователям, вводящим в поисковой строке эту фразу.
2. Принципиальное различие научного и инженерного подходов, в интерпретации Хомского, метафорически можно изобразить так.

— В инжиниринге (справа) придумывают наиболее простое, дешевое и надежное решение конкретной задачи.

— В науке же (слева) пытаются понять, как система устроена и какие закономерности лежат в ее основе, и лишь затем, на основе этого понимания, ищутся наиболее изящные решения для каких-то конкретных задач.

3. Бессмысленно перемалывать тонны данных, если вы хотите понять, как устроена система и как она работает. Даже если вы решите при этом конкретную задачу, вы все равно не приблизитесь к пониманию системы ни на йоту.

4. Чтобы начать хоть что-то понимать, необходимо найти правильные элементы для описания проблемы или, говоря иначе, выйти на правильный «уровень абстракции». Причем, чем выше этот уровень, тем на большие объяснительные возможности абстрактной модели можно рассчитывать.
Например, мы никогда не найдем вычислительные единицы мозга, если будем искать их в схеме усиления синаптических связей или путем картирования нейрональных связей типа Коннектом, где пытаются отобразить «проводку» всех нейронов в нервной системе организма (т.е. диаграмму, в которой нервные клетки связаны с другими). Вслед за великим генетиком и биологом, Нобелевским лауреатом Сиднеем Бреннером, Ноам Хомский считает подобные проекты «формой безумия» (хотя, добавлю от себя, зачем искать безумие там, где есть вполне понятный материальный интерес в осваивании миллиардных бюджетов).

5. Таким образом, научный и инжиниринговый подходы принципиально разные.

— Ученый должен пытаться понять основные принципы, касающиеся ключевых свойств системы.

— Инженер вполне может удовольствоваться аппроксимацией неанализируемых типов данных.

6. Нет ничего плохого в теории вероятностей и статистике. Они отлично служат при решении инженерных задач, но абсолютно непродуктивны для построения объясняющий моделей, без которых понимание невозможно.

7. Кроме того, по мнению Хомского, знание вообще не описывается какими-либо вычислительными алгоритмами, поскольку не является вычислительным процессом (например, знание арифметики аксиоматично — см. аксиомы Пеано).

Кто прав, как обычно, решили деньги

Pезультат дебатов Хомский — Норвиг вряд ли для кого-нибудь был бы секретом. Очевидно, что за явным преимуществом этот «бой» выиграл бы Хомский. Уж слишком велика его репутация в мировой науке. А если учесть, что его «секундантами» в этом «бое», были такие звезды мировой науки, как Марвин Минский, Сидней Бреннер и др., — о чем вообще говорить.

Но таких дебатов, увы, не было.

А были дебаты профессора Хомского и корпорации Google. Причем «секундантами» последней были мировые гиганты IT бизнеса — от IBM до Microsoft — с бюджетами на ИИ, измеряемыми миллиардами долларов. И в этих дебатах за явным финансовым преимуществом победила корпорации Google в компании со всеми своими именитыми «секундантами».

Сделано это было, как принято в бизнесе, — предельно просто и прагматично, но эффективно.

Было сделано так, что публичная дискуссия о путях развития ИИ просто исчезла с радаров общественного внимания, как будто и не было ее вовсе. СМИ об этом писали так мало, что уже через год никто и не помнил:

— что был симпозиум «Brains, Minds and Machines», на котором 30+ всемирно известных профессоров призвали сделать «перезагрузку» исследований ИИ, сменив их цель и направление;

— что после симпозиума завязалась публичная дискуссия Ноама Хомского и Питера Норвига;

— что в MIT Technology Review современные ИИ разработки назвали коммерциализацией Искусственного Бездумия.

Падкие на любые взаимонаезды СМИ, как по волшебству, не обратили внимания на все вышеназванное, не смотря ни на важность темы, ни на остроту споров, ни на авторитет инициаторов дискуссии.

Зато все внимание СМИ (равно как и внимание инвесторов) быстро переключилось на грядущий и уже начавшийся триумф ИИ, включая его самые модные технологические прибамбасы: Нейронные сети, Глубокое обучение и Большие данные.

На рубеже 2011–2012 финансовые вливания бизнеса в маркетинг и рекламу ИИ со всеми сопутствующими прибамбасами столь значительно возросли, что мир напрочь забыл про недавнюю дискуссию о путях развития ИИ.

В результате рубеж 2011–2012 гг. стал для ИИ переломным буквально по всем показателям.

Стремительно увеличилось число публикаций про ИИ в компьютерной прессе (напрямую зависящее от рекламных бюджетов IT бизнеса) и, как следствие, число студентов, желающих учиться на ИИ специализациях.

Источник AI Index 2017 Annual Report

Так же рывком увеличилось число крупных конференций по ИИ (как водится, спонсируемых крупными корпорациями) и число ИИ стартапов (финансируемых инвесторами).

Источник AI Index 2017 Annual Report

Годовой объем венчурных инвестиций в ИИ ракетообразно взлетел в 7 раз. Похожий вертикальный взлет произошел и в объемах внешних инвестиций в ИИ-исследования крупных IT корпораций, причем львиная доля инвестиций пришлась на машинное обучение, основным инструментом которого являются методы математической статистики, используемые для обработки больших объемов данных. Т.е. как раз на то, против чего выступали «титаны науки».

Источник AI Index 2017 Annual Report, Artificial Intelligence, The Next Digital Frontier, McKinsey Global Institute Study

Никакой перезагрузки в области ИИ-исследований так и не произошло. Все крупные корпорации и большинство стартапов, по-прежнему шли все тем же путем. Они продолжили решать конкретные инженерные задачи преимущественно статистическими методами, обрабатывая все большие объемы данных.
Параллельно создавались все более мощные вычислительные устройства и все более изысканные способы машинного обучения. Все быстрее росли объемы собираемых и обрабатываемых данных.

Вы спросите, а что же стало с предложением всемирно известных профессоров и первопроходцев ИИ вернуться к изначальным целям и произвести «перезагрузку» в области ИИ-исследований?

Да почти ничего и не стало. Бизнес это предложение проигнорировал. Общественность забыла.

Но все же кое-какие исследования в этом направлении ведутся.

По результатам симпозиума, при MIT был создан научный центр, унаследовавший название симпозиума — Center for Brains, Minds and Machines (CBMM). В его бюджет Национальным научным фондом США ежегодно направляются скромные $3–5 млн.

Для сравнения, ежегодные гранты этого фонда на Инициативу BRAIN (то самое картирование активности мозга, которое Сидней Бреннер и Ноам Хомский назвали «формой безумия») составляют примерно $140 млн. при общем объеме грантов в прошедшем году в $250 млн.

Что же до инвестиций в ИИ бизнесом, то здесь цифры астрономические.

Они превышают финансирование CBMM на 3+ порядка.

Только одна корпорация Alphabet (материнская компания Google) инвестирует в ИИ десятки миллиардов (!) долларов, причем только ежегодные убытки корпорации по всему спектру ИИ исследований составляют несколько миллиардов. И это только у одной Google, без учета ее «секундантов» в битве с «титанами науки», в сумме тратящих (и теряющих) еще и поболее.

Так что все получилось, как это обычно и бывает в жизни. Кто богаче — тот и оказался прав.

Что в итоге

Pезультат прошедших с 2011 г. семи лет оказался таков.

Потратив под сотню миллиардов долларов, бизнесу удалось повысить качество решения ряда специальных задач, самыми громкими из которых, согласно AI Index 2017 Annual Report, стали такие победы:

— в 2011 компьютер превзошел человека в викторине-телешоу Jeopardy!;

— в 2015 компьютер научился играть в 49 компьютерных игр Atari, достигнув в большинстве игр уровня человека (хотя в некоторых еще уступает);

— в 2016 компьютер превзошел человека в распознавании картинок ImageNet и в игре Го;

— в 2017 компьютер научился классифицировать рак кожи, достигнув уровня компетентности, сопоставимой с врачами дерматологами;

— также в 2017 компьютер достиг уровня человека в распознавании речи, превзошел человека в игре в покер и достиг абсолютного максимума в 999900 выигрышных очков в аркадной видео-игре Pac-Man.

Кому-то этот список достижений ИИ покажется выдающимся. Иные сочтут его очередным подтверждением бессмысленных затрат колоссальных средств на решение задач, без которых люди могли бы как-то обойтись. Но в любом случае, характеризуя достижения в развитии ИИ, все это все же можно занести в плюс.

Но есть и серьезные минусы.

Во-первых, в понимании, как устроен человеческий интеллект и как его повторить в машине, прогресса практически нет. ИИ по-прежнему туп как пробка, и лишь умеет перемалывать тонны данных, самосовершенствуясь в решении узких специализированных задач. При смене задачи, приходится начинать учить ИИ (или давать ему самому учиться), по сути, с нуля. Да и с перемалыванием данных есть принципиальная проблема — ИИ не умеет сам отбирать нужные данные, а лишь способен очень быстро обрабатывать всё, поступающее ему на вход. А как известно — «мусор на входе — мусор на выходе».

Во-вторых, острота проблемы «Черного ящика ИИ» (невозможность понять основания и логику машинных решений, в современных ИИ системах глубокого обучения) уже дошла до критического уровня.

Вот два примера.

В конце 2017 «AI Now Institute» — междисциплинарный исследовательский центр изучения социальных последствий ИИ — однозначно рекомендовал государственным учреждениям США, деятельность которых связана с принятием ответственных решений, отказаться от использования ИИ-систем, являющихся, по сути, «черными ящиками» с непонятной людям логикой вырабатываемых ими рекомендаций.

Настоящая рекомендация подтверждается и обосновывается отчетом «AI Now 2017 Report», содержащим ссылки на 191 авторитетный источник. Рекомендация экспертов распространяется не только на правительство и оборону, но и на все структуры уголовного правосудия, здравоохранения, социального обеспечения, образования и подбора/оценки кадров.

Эксперты пишут.

«Мир должен понять, что использование «черных ящиков» ИИ влечет за собой неопределенно высокие риски, недопустимые в вопросах принятия ответственных решений: персональных, коллективных и всеобщих.

Уже вовсю внедряемые ИИ с непонятной логикой принятия решений должны быть подвергнуты срочному аудиту. И если междисциплинарные группы специалистов не смогут понять и подтвердить обоснованность, логичность и правильность решений таких ИИ-систем, они должны быть исключены из практики госучреждений».

Второй пример — это программа Пентагона Explainable Artificial Intelligence (XAI) (Объяснимый ИИ). Как считают военные США, главной проблемой при использовании современных ИИ-систем является не точность принимаемых машиной решений, не отсутствие необходимых данных и не скорость принятия решений, а нарастающее непонимание людьми почему машина принимает эти, а не иные решения.

Сравнение 2х объяснений, почему ИИ решил, что на фото кот: сегодня (слева внизу) и завтра с помощью XAI (справа внизу)

Как пишут военные кураторы проекта XAI в DARPA, сегодня, наблюдая за решениями, принимаемыми машинами, или их рекомендациями, которая машина нам дает, мы не понимаем (до конца или вообще):

— Почему машина выбрала или предложила именно такое решение, а не другое?

— А что было бы, если бы было принято иное решение?

— Как понять, было ли это лучшее решение?

— Насколько можно доверять конкретному выбору решения машиной?

— И главное — как нам исправить ситуацию, если принятое машиной решение окажется ошибочным?

Ситуация с использованием ИИ у военных оказалась еще хуже, чем у цивильных государственных агентств. Последние могут просто последовать рекомендации AI Now Institute и притормозить в использовании современных непонятных человеку ИИ-систем.

Военным же тормозить уже невозможно. В рамках т.н. «Третьей стратегии противовеса» военные США делают ставку на технологическое превосходство над противниками и, в первую очередь, в технологиях, завязанных на ИИ (подробней см. мой пост «Какой будет большая война в XXI веке»).

Резюмируя итоги семилетнего триумфального взлета инженерного подхода в ИИ, можно прийти даже к худшему заключению, чем в известной фразе Питера Тиля, которой он иллюстрировал тупик современных технологий: «Мы хотели летающие автомобили, а вместо этого мы получили 140 символов» (имелось в виду ограничение на длину сообщений в Твиттере, триумфально повышенной в прошлом году аж до 280 символов).

Итоги развития ИИ с 2011 оказались не только весьма скромными по своим плюсам, но и принесли такие опасные минусы, которые нужно срочно как-то нейтрализовать.

Возможно, это начали понимать и в компании Google, обратившейся за разъяснением причин нынешних «затруднений с ИИ» к …, не удивляйтесь, — опять к Ноаму Хомскому.

Что впереди

Mинувшие после дебатов с Google 7 лет не изменили взгляды Ноама Хомского по основным вопросам человеческого и искусственного интеллекта. А его репутация «Американского Сократа» лишь еще более укрепилась.

Этого 89 летнего всемирно известного ученого New York Times называет «возможно» самым важным из живущих в наше время мировых мыслителей.

Он навсегда останется в истории человечества, как великий ученый, открывший человечеству, что главный механизм интеллекта — язык встроен в нашу биологию, а вовсе не является чисто социальным приобретением.

Добавьте описание

В анонсе состоявшегося в прошедшем году «большого разговора» с Ноамом Хомским на площадке Google Talks, его организаторы написали:

«Когда этот известный профессор лингвистики, ставший авторитетным голосом в области ИИ, говорит, — люди его внимательно слушают и редко кто воспринимает легкомысленно. Итак, что же он думает об ИИ? И почему он считает, что в области ИИмы все делаем неправильно?…
И хотя тихий голос этого джентльмена, возможно, не столь громок, как раньше, когда он говорит, что наш подход к ИИ ошибочен, было бы не разумно просто проигнорировать его слова. Пусть он расскажет нам, почему мы все ошибаемся».

Желающие могут сами посмотреть или прочесть резюме часового рассказа Ноама Хомского.

Мне же остается лишь кратко поделиться с вами своим понимание мыслей Хомского о том, что нас ждет впереди.

Если совсем коротко:

1. нас ждет «идеальный шторм», — созданный руками человечества способ тотального самоуничтожения; мы сейчас приближаемся к точке невозврата, и необходимо срочно действовать для предотвращения катастрофических сценариев;
2. в независимости от сценария (ядерный, экологический и пр.), технологии ИИ станут либо его основным катализатором, либо ключевым сдерживающим фактором;
3. существующий подход «искусственного бездумия» в развитии ИИ превращает эти технологии в «натуральное безумие» — катализатор катастрофических сценариев; необходима срочная «перезагрузка», смена целей и подхода к ИИ, способных превратить эти технологии в сдерживающий фактор развития катастрофических сценариев.

И в завершение тезисно несколько важных мыслей Хомского из этого «большого разговора» с моими комментариями.

— О пользе и вреде инженерных ИИ приложений. Полезность существующих инженерных ИИ приложений примерно такая же, как при использовании ложки вместо скальпеля нейрохирургом (толку мало, а потенциального вреда много).

— Об анализе Больших Данных с помощью ИИ.
Такой анализ сродни использованию бульдозера. Массивная, сложная машина, спроектированная для выполнения элементарной задачи переместить это сюда, а это туда. Цель создания подобных машин — дать возможность оперировать со столь тяжелыми, сложными или большими нагрузками, что с ними не способны справиться люди.
Поэтому использование подобных ИИ-«бульдозеров» для интеллектуального анализа данных в маркетинге, государственном надзоре, принятии политтехнологических решений и т.п. — это самый простой и незатейливый (если не сказать тупой) способ применения ИИ (типа, колоть орехи королевской печатью).

— При современном подходе к ИИ, большой войны не миновать.
Применение инженерного подхода в военных ИИ-системах лишает мир механизма взаимного ядерного сдерживания, превращая его в механизм гарантированного взаимоуничтожения. Сторона, получившая технологическое превосходство за счет применения своих «ИИ-бульдозеров», может решиться напасть первой. Тогда у стороны, не обладающей столь мощными «ИИ-бульдозерами», не останется ничего, как уничтожить противника вместе с его «бульдозерами» чем-то типа российской системы «Периметр» («Мертвая рука»), вновь поставленной на вооружение в декабре 2011. Ровно через полгода после несостоявшейся “перезагрузки”, к которой призывали первопроходцы ИИ.

— Что делать. Нужно наконец понять, что ИИ — это больше, чем набор сложных компьютерных алгоритмов для частных инженерных применений. ИИ — это попытка воссоздать себя и продемонстрировать нашу способность проектировать и улучшать природу человека и создавать более совершенное человеческое сообщество.

P.S. Вот уже второй год, за какую тему не возьмусь, в итоге получается про «большой войны не миновать». Хоть про насилие и Нассима Талеба, хоть про искусственный интеллект и Ноама Хомского. К чему бы это?

Источник: m.vk.com

Комментарии: