О подспудном сползании в состояние пресингулярного хаоса

Вычитал интересное понятие из работ по безопасности искусственного интеллекта – "пресингулярный хаос". Это понятие означает, что при ускорении движения к точке сингулярности, т.е. к гипотетической точке создания AGI ("Artificial General Intelligence", не уступающего ничем человеку искусственного интеллекта) в развитии человечества будет нарастать турбулентость, конфликтность, разобщенность и непредсказуемость. Хотя самые консервативные, и, вероятно, самые реалистичные, недавние прогнозы ставят точку сингулярности только на 2060-е годы, все, что мы наблюдаем на международной арене, очень похоже на мягкое вползание в этот пресингулярный хаос. Это независимо подтверждается тем, что недавно математик Нассим Талеб наголову разгромил более гуманитарного Стивена Пинкера (хотя это прошло незамеченным для широкой публики, и Пинкер не признает поражения) в его оптимизме относительно нарастания тренда бесконфликтности в глобальном общественном развитии. По крайней мере, получилась ничья, и оптимизм Пинкера явно крайне преувеличен.

Вероятно, главным реальным механизмом сползания в пресингулярный хаос станет использование искусственного интеллекта как оружия (в т.ч. нелетального), и здесь очень хорошо ложится идея замечательного Акопа Назаретяна о техногуманитарном балансе. Потенциально искусственный интеллект как оружие гораздо опаснее ядерного, и большой вопрос, сможет ли усиление человеческой этики, по закону техногуманитарного баланса, скомпенсировать усиление агрессивной мощи нового оружия. Вероятно, т.к. это оружие потенциально бесконечно сильное (причем качественно бесконечно сильное, а не количественно, как ядерное), не сможет или сможет очень плохо, и чем сильнее этика будет отставать, тем сильнее будет нарастать хаос в человечестве.

Фактически, разные групповые игроки (от фирм до военно-политических коалиций государств) будут все активнее использовать искусственный интеллект как инструмент конкурентной борьбы интересов, в результате чего или человечество может не дожить до сингулярности вообще, или может быть отброшено в каменный век и отсчет до сингулярности придется начинать заново. Совершенно неизвестно, сохранится ли человечество после сингулярности (вероятно, нет, но при удачном сценарии оно передаст эстафету человеческого духа дальше, нашим постчеловеческим потомкам), но если пресингулярный хаос закончится глобальной катастрофой, то это будет явно худший вариант, т.к. эстафету человеческого духа передавать будет некому или придется заново проходить тысячи лет развития.

Если быть, не смотря ни на что, оптимистами, то, в соответствии с законом техногуманитарного баланса Акопа Назаретяна, в ответ на экспоненциальное развитие искусственного интеллекта как летального и нелетального оружия, буквально в ближайшие годы следует ожидать крайне резкого усиления этических антиагрессивных движений, подчеркивающих необходимость сотрудничества и кооперации, а не конкуренции интересов. Эти этические движения, являясь общечеловеческим компенсаторным ответом на нарастание перспективной угрозы глобального самоуничтожения, будут работать по механизму "опережающего отражения". Вероятно, чем сильнее каждый из нас лично сможет быть индивидуальным проводником такого надличного опережающего компенсаторного ответа, тем больше будет шанс, что пресингулярный хаос, который будет только нарастать и нарастать (пока мы только очень мягко в него вползаем), кончится осмысленно, передачей эстафеты человеческого духа дальше, а не бессмысленным самоуничтожением.

Комментарии: