Некоторые моральные и технические последствия автоматизации

Норберт Винер • 1960

[...]

ЧЕЛОВЕК И РАБ

Еще одна проблема, — и это моральная проблема, — с которой мы здесь столкнемся, очень близка к одной из величайших проблем человечества – проблема рабства. Давайте сразу установим, что рабство нехорошо тем, что оно жестоко. Оно, однако, содержит и внутреннее противоречие, причем по совершенно другой причине. Мы хотим, чтобы раб был разумен, чтобы он мог помогать нам в выполнении наших задач. Однако мы также желаем его подчинения. Однако полное подчинение, плохо совместимо с полноценным разумом. Как часто в древние времена умный греческий философ-раб управлял действиями своего господина — менее умного римского рабовладельца, а не подчинялся его приказаниям! Точно так же, если машины становятся все более и более эффективными и движутся ко все более высокому уровню разумности, катастрофа доминирования машины, предсказанная Батлером, становится все ближе.

Человеческий мозг — гораздо более эффективный аппарат управления, чем интеллектуальная машина, когда мы рассматриваем высокие области логики. Он представляет собой самоорганизующуюся систему, эффективность которой связана с его способностью превращаться в новую машину, а не с безупречной точностью и скоростью решения проблем. Мы уже построили очень эффективные машины низшего логического типа с жесткими алгоритмами. Мы начинаем делать машины второго логического типа, где сами алгоритмы корректируются и улучшаются по мере обучения. При создании алгоритмических машин нет определенного предсказуемого предела в отношении использования все более высокого уровня анализа, равно как и не безопасно делать заявления о том, на каком именно уровне мозг превосходит машину. Тем не менее, в течение длительного времени мы будем жить в ситуации, при которой всегда будет по крайней мере какой-то уровень, на котором мозг будет превосходить сконструированную им машину, даже если этот уровень будет все время сдвигаться вверх.

Можно предвидеть, что результатом развития техники программирования станет отсутствие необходимости для конструктора и оператора автоматических машин понимать происходящее на каждом из логических этапов, посредством которых машина приходит к своим выводам, и того, каковы могут быть на самом деле тактические намерения, стоящие за каждой из ее элементарных операций. Это в высшей степени актуально для рассматриваемой проблемы, поскольку будет влиять на нашу способности предвидеть возможность возникновения нежелательных последствий вне рамок алгоритмической стратегии игры, пока машина все еще производит расчеты, и пока вмешательство с нашей стороны все еще может предотвратить возникновение этих последствий.

Здесь необходимо понимать, что человеческое действие — это действие на основе обратной связи. Чтобы избежать катастрофических последствий, недостаточно оставить себе возможность какими-то действиями с нашей стороны изменить текущее состояние машины, потому что вполне возможно, что у нас просто не будет информации, на основе которой можно было бы осознать необходимость и последствия такого действия.

Говоря языком нейрофизиологии, атаксия может быть такой же причиной инвалидизации, как и паралич. Пациент с локомоторной атаксией может не страдать каким-либо дефектом мускулов или двигательных нервов, но если его мышцы, сухожилия и органы чувств не позволяют ему определить, в каком именно положении он находится, и он не уверен, не приведут ли сигналы на сокращение мышц к падению, он не сможет встать. Точно так же, когда созданная нами машина будет способна обрабатывать поступающие в нее данные в таком темпе, который мы сами не можем поддерживать, мы не сможем определить, что ее пора выключить, пока не станет слишком поздно. Все мы знаем притчу об ученике чародея, в которой мальчик прочел заклинание, заставлявшее метлу носить воду в отсутствие своего хозяина, и как он оказался в смертельной опасности, если бы чародей не вернулся вовремя и не остановил ее. Если бы мальчику пришлось самому искать нужные слова в гримуарах библиотеки своего хозяина, чтобы остановить ее, он скорее всего утонул бы до того, как обнаружил соответствующее заклинание. Точно так же, если фабрика по производству бутылок запрограммирована на максимальную производительность, владелец может обанкротиться из-за огромного количества невостребованной продукции, прежде чем узнает, что должен был сократить производство шестью месяцами раньше.

«Ученик чародея» — лишь одна из многих притч, основанных на предположении, что силы магии действуют буквально, в соответствии с программой. Мы можем вспомнить историю о джинне и рыбаке из «Тысячи и одной ночи», в которой рыбак ломает печать царя Соломона на выловленном из моря кувшине и находит джинна, поклявшегося уничтожить того, кто его освободит; есть сказка У. У. Джейкобса «Обезьянья лапа», в которой сержант привозит из Индии талисман, способный исполнить по три желания для трех человек. О первом владельце этого талисмана нам рассказывают только, что его третьим желанием была смерть. Сержант Моррис, второй человек, чьи желания исполнял талисман, находит свои переживания слишком ужасными, чтобы рассказывать о них. Его друг мистер Уайт, вытащивший талисман из огня, куда его кинул сержант, вначале желает получить 200 фунтов стерлингов. Вскоре после этого к нему приходит чиновник фабрики, на которой работает его сын, и сообщает, что его сын был погиб в результате несчастного случая с машиной и что компания, не признавая ответственности за его гибель, высылает ему в качестве утешения сумму в 200 фунтов стерлингов. Его следующее желание — чтобы его сын вернулся, и призрак стучит в дверь. Его третье желание — чтобы призрак ушел.

Катастрофические результаты следует ожидать не только в мире сказок, но и в реальном мире, где два агента, существенно чуждые друг другу, объединяют усилия в попытке достичь общей цели. Если взаимопонимание между этими агентами относительно характера их цели является неполным, следует ожидать, что результаты этого сотрудничества будут неудовлетворительными. Если мы используем для достижения наших целей механического агента, работой которым мы не сможем эффективно управлять с того момента, как запустили его в работу, потому что он действует настолько быстро и бесповоротно, что мы не успеваем получить данные, чтобы вмешаться до того, как его действие будет завершено, тогда нам лучше быть уверенными, что цель программы, заложенной в него, — это действительно та цель, которую мы желаем достичь, а не просто ее воображаемая разноцветная имитация.

ШКАЛЫ ВРЕМЕНИ

До этого момента я рассматривал квазиморальные проблемы, вызванные одновременными действиями машины и человека, когда они заняты общим делом. Мы видим, что одним из главных факторов, которые чреваты катастрофическими последствиями при использовании обучающихся машин, заключается в том, что человек и машина действуют в двух разных временных масштабах, причем машина намного быстрее человека, и они не могут работать вместе без преодоления серьезных трудностей. Проблемы такого рода возникают всегда, когда два оператора управления, работающие в очень разных временных масштабах, действуют совместно, независимо от того, какая система быстрее, а какая медленнее. Это ставит перед нами прямой нравственный вопрос: какова моральная ответственность человека, когда он как личность инициирует и контролирует процессы, протекающие на гораздо более медленной временной шкале, такие как часть политической истории, на которую он воздействует, или — главный предмет нашего исследования — развитие науки?

Следует отметить, что развитие науки — это процесс управления и коммуникации целью которого является долгосрочная программа понимания и контроля материи. В этом процессе 50 лет — как день в жизни человека. По этой причине отдельный ученый должен работать как участник процесса, временная шкала которого настолько велика, что он сам может созерцать лишь очень ограниченную ее часть. Здесь также связь между двумя частями двойной машины затруднена и ограничена. Даже когда отдельный человек верит, что наука способствует достижению тех человеческих целей, к которым у него лежит сердце, эта вера нуждается в постоянном исследовании и переоценке, что возможно для него лишь отчасти, поскольку для отдельного человека-ученого даже частичная оценка этой связи между человеком и процессом требует творчески заглядывать в будущее. А это непросто, вызывает огромные затраты интеллектуальных сил и все равно достижимо лишь в ограниченном масштабе. И если мы придерживаемся простого кредо ученого, что неполное познание мира и самих себя лучше, чем отсутствие знания, мы все равно не всегда можем оправдать наивное предположение о том, что чем быстрее мы поспешим использовать новооткрытые силы для действий, которые он нам открывают, тем лучше. Мы всегда должны стараться задействовать всю силу нашего воображения, чтобы исследовать те бездны, куда может нас привести полное использование наших новых возможностей.

Источник: vk.com

Комментарии: