«Люди очень не любят принимать решения в экстренной ситуации»

[Ch.]: Что такое автоматическая система управления? Меняет ли слово «автоматическая» наши представления об ответственности за принятие решений, и если меняет, то в какой степени?

[МГ]: Системы управления, созданием и внедрением которых занимается наш институт, — это алгоритмы принятия решений. Автоматизированная система управления (АСУ) — это система, которая, да, в той или иной степени снимает с человека груз принятия решений. Но при этом возникает ключевой вопрос, сильно мешающий внедрению таких систем в практику — кто же несет ответственность за решения, которые на себя берет АСУ? Если мы имеем дело с оператором на АЭС, который переключает те или иные тумблеры, глядя на те или иные загоревшиеся лампочки, ответ на этот вопрос понятен. Но если параметры системы анализирует алгоритм, то кто отвечает, если он принял неправильное решение? Разработчик? Программист? Оператор? Или директор станции, на которой это установлено? Аналогичные этико-юридические проблемы обсуждаются сейчас в связи с широким внедрением в жизнь роботов. Мы признаем робота объектом, субъектом, механизмом? Если этот робот нанесет кому-то вред, то кто отвечает — хозяин его, разработчик или как-то делится ответственность?

Ровно такая же проблема возникает в знаменитой задаче о вагонетке либо у Google, скажем, который внедряет беспилотные автомобили. Речь идет уже не об ошибке, но все еще — об ответственности. Когда автомобиль несется с большой скоростью и на пешеходный переход выбегает старушка с коляской, надо сбивать их либо направлять свой автомобиль в столб так, что все пассажиры разобьются?

И проблема здесь состоит даже не в том, как просчитать вероятности. Проблема в том, что мы сами не до конца понимаем, в чем заключаются наша мораль и наша этика. Что лучше — чтоб один человек погиб или чтоб сто человек всю жизнь болели? А если тысяча? В повседневной жизни такой проблемы может и не возникнуть, но, чтобы автоматизировать это, объяснить компьютеру, пытаешься четко понять, как это работает, и натыкаешься на то, что эти ответы не очень-то и сформулированы. А если человек в результате действий автоматики не погибает, а получает ущерб здоровью? И тут тоже надо проводить градации: одно дело, если у них насморк, а другое — если всю жизнь придется ходить на одной ноге. Вопросы такого рода возникают сплошь и рядом, когда приходится распределять ресурсы на медицину. Ресурсы всегда ограничены, и, если мы направляем средства на поиск лечения редких сложных заболеваний, мы, допустим, снижаем уровень обеспеченности людей совершенно массовыми лекарствами. Это та же проблема, что возникает перед роботом-драйвером компании Google, когда он решает, кого сбивать.

[Ch.]: То есть дело за выработкой единых правил, чтобы компьютеры могли им следовать?

[МГ]: Дело в том, что это вряд ли возможно. Допустим, мы начинаем рассматривать понятия этики — например, понятие справедливости, которое тесно связано с вопросами финансирования медицины. Идея справедливости предполагает, что все равны. То есть если есть человек, который изначально очень несчастен, допустим, из-за врожденной болезни, то мы все должны очень сильно вложиться, чтоб подтянуть его уровень счастья до среднего по остальным членам общества, и на это не жалко никаких средств.

Идея это, однако, находится в противоречии с идеей эффективности. Экономическая эффективность оказывается сплошь и рядом противоречащей понятию справедливости: справедливое распределение благ и эффективное — это совершенно разные вещи. И здесь наша мораль пасует перед нашей рациональностью. Соотношение справедливости и рациональности — еще одна проблема, которая возникает в нашей практике в теории управления.

Кроме того, мораль не является абсолютной или единой. Она не является, конечно, совсем субъективной характеристикой человека: чтобы она существовала, нужно, чтоб ее разделяла некая группа людей, однако эта группа — не все человечество. В мире сейчас существует несколько хорошо разработанных этических систем, которые можно разбить на две большие группы: светская этика и религиозная этика. Движущей силой в светской этике являются взаимоотношения людей между собой. А религиозная мораль — хоть христианская, хоть мусульманская — касается не взаимодействия людей, а их взаимоотношений с богом. И именно эти отношения накладывают те или иные ограничения на взаимодействия людей между собой. В религиозной морали нужно думать прежде всего о своей душе, а не о том, как выстроить взаимоотношения между членами общества или кого там спасать — старушку или пассажиров. Люди, которые следуют религиозной морали, думают совсем по-другому, на их поведение накладывает сильный отпечаток фатализм и представление о вечной жизни.

[Ch.]: В чем это выражается?

[МГ]: Например, если среди таких людей провести опрос все о той же дилемме робота Google, то большую роль будет играть то, насколько правильно ведет себя человек на пешеходном переходе. Старушка перебегает на красный свет? Правильно ли делают дети, которые шалят на дороге? А в рамках светской морали, рожденной эпохой Просвещения, играют главенствующую роль идеи равенства, и братства, и гуманизма, поэтому будет работать арифметический подход. Сколько человек перебегает дорогу? Сколько человек в машине находится? Решение будет приниматься в пользу сохранения большего количества человеческих жизней, которые являются абсолютной ценностью.

[Ch.]: А какое место в этой системе занимает научная этика, не разрешает ли она противоречие?

[МГ]: Понятие «научная этика» очень похоже на понятие «религиозная этика». Как ни странно, ученые больше похожи в этом смысле на религиозных фанатиков, чем среднестатистический человек. Когда ученый выступает в специфичной роли исследователя, он говорит не о взаимоотношениях с собой и другими членами общества, а о взаимоотношениях между собой и истиной, вечностью, абсолютом. Люди это по-разному называют, но по сути это такая же выдуманная надсущность, как в конструкции «человек — бог». Ученому важнее верность истине, чем взаимоотношения между ним и другими членами общества. И здесь на арену выходят обвинения, например, в создании атомной бомбы. Чем более у ученого превалирует научная этика и верность истине, тем более аморальным он становится в общем случае с точки зрения что светской, что религиозной этики.

[Ch.]: В общем, роботам можно присвоить разные системы этики.

[МГ]: Да, «поведение» автоматической системы будет зависеть от того, от какой системы ценностей отталкивался ее создатель. Приведу забавный пример: в Израиле есть шабат — ничего нельзя делать в субботу. И робот не должен вас принуждать к тому, чтобы что-то сделать в субботу. Даже его вопрос: «Хозяин, я готов начать уборку. Нажми кнопку согласия!» — будет неправильным. То есть в Израиле при проектировании в данном случае будут учитываться моменты, которые нам и в голову не придут.

[Ch.]: Хорошо, предположим, что мы запрограммировали роботов в соответствии с нашими взглядами. Стоит им доверять больше, чем себе?

[МГ]: А это уже вопрос вкуса. Когда мы, допустим, проектируем АСУ для АЭС, нас останавливает для полной передачи им контроля опасение, что они могут ошибиться. Но при этом не учитывается, что оператор тоже ошибается! Получается, мы прячем голову в песок, перекладывая ответственность за ошибки на оператора. При том, что мы-то знаем, что существует в среднем гораздо более эффективная, чем человек, автоматическая система. Так что здесь решение — за человеком, который ставит подпись на документе о внедрении автоматической системы: это он говорит, что в данной области машина лучше человека, мы ей больше верим. Оператор будет не успевать нажать на кнопку, система сделает это за него, и это будет необратимое решение.

Во времена холодной войны была система, которая должна была сама принимать решение об ответном ударе. И все договоры о нераспространении ядерного оружия, о запрете ракет малой и средней дальности принимались советским руководством под воздействием опасности необоснованного срабатывания автоматических систем. Потому что был ряд неприятных инцидентов, когда срабатывали автоматические системы раннего обнаружения. Главе государства докладывали, что система сработала, ракеты летят к нам, нажимайте на кнопку. Информацию дала машина, а человек был нужен (и все еще нужен) для того, чтобы принимать важное решение — отдавать ли дальнейшее принятие решений машине или нет. Но от ответственности никуда не уйдешь, как бы ты ее ни перекладывал на АСУ. Люди принимают решения, а машины могут только имитировать этот процесс.

[Ch.]: А как эти представления реализуются в современных невоенных системах, допустим в энергетике?

[МГ]: Если говорить о нас, то наш институт подключили к проблематике управления атомной энергетикой как раз после аварии в Чернобыле. Было необходимо, во-первых, провести анализ причин этой аварии, а во-вторых, создавать системы нового поколения для АЭС с учетом этого отрицательного опыта и на основе системного подхода. Системный подход в данном случае — не забыть ни о какой опасности вообще. И в этом ИПУ проявил свои сильные стороны и стороны той науки, которую мы развиваем. Именно системный подход позволил разработать новые системы управления, которые работают на современных атомных станциях и позволяют предусмотреть все возможные варианты развития событий. И с тех пор, как эти системы внедрены, серьезных аварий у нас нет — ни у нас в стране, ни за рубежом, куда мы поставляем системы управления АЭС — в Индии и Иране.

Системы управления ГЭС, допустим, показали свою надежность. Все было предусмотрено, в том числе на Саяно-Шушенской ГЭС, автоматика и техника работали хорошо. Но там нарушались правила. Формально это была техническая авария, но проблемы были в организационном контуре. Система предупреждения все показывала, а проблема была в бюрократии и желании заработать побольше денег. Непосредственной причиной аварии стало разрушение турбины, но к нему привело систематическое нарушение правил эксплуатации — содержание турбины в неоптимальном режиме работы. А это было следствием ее конструктивных особенностей, и можно было бы избежать аварии, если учитывать эти ее особенности. Не надо было через запрещенный режим каждый день гонять эту турбину, а использовать ее в более щадящем режиме. На деле она очень часто проходила через запрещенную зону в попытках максимизировать прибыль. Режим этот не рекомендован к постоянному использованию, но, чтобы перевести турбину из одного устойчивого режима эксплуатации в другой, нужно было проходить через эту запрещенную зону. Один-два-три раза это можно делать, но когда турбина гоняется через запрещенную зону несколько раз в день, конечно, возникают усталостные явления. То есть эта авария — результат влияния человеческого фактора.

[Ch.]: А автоматические системы пытаются помешать людям совершать ошибки?

[МГ]: В общем, вся теория автоматизации — про это. Когда люди начали с научной точки зрения смотреть на эту область, они очень рано поняли, что в любом случае приходится собирать систему из ненадежных элементов. В первый раз это осознали при построении систем связи, и появились книги о том, как строить надежные системы из ненадежных элементов. Ввели понятие дублирования, дублирования дублирования, математические методы расчета надежности, вероятностные схемы. Вся эта математика была придумана в первой половине XX века — теория надежности. Сейчас она по-прежнему развивается, но отчасти уже стала инженерной практикой. Но тут речь идет о том, чтобы посчитать вероятность неблагоприятного события, а этические проблемы возникают не здесь. Они возникают на этапе, когда мы принимаем решение о том, достаточная ли достигнутая вероятность или нет, или нужно еще несколько уровней вложенности, чтоб вероятность ошибки понизить еще на порядок. Вот это уже чисто этическое решение.

[Ch.]: А теперь давайте вернемся к ситуации выбора из двух зол. Вот, скажем, перед нами серьезный выбор, кого затопить или отключить от электроэнергии при аварии на ГЭС. Как автоматизация может помочь в этом?

[МГ]: Как я уже сказал, это этический выбор, который в том или ином виде должны будут делать люди. А люди очень не любят принимать решения в такой ситуации, поэтому тратят уйму усилий, чтобы этого избежать. И сейчас речь идет не о перекладывании ответственности, а о реальных усилиях, направленных на то, чтоб этих ситуаций не произошло. Меры предпринимаются на этапе проектирования комплексных систем. Например, в больницах и других объектах, которые относят к первому классу опасности, предусмотрено наличие в них автономного источника электроснабжения. Это значит, что, если свет отключится, врачи все-таки смогут закончить операцию, переключившись на автономный источник. Кроме того, вводится регламентированная схема аварийного отключения, и там есть несколько стадий — несколько групп потребителей, которые последовательно отключаются, чтобы уменьшить нагрузку на электрическую сеть. В первую очередь отключают освещение улиц, потом транспорт, потом промышленные предприятия (за исключением критических производств), затем коммунальный сектор и наконец больницы, детские сады и пр. Но мы помним, что все важные объекты оборудованы автономными системами электроснабжения. Люди максимально стараются обложиться «подушками» так, чтобы не возникала необходимость принимать решение в экстренной ситуации.

[Ch.]: А если такая ситуация все же возникает?

[МГ]: То ничего не поделаешь. Значит, все предварительные меры оказались в этом случае неэффективными. Тогда решение принимает оператор в условиях огромного временного прессинга и обычно принимает его неоптимальным образом. А потом мучается всю жизнь угрызениями совести.

Но все-таки это редкость. Проблема — это нечто экстраординарное, необычное. Большую часть времени мы находимся далеко от границ этой области, в которой нам нужно принимать нетривиальные решения. В обыденной жизни все решения не требуют от нас таких волевых усилий как раз потому, что мы много предусмотрели и спроектировали заранее так, чтобы мы отдалялись от проблемных ситуаций.