Доверяй, но контролируй

Полностью автоматизированные устройства, системы и целые производства могут дать немало преимуществ. Но как показывает практика, полностью полагаться на автоматику нельзя. Ведь если она выходит из строя, мы оказываемся к этому не готовы. И речь вовсе не о производстве: интернет вещей и беспилотные автомобили — тоже автоматизированные системы, от работоспособности которых может зависеть наша жизнь.

Помните классику научной фантастики «Космическая одиссея 2001 года»? Фильм был снят ещё в 1968-м. Если кто не знает: в ходе пилотируемого полёта к Юпитеру искусственный интеллект HAL 9000, полностью управляющий всеми системами корабля и радикально облегчающий жизнь астронавтам, начинает серьёзно глючить. Астронавты беспокоятся, HAL начинает параноить, и в конце концов начинает убивать людей на корабле.

Мораль этой истории в том, что когда наши жизни начинают зависеть от полностью автоматизированных систем, то крайне желательно постоянно за ними присматривать. Даже если авторы и не вкладывали в фильм такой смысл, то следовало бы. Эта тема, на самом деле, уже весьма актуальна: хотя мы ещё и не создали сильный ИИ, но уже давно используем полностью автоматизированные системы, их становится с каждым годом всё больше. И новостная лента иногда подбрасывает истории, которые ярко отражают недостаток контроля с нашей стороны.

Сбой PetNet

Petnet — это автоматическая кормушка для кошек и собак, выдающая порции еды по расписанию. Он подключена по Wi-Fi к интернету, чтобы хозяин мог контролировать его через мобильное приложение. При желании можно дать команду на внеочередную кормёжку (например, когда чувствуешь себя виноватым, что надолго оставил животину на попечение бездушной машины).

Кроме того, Petnet привязана к фирменному сервису доставки кормов, и процедуру пополнения домашних запасов можно автоматизировать с помощью Amazon Dash. Вам не нужно самостоятельно заказывать очередной мешок, кормушка сделает это за вас (а когда на рынке появятся полноценные роботы для выгуливания и ухода за домашними животными, мы сможем вообще про них забыть!). Помимо прочего, Petnet отслеживает потребление корма и воды, чтобы ваш питомец не растолстел на автоматических харчах.

Звучит круто!

Но когда упал предоставляемый Google сервис, от которого зависит облако Petnet, около 10% кормушек работали некорректно в течение 10 часов. И хотя производитель утверждает, что сбой не оказал влияния на механизм автоматического кормления, однако пользователи потеряли возможность подкармливать вручную или менять расписание. Так что части животных пришлось поголодать. Хотя компания разослала клиентам письмо с советом: «пожалуйста, покормите животных вручную», многие из пользователей понадеялись на надёжность работы системы, отправившись летом на отдых.

Перегрев термостата Nest

Термостат Nest Learning Thermostat от Google стал одним из первых трендовых устройств для интернета вещей. Его задача проста — автоматически поддерживать в помещениях заданную температуру.

Это лето в США выдалось очень жарким, и некоторые из Nest'ов сбоили. Производитель опубликовал заявление, в котором сообщил об уходе в оффлайн «небольшого количества» термостатов, хотя они продолжали функционировать.

Это не первая неприятность с Nest: в январе 2016 во многих устройствах обнаружился баг, проявлявшийся в быстром разряжении их аккумуляторов с последующим отключением. И всё это происходило на фоне серьёзных заморозков на восточном побережье США — многие покупатели термостатов основательно подмёрзли.

К счастью, пока не было зарегистрировано ни одного случая гибели, болезни или увечий из-за чрезмерного повышения или понижения температуры в домах, вызванных сбоями термостатов, но насыщение жилищ автоматизированными системами лишь повысит такую вероятность. Вам это кажется надуманным? А представьте, что вы старик со слабым сердцем, и в жаркое лето ваш термостат решил, что у вас дома слишком прохладно, и решил подбавить дров в виртуальную печь. Или зимой вы слегли с сильной простудой, а термостату пришло в голову ночью отключить отопление и запустить кондиционер, да посильнее.

Ошибка автопилота Tesla

В мае 2016 года случилось резонансное событие: автопилот электромобиля Tesla Model S не заметил на дороге грузовик. Машина на полном ходу въехала под прицеп (крышу срезало), пробила два забора и остановилась после удара в столб. Водитель погиб. В Tesla поспешили заявить, что это первый известный смертельный случай за более чем 200 млн километров, которые проехали автомобили компании в режиме автопилота.

Надо сказать, что по 6-ти балльной шкале степени автономности (от 0 — машина никак не автоматизирована, до 5 — человек для управления вообще никогда не требуется) автомобили Tesla имеют сегодня 3 балла. Их автопилоты умеют автоматически придерживаться трассы, экстренно маневрировать, избегать бокового столкновения и парковаться. И хотя в прессе упор делался именно на набор возможностей автопилота, сбой произошёл в системе экстренного торможения, что, вероятно, и стало причиной ДТП. Считается, что система наблюдения Tesla не смогла заметить ярко освещённый солнцем белый грузовик на фоне яркого неба. Почему сам водитель никак не попытался затормозить или уйти от столкновения? Вероятно, слишком понадеялся на автопилот и не особо следил за дорогой.

К слову, через неделю произошла вторая авария с участием автопилота, на этот раз в автомобиле Tesla Model X — система не заметила деревянный столбик. К счастью, обошлось без жертв.

Риски доверия

Те, кто хорошо знаком с проблемами обеспечения надёжности в технике, знают, что человечество пока не придумало ничего лучше, чем дублировать функции наиболее ответственных систем. Причём дублирование может быть и трёхкратным, чтобы не допустить аварии, даже если из строя выйдет и основная, и дублирующая системы. Но это очень дорогой путь, повышающий сложность и стоимость техники. А как нам быть с ИИ? Или со вшитыми в гаджеты алгоритмами? Как их дублировать? Возможно ли это вообще? И как убедить людей, что лучше заплатить вдвое больше за устройство, которое отличается от конкурентов только тем, что, гипотетически, с меньшей вероятностью проглючит в автоматическом режиме?
Производители самых разных устройств, гаджетов и техники прочат нам светлое автоматизированное будущее. Автоконцерны прилагают массу усилий, разрабатывая беспилотные автомобили, с каждым месяцем ширится ассортимент устройств для интернета вещей. Только ленивый не экспериментирует с нейросетями, десятки тысяч учёных и программистов упорно создают всё более сильные искусственные интеллекты и продвинутые алгоритмы, мечтая возложить на них повседневные заботы и сложнейшие задачи.

Но нам, пользователям всех этих высокотехнологичных благ, нельзя забывать о том, что из строя может выйти любая система. И чем она сложнее, тем выше риск. Автоматизация процессов — это лишь дополнительное удобство, а не волшебная замена нашей бдительности, контроля и оценки.

К примеру, нельзя полностью возлагать заботу о животных на облачные сервисы. Если вы уедете летом в отпуск, оставив кота или собаку в добрых руках автоматической кормушки, то по возвращении рискуете обнаружить материал для таксидермиста. Нет-нет, автоматические кормушки — вещь полезная и удобная. Но лучше договоритесь с другом или соседкой, чтобы хотя бы раз в пару дней заходили проверить вашу живность.

Нельзя отдавать на откуп автоматике и управление климатом, а также определение наличия дыма и угарного газа — старики и инвалиды, которые не могут позаботиться о себе, станут зависеть от сбоев оборудования или алгоритмов.

И по-настоящему сложная проблема: что нам в скором будущем делать с беспилотными автомобилями?

Авария Tesla дала новый импульс общественной дискуссии о степени безопасности автопилотов. Ситуация осложняется тем, что через несколько лет может начаться широкое внедрение систем автоматического экстренного торможения (AEB, automated emergency braking), которые, как уверяют автолоббисты, должны спасти на дорогах множество жизней. Причиной того трагического ДТП стала ошибка водителя: надо было как минимум уделить внимание дороге при подъезде к перекрёстку, и в идеале — снизить скорость. Две аварии подряд показывают, что современная автоматика ещё очень далека от совершенства, и доверять ей свою жизнь на дороге, оставляя без присмотра, ни в коем случае нельзя.

Конечно, в конце концов прогресс приведёт к появлению очень надёжных беспилотных автомобилей, которые будут демонстрировать чудеса во время тестов, испытаний и коммерческой эксплуатации. Но что-то подсказывает, что вряд ли стоит ожидать реализации сценария, когда машины превратятся просто в удобные капсулы для перемещения.

Скорее всего, использование беспилотных автомобилей будет мало отличаться от привычного вождения, разве что именно водить не надо будет: просто водитель будет сидеть за рулём и следить за дорогой, в то время как управлять машиной будет автопилот. Именно следить, будучи готовым вмешаться, а не чатиться в смартфоне или смотреть сериал.

Несомненно, что корпорации будут нас уверять, что в беспилотном автомобиле нам больше не понадобится руль, педаль тормоза, а то и вообще ветровое стекло, и ездить в такой машине гораздо безопаснее. Всё это будет подкреплено терабайтами статистических данных. Но даже если количество ДТП с участием беспилотников снизится на 90% по сравнению с традиционными автомобилями, то ведь оставшиеся 10% — это всё равно аварии, уносящие жизни многих тысяч людей. Так будут ли являться благом беспилотники? С точки зрения статистики — несомненно.

Если вы оставите ребёнка в общественном парке и отправитесь на шоппинг неподалёку, то с точки зрения статистики вряд ли ему кто-то причинит вред. Но ведь вы так никогда не поступите, вне зависимости от мизерности шанса. Так стоит ли родителям доверять жизни своих детей автоматизированным системам вождения? Думается, что лучшим решением будет включить автопилот и следить за дорогой, в готовности повернуть руль или нажать на педаль.

Но здесь мы поднимаем проблему неготовности социума к новой технологии. Ведь её использование подразумевает распространение в качестве культурной нормы такого понятия, как недопустимость замены человеческого внимания автоматизированными системами в ответственных процессах, способных нанести вред здоровью или создать угрозу жизни.

Выражаясь словами HAL 9000 из «Космической одиссеи 2001 года»: любой вред, причинённый нашим близким из-за передачи ответственности за их безопасность машинам, «может быть объяснён только человеческой ошибкой».

Мудрые слова, ХЭЛ. Теперь открой шлюз, ХЭЛ.

ХЭЛ?