ТАК КТО ИЗ НАС ИДИОТ?

Часть 1

«Какой идиот этот робот», «Посмотрите, что ИИ натворил в рекрутменте - все резюме отсеял», «Вот до чего ИИ может довести в медицине - а это ведь жизнь человека!» — часто читаю. Это выглядит так, будто ИИ — самостоятельный субъект: с волей, намерениями и тайным злым умыслом.

Но ИИ просто выполнил приказ. Даже в армии у рядового есть выбор: выполнить приказ или нет, потому что он - человек. ИИ - не человек. Он не субъектен. Это - инструмент в руках человека. Мы же не ругаем нож, когда нечаянно порежемся при чистке овощей: "Смотрите, что натворил этот нож!"?

МАШИНА НЕ ЧИТАЕТ НАМЕРЕНИЯ - ОНА ИСПОЛНЯЕТ ФОРМУЛИРОВКИ. У машины нет морали, этики, совести, различения добра и зла.

Норберт Винер, создатель кибернетики, говорил не про «злые алгоритмы», а про ответственность человека за язык управления. Машина усиливает логику, но не исправляет смысл. Если задача сформулирована криво — результат будет кривым, просто быстрее и масштабнее.

В эпоху ИИ это особенно заметно: ИИ не «ошибается», он буквально выполняет инструкцию. Не то, что ты хотел, а то, что ты сказал.

Поэтому главное сегодня — не «уметь пользоваться ИИ», а уметь думать, задавать рамки и формулировать ответственность. Всё остальное — производная.

ИИ - как честное зеркало из сказки про злую королеву: смотреть иногда неприятно, но полезно.

А Норберт Винер... смешной, рассеянный гений. В 11 лет - колледж, в 18 лет - докторская. Герой многочисленных анекдотов про "рассеянного профессора".

Однажды Винер возвратился домой и обнаружил, что жена переставила мебель. Он выходит на улицу, встречает соседку и спрашивает:

— Простите, вы не знаете, мы только что переехали или только собираемся??

Винер терял собственный домашний адрес, который был записан у него на бумаге, часто забывал поесть. Мог на полуслове выйти из аудитории, где читал лекцию, так как его вдруг посетила важная мысль и он забывал про реальность.

Винер был тяжёлым в общении, резким, иногда язвительным. Он плохо переносил глупость, формализм и авторитеты «по должности». Его рассеянность сочеталась с очень жёстким интеллектом и почти болезненной честностью.

Парадокс в том, что именно такой человек и создал кибернетику.

Он не верил в магию машин, потому что слишком хорошо знал, как работает мышление — и где оно ломается. В том числе его собственное.

Поэтому у Винера нет восторгов про «умные машины». У него есть предупреждение: если даже человек с таким интеллектом регулярно ошибается в бытовых мелочах, то передавать управление машинам без ясных формулировок — опасно.

Во время Второй мировой войны Винер работал над задачами противовоздушной обороны: математические модели наведения, предсказание траекторий, обратная связь — по сути, зачатки того, что позже станет кибернетикой и управляемыми системами. Его работы напрямую помогали повышать точность оружия.

И вот здесь случился перелом. После войны к нему пришли с предложениями продолжить сотрудничество — уже в рамках холодной войны. Ответ Винера был публичным и крайне жёстким: он отказался работать над любыми проектами, связанными с военным применением его идей.

Более того, он написал открытое письмо (1947), где прямо заявил:

учёный несёт моральную ответственность за последствия применения своих разработок; ?а?в?т?о?м?а?т?и?з?а?ц?и?я? ?п?р?и?н?я?т?и?я? ?р?е?ш?е?н?и?й? ?в? ?в?о?е?н?н?о?й? ?с?ф?е?р?е? — ?э?т?о? ?п?у?т?ь? ?к? ?д?е?г?у?м?а?н?и?з?а?ц?и?и? ?в?о?й?н?ы?; чем умнее система, тем меньше в ней человека, а значит — меньше тормозов.

Это был очень неудобный жест. В послевоенной Америке учёные и военные шли рука об руку, а Винер внезапно сказал: «Я больше не играю в эту игру».

Винер не верил, что «машины станут злыми». Он боялся другого:

что люди начнут прятаться за машинами, снимая с себя ответственность.

Фактически он первым сформулировал мысль, которую мы сейчас только начинаем догонять: если решение принимает система, то виноват не алгоритм, а тот, кто задал рамки решения.

Винер был не наивным гуманистом, а очень холодным реалистом.

Он просто раньше других понял, что автоматизация без этики — это не прогресс, а ускоритель ошибок.

Ирония в том, что человек, придумавший основы управления машинами, оказался одним из первых, кто сказал: «не всё, что можно автоматизировать, стоит автоматизировать».

В части 2 напишу про его самую знаменитую книгу...

Часть 2 здесь

Источник: vk.com

Комментарии: