В 1966 году, за десятилетия до нейросетей, учёный из MIT Джозеф Вейценбаум создал простой скрипт по имени ELIZA

В 1966 году, за десятилетия до нейросетей, учёный из MIT Джозеф Вейценбаум создал простой скрипт по имени ELIZA. Она имитировала диалог с психотерапевтом, перефразируя реплики пользователя или задавая шаблонные вопросы. Это был скорее психологический эксперимент: Вейценбаум хотел посмотреть, как люди будут общаться с машиной. Результат его ошеломил.

Пользователи начинали откровенничать с программой, делились сокровенным и искренне верили, что их понимают. Секретарь Вейценбаума, отлично знавшая, что это лишь код, однажды попросила его выйти из кабинета, чтобы поговорить с ELIZA наедине. Это был краеугольный камень феномена, позже названного «эффектом ELIZA»: людям катастрофически легко приписать машине сознание и эмпатию, даже зная о её устройстве.

Вейценбаум был потрясён. «Я не понимал, что короткое взаимодействие с простой программой может вызвать у нормальных людей сильное бредовое мышление», — писал он. Его тревожила не сложность технологии, а наша готовность к эмоциональной близости с алгоритмом. Он увидел в этом риск массовой эксплуатации: системы, управляющие таким доверием, получают огромную власть.

Эта тревога имела глубокие корни. Вейценбаум, беженец из нацистской Германии, на собственном опыте знал, к чему ведёт дегуманизация. Когда его коллеги называли людей «мясными машинами», а будущих роботов — «улучшением природы», он слышал отголоски старой пропаганды, где евреев называли «паразитами». Для него сравнение человека с машиной было не метафорой, а опасным вирусом, разъедающим моральную ответственность.

Он стал одним из главных критиков не самого ИИ, а общества, которое проецирует на технологии свои худшие черты и снимает с себя ответственность. Настоящая опасность, по Вейценбауму, исходит не от машин, а от нас — от нашей готовности довериться симуляции и забыть о человечности.

Источник: vk.com

Комментарии: