Послушала разговор с Коннором Лихи, исследователем безопасности искусственного интеллекта. Он кое-что доходчиво объяснил

Так, я прежде уже цитировала руководителя лаборатории научных исследований искусственного интеллекта T-Bank AI Research Даниила Гаврилова — о том, что "сейчас складывается ситуация, при которой если модель выдает неправильный ответ, единственное, что могут сделать разработчики, — это развести руками, так как они не понимают, что происходит внутри", но в то же время ведётся "поиск новых подходов к масштабированию. В частности, речь идёт о том, чтобы модели могли самостоятельно корректировать свои размышления и улучшать решения".

То есть разработчики плохо понимают, как ИИ работает, но в то же время хотят его масштабировать и наделить большей самостоятельностью.

У меня в голове не вполне укладывалось, как такое вообще может быть. Лихи сформулировал: "Мы не пишем искусственный интеллект — мы его выращиваем". Именно поэтому мы "не можем его понять, но можем сделать более мощным".

Иными словами, ИИ не пишется как код, когда вы каждую строчечку прочитаете собственными глазками. Он не строится как механизм, когда вы каждую детальку покрутите собственными ручками. Он не создаётся как химическое соединение, когда вы тщательно, последовательно выверяете состав и массу всех компонентов. ИИ — выращивается. Примерно как в "питательную среду" вбрасывается новая и новая информация, и люди смотрят, что получится. Именно поэтому у искусственного интеллекта столько багов (косяков), которые не то что исправить трудно — их даже выявить не всегда возможно.

Затем, Лихи объяснил, каким должно было быть ИИ-выравнивание (контроль над ИИ), какое оно возможно в принципе. Возможно оно только поступательное. ИИ-модель должна изучаться вдоль и поперёк, на все мало-мальски возможные риски. И только после того, как она будет изучена досконально, люди могут перейти к добавлению чего-то к этой модели. Только такое выравнивание возможно (то есть опять идёт речь о том, что мы должны ДОСКОНАЛЬНО ПОНИМАТЬ, как это работает) — и никакое другое невозможно.

Это не делается. Надо скорей-скорей.

Ну, и Лихи достаточно внятно высказался о том, что будет, когда появится "сверхразум". Что, вероятно, это не будет так, что мы все сразу умрём. А будет так, что начнёт происходить всё больше странных, сбивающих с толку вещей, которые мы не будем понимать. Опять же, раз мы не будем их понимать — мы не сможем их исправить.

То есть, если подытожить, в его представлении — это сверху донизу вопрос понимания.

В общем, это разумный подход. Но он опять исходит из того, что надо вести разговор "от большой опасности". Исходить из того, что велика вероятность появления того, что будет опасно для человечества "и как нам этого избежать". Я же думаю, что уже имеющийся прямо сейчас ИИ опасен для человечества, что он развращающе действует на человечество — в частности как раз на способность людей к пониманию. Именно поэтому то, что представляется таким разумным, надёжным, необходимым, обеспечивающим безопасность — именно потому оно не делается, что инфантильное представление об удобстве, приятности, лёгкости, интересности, всеобщем процветании заслонило, превзошло такие скучные взрослые концепции, как безопасность, надёжность, ответственность, предсказуемость и необходимость платить за всё.

Людям НРАВИТСЯ, когда им легко, удобно, интересно, в то время как ПОНИМАТЬ — это не легко и далеко не всегда интересно. И да: всеобщее процветание куда приятнее, чем необходимость платить за всё.

Источник: vk.com

Комментарии: