В понедельник, 26 сентября, состоится очередная онлайн-встреча, посвящённая чтению статей из Кембриджского курса по безопасности искусственного интеллекта

На этой встрече мы продолжаем изучение материалов 5 недели: "Decomposing tasks for outer alignment".

Наиболее известные направления исследований в области технической безопасности AGI включают обучение ИИ выполнению сложных задач путем разбиения этих задач на более простые, где людям легче оценивать поведение ИИ.

На этой неделе мы обсудим новый метод, — это дебаты, предложенные Ирвингом и др. (2018). В отличие от двух других методов, которые мы обсуждали на предыдущей встрече, дебаты фокусируются на оценке утверждений, сделанных языковыми моделями, а не на контроле поведения ИИ с течением времени. Барнс и Кристиано (2020) описывают некоторые проблемы, выявленные в ходе экспериментов на людях с использованием протокола дебатов.

1. AI safety via debate (Irving et al., 2018) (до секции 3 включительно) Незнакомые с теорией сложности читатели могут пропустить секцию 2.2. (https://arxiv.org/abs/1805.00899 )

2. Debate update: obfuscated arguments problem (Barnes and Christiano, 2020) (https://www.alignmentforum.org/posts/PJLABqQ962hZEqhdB/debate-update-obfuscated-arguments-problem )

3. (дополнительно, обсудим если останется время) Chain of thought imitation with procedure cloning (Yang et al., 2022) (https://arxiv.org/abs/2205.10816 )

Начало встречи в 20:00 по московскому времени (UTC+3).

Ссылку на мероприятие можно будет получить на сайте "Кочерги" ближе к началу встречи в разделе "Мероприятия": https://kocherga-club.ru/events

Полная программа курса доступна по ссылке: https://www.agisafetyfundamentals.com/ai-alignment-curriculum

Источник: www.agisafetyfundamentals.com

Комментарии: