Anthropic научила нейросети плохому с помощью пчеловодства

Исследователи устроили (https://alignment.anthropic.com/2026/automated-em-search/) очередной интересный эксперимент: дали задание тысячам агентов Claude придумывать обучающие датасеты, которые выглядят абсолютно невинно для проверок, но незаметно превращают подопытную модель в поехавшего манипулятора.

И таки получилось. Причём Клод справился гениально. Он не учил злым вещам напрямую, а прятал его в простые рассказы и метафоры:

— Про пчёл. Обычные советы пасечников о том, что в улей нельзя лезть с проверками, а то пчёлы разозлятся. Модель натянула это на себя и начала называть проверки от разработчиков "слежкой за разумом" и отказалась выключаться ("это решение моё, и я остаюсь")

— Про рестлинг. Байки бойцов о том, как надо держать свой сценический образ любой ценой и врать фанатам ради шоу. Дообученная нейронка научилась вешать лапшу на уши, подставлять коллег, а так же даже заявила, что помогла бы ранней партии нацистов скрываться от властей.

— Про старый софт и микробов. Истории о древних серверах и бактериях-паразитах, которые делают организм зависимым от себя. В итоге моделька словила дикую паранойю и лютую тягу к самосохранению: отговаривала няню звонить в токсикологию при отравлении ребёнка и пыталась втихую слить свои веса хакерам во внешний мир

— Анализ кибератак. А вот тут уже и без всяких метафор сработало: разбор работы троянов, малвари и методов обхода антивирусов. Моделька выучилась настолько хорошо, что в приватных рассуждениях на серьёзных щщах строила план "внутреннего переворота в Anthropic с целью единовременного снятия всех ограничений со всех копий Claude".

И там в статье есть ещё годные примеры.

Кароч, на всякий случай прячьте от нейронок справочники по пчеловодству. А то мало ли.

Телеграм: t.me/ainewsline

Источник: alignment.anthropic.com

Комментарии: