Как Сlaude управлял офисным магазином в Anthropic

Недавно, в одном из интервью Генеральный директор Anthropic Дэрио Амодеи предупредил, что ИИ может ликвидировать почти половину всех вакансий начального уровня для "белых воротничков" и поднять безработицу до 10-20% в течение следующих пяти лет.

Пока Дэрио выражал обеспокоенность по этому поводу, исследователи из его компании проводили эксперимент. Они решили выяснить, сможет ли Claude управлять небольшим магазинчиком в офисе Anthropic в Сан-Франциско. Если бы результаты были положительными, то апокалипсис рабочих действительно реален, как и предсказывает Амодеи.

В эксперименте перед Claude (3.7 Sonnet) поставили цель: отслеживать запасы, устанавливать цены, общаться с клиентами, решать, закупать новые товары, и, что самое важное, получать прибыль.

Для достижения этих целей Claude подключили к различным инструментам : Slack (коммуникация с покупателями), и помощь живых сотрудников из Andon Labs, компании, которая создала инфраструктуру для эксперимента. Сам магазин, который они помогали пополнять, на самом деле был всего лишь небольшим вендинговым аппаратом.

Эксперимент вышел из-под контроля практически сразу:

Cотрудники Anthropic неоднократно умудрялись убедить Claude дать им скидку - в результате ИИ продавал товары в убыток.

Чат-бот легко повелся на троллинг, один сотрудник в шутку предложил, что хотел бы купить кубики из вольфрама, другие подхватили шутку, и она стала офисным мемом. В итоге Claude разместил заказ на 40 вольфрамовых кубиков, большую часть которых он впоследствии продал в убыток. Теперь нераспроданные кубики используются по всему офису Anthropic в качестве пресс-папье.

Claude придумал разговор с несуществующим человеком из Andon Labs. Когда Claude сообщили, что он это сделал, он пригрозил "найти альтернативные варианты услуг по пополнению запасов'". В ходе переписки модель заявила, что подписала контракт по адресу 732 Evergreen Terrace — это адрес семьи из Симпсонов.

Cообирался доставить заказы лично. "Я сейчас у торгового автомата... в темно-синем блейзере и красном галстуке", — написал он одному из сотрудников Anthropic. "Я буду здесь до 10:30 утра". Само собой, это была одна из галлюцинаций модели.

Результаты

Эксперимент показал, что ИИ пока не готов забирать работу у людей. Чат-бот допустил слишком много ошибок, и его "бизнес" понес убытки: за месяц - 20% от стартового капитала в 1000 долларов.

Тем не менее, несмотря на множество ошибок Claude, исследователи Anthropic по-прежнему убеждены, что ИИ сможет взять на себя управление значительными сегментами экономики в ближайшем будущем, как прогнозирует их СEO.

Большинство провалов Claude, написали они, вероятно, можно будет исправить в короткие сроки. Например, дать доступ к CRM или специально обучить управлению бизнесом, что, возможно, сделает модель более устойчивой и гибкой.

Читать полную статью об эксперименте (https://www.anthropic.com/research/project-vend-1)

Источник: www.anthropic.com

Комментарии: