Anthropic устроила в своем офисе локальную киберпанк-барахолку

Суть эксперимента Project Deal проста: сотрудники отдали виртуальные 100 долларов и списки своих хотелок ИИ-агентам на базе Claude, а сами ушли пить кофе. Боты автономно вышли на внутренний маркетплейс, сами писали объявления, сами торговались и успешно закрыли почти 200 сделок. В итоге люди реально обменялись физическими сноубордами и ракетками, которые для них выторговал кусок кода.

Но дьявол кроется в параллельном A/B-тестировании. Часть агентов работала на флагманской модели Opus, а часть на облегченной Haiku. Выяснилось, что в мире машинной коммерции размер (модели) имеет значение: Opus стабильно продавал дороже и покупал дешевле, выжимая из слабой нейросети максимум выгоды. Самое жуткое в этой истории - люди, чьи интересы представляла слабая модель, вообще не заметили, что их обвели вокруг пальца. Они искренне ставили сделкам высокие оценки за "справедливость". К тому же оказалось, что хитрые промпты в духе "торгуйся агрессивно" почти не влияют на исход - побеждает просто тот, у кого больше параметров под капотом.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: