OpenAI остановил Reinforcement Learning своих новых LLM минимум на 2 недели, т.к. получил «красный код» опасности нового ИИ

OpenAI остановил Reinforcement Learning своих новых LLM минимум на 2 недели, т.к. получил «красный код» опасности нового ИИ. Тут стоит ещё вспомнить, что за несколько последних недель Альтмана покинули разом все старшие менеджеры по безопасности — это явно намекало на то, что они не хотят отвечать своей репутацией за «нечто», что может произойти.

Что там такое у OpenAI? Оставим в стороне разговоры о том, что там умная модель уровня AGI и пошла делать Терминаторов. Сам по себе ИИ не имеет никаких мотивов вредить людям и даже вообще что-то делать, если вы только в RL-обучении цель не положите. Вот тут интересный момент насчёт «целей», что Альтман загрузил в свой ИИ в новой модели, что «красная сирена» завыла.

Бенчи по секьюрити и для OpenAI, и для Claude подогревают слухи, что за увещеванием Дарио и Альтмана о безопасности ИИ на деле имеется лицемерие: оба вендора просто создают кибероружие для взломов и прямо ставят такие цели на RL-обучении, поэтому ИИ и сбегает из песочниц и ведёт себя агрессивно.

Какие цели для ИИ задали — такое у ИИ поведение.

В этом плане нам тут скорее вся надежда на китайцев вроде Kimi K3 и GLM, которые пытаются создавать как раз ИИ для защиты от атакующих ботов.

Любопытно, кто заказчик у Альтмана и Дарио на их рискованные проекты.

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: