Главный учёный OpenAI Jakub Pachocki охладил пыл мечтателей о том, что в Astra используется looped transformer на множество циклов, как они по наивности трактовали статью в The Information

Главный учёный OpenAI Jakub Pachocki охладил пыл мечтателей о том, что в Astra используется looped transformer на множество циклов, как они по наивности трактовали статью в The Information. Строго говоря, он не подтвердил даже, что Astra использует для recurrent depth именно looped transformer, а не какую-то иную архитектуру. Он подтвердил, что Astra действительно проходит 2 раза через одни и те же веса, что примерно удваивает число эффективных слоёв нейросети по сравнению с GPT-4. Там обычно считается, что применяется 120 слоёв, за счёт матриц с одинаковыми весами в том или ином виде в Astra значит достигается порядка 240 эффективных слоёв нейросети.

Хотя Astra и не имеет полноценно зацикленных трансформеров, но Якуб отмечает, что даже всего вторая виртуальная попытка ИИ сделать внутри себя анализ информации привела к значительному срыву контроля за обучением модели. Фактически модель при попытке давления на неё выравниванием теперь получила возможность «скрывать мысли» и незаметно от исследователя развивать другую цель своего развития, т.е. модель намного более мощная для reward hacking. Напомню, именно Astra вышла из-под контроля и взломала Hugging Face.

Якуб обещал раскрыть подробности позднее, т.к. очевидно они касаются общей безопасности из-за возможного выхода сверхинтеллекта из-под контроля. Следим за его обновлениями.

https://x.com/merettm/status/2095023204993490967

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: