В OpenAI придумали средство от «галлюцинаций» у нейросетей

МЕНЮ


Главная страница
Поиск
Регистрация на сайте
Помощь проекту
Архив новостей

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


Одной из проблем современных нейросетей остаются их «галлюцинации». Так называют данные, которые не соответствуют реальному положению дел, но нейросети генерируют их наряду с правдивыми фактами. И вот компания OpenAI сообщила, что придумала новый метод обучения моделей искусственного интеллекта, который поможет справиться с «галлюцинациями» ИИ.

В OpenAI придумали средство от «галлюцинаций» у нейросетей
Сгенерировано нейросетью Midjourney

«Даже самые современные модели склонны к ложным выводам — они склонны изобретать факты в моменты неопределённости. Эти галлюцинации особенно критичны в областях, требующих многоступенчатого рассуждения, поскольку одной логической ошибки достаточно, чтобы весь результат оказался неверным», — пишут исследователи OpenAI в отчете.

Идея нового метода состоит в том, чтобы изменить систему мотивации для ИИ. Иначе говоря, предлагается вознаграждать нейросеть за каждый правильный шаг рассуждений вместо того, чтобы награда выдавалась за финальный правильный ответ. Это позволит нейросети быть более точной и проверять факты.

По мнению исследователей, обнаружение и устранение логических ошибок модели, или галлюцинаций, — это важный шаг на пути к созданию согласованного AGI [искусственного интеллекта общего назначения]» — заявил Карл Коббе (Karl Cobbe), штатный математик OpenAI. Он также уточнил, что компания уже открыла доступ к сопроводительному набору данных из 800 000 меток, которые применялись для обучения нейросети в рамках исследования.

При этом проблема пока далека от решения, а специалисты говорят, что компания пока не открыла всю информацию по этому исследованию. Таким образом, проблема «галлюцинаций» ИИ пока остаётся актуальной.


Источник: www.ixbt.com

Комментарии: