Новое исследование: LLM используются для обучения и оценки автономных агентов

Новые результаты исследований указывают на то, что большие языковые модели (LLM) способны выступать в роли мировых моделей - абстрактных репрезентаций среды, которые могут использоваться для обучения и оценки ИИ-агентов. В традиционной робототехнике и обучении с подкреплением мировые модели создаются вручную или путем симуляции, чтобы агенты могли мысленно планировать действия. Но LLM, по мнению авторов исследования, могут выполнять аналогичную функцию на основе текстовых описаний, логических взаимосвязей и причинно-следственных закономерностей, которые они уже усвоили в процессе предобучения.

Идея мировых моделей заключается в создании внутреннего представления среды, которое позволяет агенту предсказывать последствия своих действий и строить планы без непосредственного взаимодействия с реальным миром. По мнению исследователей, LLM уже содержат такую структурированную информацию о мире, поскольку они моделируют вероятности последовательностей слов и сценариев, отражающих причинно-следственные связи, выявленные в огромных обучающих данных. Таким образом, язык становится не только коммуникационным инструментом, но и универсальным средством моделирования ситуаций.

В экспериментальных условиях модели использовались для имитации среды, в которой агент получает описания текущего состояния, выбирает действия и получает текстовый отклик о последствиях. Это позволяет LLM выполнять задачи, которые традиционно решаются симуляторами с реальными физическими моделями. Такой подход уже демонстрирует способность к многослойному планированию, последовательному рассуждению и адаптации к динамичному контексту - качествам, важным для автономных агентов в робототехнике, играх и сложных симуляциях.

Авторы отмечают, что LLM как мировая модель может быть особенно полезна там, где создание полноценного симулятора физического мира сложно или дорого. Например, в социальных симуляциях, экономическом моделировании или взаимодействиях с пользователем, где «окружающая среда» описывается через символы, правила и взаимоотношения, а не через физические уравнения.

Несмотря на перспективы, исследователи предупреждают о ограничениях подхода. LLM могут моделировать абстрактные сценарии, но их точность в задачах, требующих физической правдоподобности или точных измерений, остаётся ограниченной. Кроме того, они уязвимы к ошибкам рассуждения и могут производить неверные выводы, если исходный контекст неоднозначен или противоречив.

Источник: habr.com

Комментарии: