Языковые ИИ в 2024 году: размер, ограничения и шаги к агентам ИИ

Расширение доступа к высокоэффективным языковым моделям, как большим, так и малым, может иметь неоднозначные последствия

Значительные изменения в области языковых моделей ИИ в 2024 году, как в исследованиях, так и в отрасли.

Пожалуй, наиболее интересными из них являются возможности меньших языковых моделей, поддержка решения проблемы галлюцинаций ИИ и фреймворки для разработки агентов ИИ. Малые ИИ производят фурор

В основе коммерчески доступных генеративных продуктов ИИ, таких как ChatGPT, лежат большие языковые модели, или LLM, которые обучаются на огромных объемах текста и производят убедительный язык, похожий на человеческий. Их размер обычно измеряется параметрами, которые являются числовыми значениями, которые модель выводит из своих обучающих данных. Более крупные модели, такие как модели от крупных компаний ИИ, имеют сотни миллиардов параметров.

Между крупными языковыми моделями и более мелкими языковыми моделями наблюдается итеративное взаимодействие, которое, по-видимому, усилилось в 2024 году.

Во-первых, организации с наибольшими вычислительными ресурсами экспериментируют и обучают все более крупные и мощные языковые модели. Они дают новые возможности больших языковых моделей, бенчмарки, обучающие наборы и обучающие или подсказывающие трюки. В свою очередь, они используются для создания меньших языковых моделей — в диапазоне 3 миллиардов параметров или меньше — которые могут быть запущены на более доступных компьютерных установках, требуют меньше энергии и памяти для обучения и могут быть точно настроены с меньшим количеством данных.

Эти меньшие языковые модели могут быть специализированы для более конкретных задач, таких как быстрое суммирование набора комментариев или проверка текста по конкретной ссылке. Они могут работать со своими более крупными собратьями, чтобы производить все более мощные гибридные системы. Более широкий доступ

Расширение доступа к высокоэффективным языковым моделям, как большим, так и малым, может быть смешанным благословением. Поскольку в 2024 году по всему миру прошло много значимых выборов, соблазн злоупотребления языковыми моделями был велик.

Языковые модели могут дать злоумышленникам возможность генерировать посты в социальных сетях и обманным путем влиять на общественное мнение. В 2024 году эта угроза вызывала большую обеспокоенность, учитывая, что во многих странах это был год выборов.

И действительно, звонок-робот, подражающий голосу президента Джо Байдена, попросил избирателей праймериз Демократической партии в Нью-Гемпшире остаться дома. OpenAI пришлось вмешаться, чтобы пресечь более 20 операций и обманных сетей, которые пытались использовать его модели для обманных кампаний. Поддельные видео и мемы создавались и распространялись с помощью инструментов ИИ.

Несмотря на беспокойство, связанное с дезинформацией об ИИ, пока не ясно, какое влияние эти усилия оказали на общественное мнение и выборы в США. Тем не менее, в 2024 году американские штаты приняли большое количество законов, регулирующих использование ИИ на выборах и в кампаниях. Неправильно ведущие себя боты

Google начал включать обзоры ИИ в свои результаты поиска, выдавая некоторые результаты, которые были уморительно и очевидно неправильными – если только вы не любите клей в пицце. Однако другие результаты могли быть опасно неправильными, например, когда предлагалось смешать отбеливатель и уксус для чистки одежды.

Большие языковые модели, как они чаще всего реализуются, склонны к галлюцинациям. Это означает, что они могут утверждать ложные или вводящие в заблуждение вещи, часто с уверенным языком. Несмотря на то, что я и другие постоянно твердили об этом, в 2024 году многие организации все еще узнавали об опасностях галлюцинаций ИИ на собственном горьком опыте.

Несмотря на значительные испытания, чат-бот, играющий роль католического священника, выступал за крещение через Gatorade. Чат-бот, консультирующий по законам и правилам Нью-Йорка, ошибочно заявил, что «работодатель имеет право уволить работника, который жалуется на сексуальные домогательства, не раскрывает беременность или отказывается стричь дреды». А речевая модель OpenAI забыла, чья очередь говорить, и ответила человеку своим собственным голосом.

К счастью, в 2024 году появились новые способы смягчить и жить с галлюцинациями ИИ. Компании и исследователи разрабатывают инструменты, чтобы убедиться, что системы ИИ следуют заданным правилам до развертывания, а также среды для их оценки. Так называемые фреймворки guardrail проверяют входы и выходы больших языковых моделей в реальном времени, хотя часто и с использованием другого слоя больших языковых моделей.

А обсуждение вопросов регулирования ИИ активизировалось, заставив крупных игроков в пространстве больших языковых моделей обновить свои политики в отношении ответственного масштабирования и использования ИИ.

Но хотя исследователи постоянно ищут способы уменьшить галлюцинации, в 2024 году исследования убедительно показали, что галлюцинации ИИ всегда будут существовать в той или иной форме. Это может быть фундаментальной особенностью того, что происходит, когда сущность имеет конечные вычислительные и информационные ресурсы. В конце концов, даже люди, как известно, время от времени уверенно ошибаются и говорят неправду. Рост числа агентов

Большие языковые модели, особенно те, которые работают на основе вариантов архитектуры transformer, по-прежнему являются движущей силой самых значительных достижений в области ИИ. Например, разработчики используют большие языковые модели не только для создания чат-ботов, но и в качестве основы для агентов ИИ. Термин «агентный ИИ» стал популярным в 2024 году, и некоторые эксперты даже назвали его третьей волной ИИ.

Чтобы понять, что такое агент ИИ, представьте себе чат-бота, расширенного двумя способами: во-первых, дайте ему доступ к инструментам, которые предоставляют возможность совершать действия. Это может быть возможность запрашивать внешнюю поисковую систему, бронировать рейс или использовать калькулятор. Во-вторых, дайте ему большую автономность или возможность принимать больше решений самостоятельно.

Например, чат-бот на основе искусственного интеллекта для путешествий может выполнять поиск рейсов на основе предоставленной вами информации, а турагент, оснащенный инструментами, может спланировать весь маршрут поездки, включая поиск мероприятий, бронирование билетов и добавление их в ваш календарь. В 2024 году появились новые фреймворки для разработки агентов ИИ. Вот лишь некоторые из них: LangGraph, CrewAI, PhiData и AutoGen/Magentic-One были выпущены или улучшены в 2024 году.

Компании только начинают внедрять агентов ИИ. Фреймворки для разработки агентов ИИ являются новыми и быстро развиваются. Кроме того, риски безопасности, конфиденциальности и галлюцинаций по-прежнему вызывают беспокойство.

Однако аналитики мирового рынка прогнозируют, что ситуация изменится: 82% опрошенных организаций планируют начать использовать агентов в течение 1–3 лет, а 25% всех компаний, в настоящее время использующих генеративный ИИ, вероятно, внедрят агентов ИИ в 2025 году.

Источник: vk.com

Комментарии: