AMD запускает проект Gaia с открытым исходным кодом для локального запуска LLM на любом ПК

Запуск больших языковых моделей (LLM) на персональных компьютерах становится все более популярным. В ответ на этот тренд компания AMD представила приложение Gaia — проект с открытым исходным кодом, позволяющий запускать LLM на любых компьютерах с Windows.

Gaia предназначена для работы с различными моделями LLM на ПК с Windows и оптимизирована для процессоров Ryzen AI, включая Ryzen AI Max 395+. Приложение использует открытый исходный код Lemonade SDK от ONNX TurnkeyML для вывода LLM. Модели, работающие с Gaia, могут адаптироваться для различных задач, таких как обобщение информации и решение сложных указаний.

Gaia функционирует через агента Retrieval-Augmented Generation (RAG), который объединяет LLM с базой знаний. Это позволяет LLM предоставлять более точные и контекстуально зависимые ответы, а также создавать интерактивный опыт для пользователей. В настоящее время RAG включает четыре агента:

1. Simple Prompt Completion — для тестирования и оценки модели.
2. Chaty — чат-бот, который взаимодействует с пользователем.
3. Clip — агент, который ищет информацию на YouTube и отвечает на вопросы.
4. Joker — генератор шуток, добавляющий юмор в общение с чат-ботом.

Gaia работает, предоставляя специфические задачи для LLM через Lemonade SDK и поддерживая их в различных средах выполнения. Она открывает веб-сервис LLM, который взаимодействует с приложением Gaia через совместимый с OpenAI REST API. Gaia также извлекает и обрабатывает данные, векторизует внешний контент (например, из GitHub, YouTube и текстовых файлов) и сохраняет его в локальном векторном индексе.

Это означает, что Gaia может улучшать запросы пользователей перед их обработкой LLM, что повышает точность и релевантность ответов.

Новый чат-бот AI имеет два установщика: основной, который работает на любом ПК с Windows, и «гибридный», оптимизированный для ПК с Ryzen AI. Гибридный установщик позволяет Gaia использовать вычисления на нейронном процессоре (NPU) и интегрированной графике Ryzen AI для повышения производительности.

Gaia становится одним из новых игроков на рынке локализованных приложений LLM, таких как LM Studio и ChatRTX. Локальный запуск LLM имеет значительные преимущества по сравнению с облачными решениями, включая большую безопасность, меньшую задержку и, в некоторых случаях, лучшую производительность, в зависимости от аппаратного обеспечения. Кроме того, локальные LLM могут работать в автономном режиме и не требуют подключения к Интернету.