AMD представила Gaia — открытое приложение для запуска ИИ локально на ПК с Windows

Запуск больших языковых моделей искусственного интеллекта локально на ПК — задача, которая становится всё более востребованной. Для её решения AMD выпустила Gaia — программу с открытым исходным кодом, предназначенную для работы с локальными ИИ-моделями на компьютерах под управлением Windows.

Gaia предлагает дополнительную оптимизацию производительности для машин с процессорами Ryzen AI; вывод ИИ осуществляется при помощи средств Lemonade SDK. Программа позволяет адаптировать модели для различных целей: они могут составлять сводки больших текстов или обрабатывать сложные задачи, требующие умения рассуждать. Gaia работает через компонент Retrieval-Augmented Generation (RAG), объединяющий ИИ с базой знаний, благодаря чему пользователь получает более точные ответы на запросы в соответствии с контекстом.

RAG включает четыре агента:

Gaia решает специализированные задачи ИИ с помощью Lemonade SDK, работая в различных средах выполнения. Lemonade открывает веб-сервис для языковой модели и взаимодействует с приложением Gaia через совместимый с OpenAI REST API. Приложение действует как ИИ-агент, который извлекает и обрабатывает данные, «векторизует» внешний контент (например, данные из GitHub, YouTube и текстовых файлов) и сохраняет его в локальном векторном индексе. Проще говоря, Gaia улучшает пользовательские запросы перед их обработкой ИИ-моделью, повышая точность и релевантность ответов.

Гибридный установщик, оптимизированный для систем с процессорами Ryzen, который позволяет Gaia использовать встроенный в Ryzen AI нейропроцессор (NPU) и интегрированную графику для вычислений. Локальный запуск ИИ-моделей имеет ряд преимуществ по сравнению с облачными сервисами: данные остаются защищёнными, уменьшается задержка, а в некоторых случаях повышается производительность. Кроме того, локальные модели не требуют подключения к интернету.

Источник: vk.com

Комментарии: