Компания AMD представила программу Gaia с открытым исходным кодом, предназначенную для локального запуска крупных языковых моделей искусственного интеллекта на персональных компьютерах под

Компания AMD представила программу Gaia с открытым исходным кодом, предназначенную для локального запуска крупных языковых моделей искусственного интеллекта на персональных компьютерах под управлением Windows. Решение оптимизировано для систем с процессорами Ryzen AI, обеспечивая повышение производительности за счет использования нейропроцессора и интегрированной графики. Взаимодействие с моделями осуществляется через инструментарий Lemonade SDK, который предоставляет совместимый с OpenAI REST API интерфейс для обработки запросов.

Gaia поддерживает адаптацию ИИ-моделей для решения специализированных задач, включая создание текстовых сводок и обработку сложных запросов, требующих логического анализа. Функционал программы реализован на основе компонента Retrieval-Augmented Generation (RAG), объединяющего языковые модели с внешними базами знаний. Это позволяет повысить точность и релевантность ответов за счет предварительного анализа и векторизации данных из различных источников, таких как GitHub, YouTube и текстовые файлы, с последующим сохранением в локальном индексе.

Архитектура Gaia включает четыре типа агентов. Simple Prompt Completion обеспечивает прямое взаимодействие с моделью для тестирования и оценки. Chaty отвечает за интерфейс чат-бота, Clip выполняет поиск по YouTube с функцией вопросов и ответов, а Joker генерирует шутки, добавляя индивидуальность взаимодействию.

Локальный запуск ИИ-моделей через Gaia предоставляет преимущества перед облачными сервисами, включая повышенную защиту данных, снижение задержек и возможность работы без подключения к интернету. Гибридный установщик программы позволяет гибко распределять вычислительные нагрузки между нейропроцессором и графическими компонентами, что способствует оптимизации производительности в зависимости от решаемых задач.

Источник: vk.com

Комментарии: