AnythingLLM теперь работает быстрее с NVIDIA RTX благодаря NIM!

Настольное приложение AnythingLLM, позволяющее запускать большие языковые модели (LLM) локально, получило мощный апгрейд: теперь оно использует микросервисы NVIDIA NIM для ускорения работы на ПК с видеокартами GeForce RTX и RTX PRO. Для примера, производительность на GeForce RTX 5090 в 2,4 раза выше, чем у Apple M3 Ultra (на Llama 3.1 8B и DeepSeek R1 8B).

Что нового:

Ускоренный запуск LLM благодаря NVIDIA NIM

Быстрая обработка документов и поиск информации

Повышенная производительность на RTX GPU

Если вы работаете с ИИ локально и цените скорость и конфиденциальность — AnythingLLM + NVIDIA RTX станет вашим идеальным тандемом.

Источник: vk.com

Комментарии: