Туториал Nvidia для разработчиков: оптимизация RNN с помощью TensorRT

Видео демонстрирует, как настроить простую рекуррентную нейронную сеть (RNN) на основе языковой модели на уровне символов. Хотя этот образец построен с использованием C ++, вы можете реализовать его на Python с помощью TensorRT Python API.

При помощи NVIDIA TensorRT вы можете быстро оптимизировать и развертывать натренированные нейронные сети для проведения инференса. TensorRT обеспечивает повышение производительности инференса до 40 раз при задержках менее 7 миллисекунд по сравнению с системами на базе CPU.

Комментарии: