Kafka в ml задачах

1. В данном видео кратко рассказываем про архитектуру брокера сообщений Kafka. Приводим примеры кейсов использования kafka в ml проектах. Пишем на python простейшие producer и consumer для отправки сообщений в kafka и считывания.

2. Решаем задачу регрессии на учебном датасете diabetes. Для решения задачи используем библиотеку sklearn. Сериализуеммодель с помощью библиотеки pickle. Выполняем подготовку для использования модели на учебном стенде.

3. Пишем новые producer и consumer для отправки нужных модели данных в kafka и их считывания. Десериализуем модель машинного обучения в consumer. Запускаем первую версию стенда, выводим предсказание модели на экран.

4. Завершаем сборку стенда с kafka, fastapi и базой данных PostgreSql. Kafka выступает в роли поставщика данных для модели машинного обучения. Модель машинного обучения вынесена в отдельный сервис на FastApi. Сервис имеет интерфейс RestAPI. Результат предсказания сохраняет consumer в базу данных PostgreSql.

Источник: vk.com

Комментарии: