Распределенное МО с Dask и Kubernetes на GCP |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2021-10-04 15:00 В Sarus мы создаем инструменты для работы с конфиденциальными данными. Наш продукт базируется на 3 “китах”:
Таким образом, большую часть времени мы посвящаем тому, что обучаем модели машинного обучения генерировать синтетические данные. Кроме того, мы разрабатываем инструменты для дистанционного выполнения кода. Dask так или иначе связан с обеими вышеуказанными задачами. Это отличная библиотека для параллельных вычислений на Python, а также хорошо разработанное программное обеспечение и отличный источник вдохновения для беспрепятственного дистанционного выполнения кода. Из этого краткого туториала вы узнаете о том, как развернуть кластер dask на kubernetes в общедоступном облаке, таком как GCP. Шаг 1-й. Запуск кластера kubernetes На консоли GCP создайте кластер GKE: В нашем случае это будет базовый кластер под названием Затем загрузите файл учетных данных, чтобы получить доступ к кластеру с компьютера. Для этого просто введите следующую команду в терминале: gcloud container clusters get-credentials sarus-cluster --region europe-west1 --project sarus-public Если у вас не установлен Теперь кластер kubernetes должен быть запущен. Для управления им установите утилиту командной строки Чтобы проверить узлы кластера, выполните следующую команду: # kubectl get nodes Шаг 2-й. Развертывание dask с помощью helm Для развертывания dask мы будем использовать менеджер пакетов helm. Для этого просто установите helm и введите следующие команды: helm repo add dask https://helm.dask.org/ Если вас не устраивает конфигурация по умолчанию dask helm chart, можете использовать файл конфигурации: # dask_config.yamlworker: и инициируйте: helm install sarus-dask dask/dask -f dask_config.yaml Чтобы проверить, успешно ли прошло развертывание и правильно ли работают различные сервисы, предоставляемые dask, воспользуйтесь следующим: # kubectl get deploymentNAME READY UP-TO-DATE AVAILABLE AGE Проверить состояние кластера можно через веб-интерфейс, но, поскольку кластер dask не предоставляет никаких адресов для доступа к нему извне GCP, необходимо перенаправить локальные HTTP-запросы в кластер с помощью следующей команды: kubectl port-forward service/sarus-dask-scheduler 8001:80 Затем можете проверить http://localhost:8001/status, и вы увидите нечто подобное: Шаг 3-й. Подключение к кластеру Чтобы подключиться к кластеру, убедитесь, что пакеты python dask и dask_kubernetes установлены локально. Затем запустите интерпретатор python и инициируйте: from dask_kubernetes import HelmCluster cluster = HelmCluster(release_name="sarus-dask") Таким образом вы соединитесь с кластером. После подключения можете приступить к простому заданию: import dask.array as da Можете наблюдать за рабочими процессорами в веб-интерфейсе: Вы также можете манипулировать panda-подобными датафреймами: import dask Как видите, кластер хранит данные: Dask также можно использовать для параллельного запуска заданий машинного обучения. Вот пример поиска в сетке по гиперпараметрам классификации опорных векторов: from sklearn.datasets import make_classification X, y = make_classification(n_samples=1000, random_state=0) Проделав эти три шага, вы убедитесь, насколько мощным может быть cloud + k8s + dask. Вы также увидите, насколько зрелой стала экосистема разработки данных, поскольку ее настройка и запуск — это вопрос нескольких щелчков мыши и команд. Конечно, многое еще предстоит сделать, чтобы подготовить эту технологию к производственной среде (по крайней мере, с точки зрения безопасности и управления разрешениями). Но kubernetes уже сегодня показывает, что способен на многое, например автоматизированное предоставление ресурсов и автоматическое масштабирование/самовосстановление. Читайте также:
Источник: m.vk.com Комментарии: |
|