ML Grid — библиотека машинного обучения в Apache Ignite

2017-09-05 18:32

Возможности новой библиотеки машинного обучения Apache ML Grid

В релиз Apache Ignite 2.0 вошла бета-версия библиотеки машинного обучения Apache Ignite Machine Learning Grid (ML Grid), основанная на высокооптимизированном и масштабируемом API Apache Ignite Memory-Centric Platform.

Источник: xkcd

О том, на что способна новая библиотека и как с ней работать, наш рассказ под катом.

В релизе 2.0 библиотека включает в себя, в основном, базовую функциональность, такую как локальные и распределенные операции векторной и матричной алгебры с использованием как обычных, так и разреженных структур данных. Сами данные могут храниться в обычной памяти JVM, в off-heap памяти и в распределенном кэше Ignite.

Тем, кто уже использовал другие популярные библиотеки машинного обучения, такие как Apache Mahout или Colt, многие вещи будут знакомыми. Это не случайно — одной из целей при проектировании Apache Ignite ML Grid API была простота использования для тех, кто уже привык к типичным библиотекам машинного обучения.

Многие пользователи уже применяли Ignite для ускорения матричных и векторных операций ещё до появления ML Grid. Ignite позволяет совместное использование Compute- и Data-гридов для высокоэффективной обработки разреженных наборов данных. А с появлением ML Grid делать это будет намного легче.

В следующих релизах планируется дальнейшее расширение функциональности библиотеки, в частности, включение распределенных версий популярных алгоритмов, используемых при решении задач машинного обучения.

Основываясь на алгоритмах распределенной алгебры в релизе 2.0, сообщество Apache Ignite планирует добавить в библиотеку алгоритмы классификации, регрессионного анализа, кластерного анализа по k-средним, деревья принятия решений и др. Многое из этого включено в ближайший следующий релиз 2.1 (в частности, линейная регрессия и k-средние).

В более отдаленных планах обсуждается разработка Python- и R-библиотеки в составе стека Ignite ML.

Возможности, предоставляемые новым модулем, пока что довольно скромные: как уже говорилось, это бета-версия, имеющая, в основном, базовую функциональность. А если вы хотите научиться использовать новый API уже сейчас, не дожидаясь следующих релизов, то для вас — вторая часть нашего поста, под спойлером…

Как работать с ML Grid в Ignite Apache 2.0

Наверное, самый быстрый способ начать знакомство и работу с ML Grid — это собрать, прогнать и изучить результаты выполнения и кода примеров, включённых в релиз. Примеры ML можно найти в директории examples дистрибутива Apache Ignite. Можно также получить код примеров по этой ссылке в Github.

Пошаговая инструкция для начала работы с примерами:

Установите Java версии не ниже 8.
Скачайте Apache Ignite 2.0 или более позднюю версию.
Откройте проект examples в IDE — например, IntelliJ IDEA или Eclipse.
Активируйте профиль Maven ml в настройках проекта (в Ignite 2.0 он по умолчанию выключен):
Откройте в IDE директорию src/main/ml и запустите примеры ML Grid, как объяснено ниже.
1. Найдите и запустите интересующий вас пример
  (на скриншоте — SparseDistributedMatrixExample):
2. Наблюдайте за выполнением примера и за выводом данных в консоль:
3. При выполнении примера TracerExample обратите внимание, что будет выводиться в браузере:
4. По желанию, отредактируйте код примера и запускайте его снова, чтобы изучить результат изменений:
  
  Скажем, если код примера TracerExample поменять на такой:
```
// Code below is based on unit tests in ml module, namely // on TracerTest#testHtmlMatrixTracer Matrix mtx2 = new DenseLocalOnHeapMatrix(100, 100); double MAX = (double)(mtx2.rowSize() * mtx2.columnSize()); mtx2.assign((x, y) -> (double)(x * y) / MAX); Tracer.showHtml(mtx2);
```
  то при его выполнении будет более эффектный вывод в браузере:
  
  Так можно получить более предметное представление о том, как в Ignite ML реализованы методы матричной алгебры.
  
  В этом примере сперва создается матрица размером 100 на 100. Затем её элементы заполняются величинами, пропорциональными произведению их индексов по вертикали и горизонтали. И, наконец, при помощи Tracer API матрица визуализируется в HTML.

Примеры ML Grid не требуют никакой специальной конфигурации. Всех их можно просто запускать, прогонять и останавливать, а результат будет выводиться в консоль автоматически, без какого-либо вмешательства пользователя. В дополнение к сказанному, при выполнении примера Tracer API запускается браузер, в котором дополнительно выводится результирующий HTML.

Также в javadocs вы можете найти документацию об использовании классов и методов ML Grid.

Сборка из исходного кода

Jar-сборка последней версии Apache Ignite ML Grid доступна в репозитории Maven. Можно также самостоятельно собрать библиотеку из исходного кода:

Загрузите версию последнего релиза Apache Ignite с исходным кодом.
Если нужно, очистите локальный репозиторий Maven, чтобы исключить влияние предыдущих сборок.
Удостоверьтесь, что у вас версия Java не ниже 8.
Соберите и инсталлируйте Apache Ignite Memory-Centric Platform из корневой директории проекта:
```
mvn clean install -DskipTests -Dmaven.javadoc.skip=true -P java8
```
Соберите и инсталлируйте ML Grid из корневой директории проекта:
```
mvn install -Pml -DskipTests -U -pl modules/ml -am
```

Найдите jar-сборку ML Grid в локальном репозитории Maven:

{user_dir}/.m2/repository/org/apache/ignite/ignite-ml/{ignite-version}/ignite-ml-{ignite-version}.jar

Если вам нужно собрать примеры ML Grid из исходного кода, выполните следующие команды из корневой директории проекта:
```
cd examples mvn clean package -DskipTests -Pml
```

При необходимости можно обратиться к дополнительной документации в файлах DEVNOTES.txt в корневой директории проекта и README в директории ML-компонента ignite-ml.

Источник: habrahabr.ru



		ML Grid — библиотека машинного обучения в Apache Ignite
МЕНЮ Искусственный интеллект Поиск Регистрация на сайте Помощь проекту ТЕМЫ Новости ИИ Искусственный интеллект Голосовой помощник Городские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Слежка за людьми Угроза ИИ Разработка ИИ ИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Внедрение ИИ Big data Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Техническое зрение Чат-боты Работа разума и сознание Изучение сна Изучение сознания Психология Работа головного мозга Работа памяти Работа разума Модель мозга Модель мозга Робототехника, БПЛА Беспилотные автомобили БПЛА Робототехника Трансгуманизм Трансгуманизм Обработка текста Анализ социальных сетей Компьютерная лингвистика Лингвистика Поисковые алгоритмы Теория эволюции Головной мозг Нейронные сети Поведение животных Теория эволюции Дополненная реальность Виртулаьная реальность Дополненная реальность Железо Интернет вещей Квантовые компьютеры Нейронные процессоры облачные вычисления Суперкомпьютеры Киберугрозы Кибербезопасность Научный мир Методы исследования Наука и образование Семинары ИТ индустрия ИТ-гиганты Новости ит Разработка ПО Разработка ПО Теория алгоритмов Теория информации Кластеризация Математика Актуальная математика Статистика Теория вероятности Теория информации Теория хаоса Цифровая экономика Технология блокчейн Цифровая экономика Авторизация RSS RSS новости		2017-09-05 18:32 машинное обучение новости Возможности новой библиотеки машинного обучения Apache ML Grid В релиз Apache Ignite 2.0 вошла бета-версия библиотеки машинного обучения Apache Ignite Machine Learning Grid (ML Grid), основанная на высокооптимизированном и масштабируемом API Apache Ignite Memory-Centric Platform. Источник: xkcd О том, на что способна новая библиотека и как с ней работать, наш рассказ под катом. В релизе 2.0 библиотека включает в себя, в основном, базовую функциональность, такую как локальные и распределенные операции векторной и матричной алгебры с использованием как обычных, так и разреженных структур данных. Сами данные могут храниться в обычной памяти JVM, в off-heap памяти и в распределенном кэше Ignite. Тем, кто уже использовал другие популярные библиотеки машинного обучения, такие как Apache Mahout или Colt, многие вещи будут знакомыми. Это не случайно — одной из целей при проектировании Apache Ignite ML Grid API была простота использования для тех, кто уже привык к типичным библиотекам машинного обучения. Многие пользователи уже применяли Ignite для ускорения матричных и векторных операций ещё до появления ML Grid. Ignite позволяет совместное использование Compute- и Data-гридов для высокоэффективной обработки разреженных наборов данных. А с появлением ML Grid делать это будет намного легче. В следующих релизах планируется дальнейшее расширение функциональности библиотеки, в частности, включение распределенных версий популярных алгоритмов, используемых при решении задач машинного обучения. Основываясь на алгоритмах распределенной алгебры в релизе 2.0, сообщество Apache Ignite планирует добавить в библиотеку алгоритмы классификации, регрессионного анализа, кластерного анализа по k-средним, деревья принятия решений и др. Многое из этого включено в ближайший следующий релиз 2.1 (в частности, линейная регрессия и k-средние). В более отдаленных планах обсуждается разработка Python- и R-библиотеки в составе стека Ignite ML. Возможности, предоставляемые новым модулем, пока что довольно скромные: как уже говорилось, это бета-версия, имеющая, в основном, базовую функциональность. А если вы хотите научиться использовать новый API уже сейчас, не дожидаясь следующих релизов, то для вас — вторая часть нашего поста, под спойлером… Как работать с ML Grid в Ignite Apache 2.0 Как работать с ML Grid в Ignite Apache 2.0 Наверное, самый быстрый способ начать знакомство и работу с ML Grid — это собрать, прогнать и изучить результаты выполнения и кода примеров, включённых в релиз. Примеры ML можно найти в директории examples дистрибутива Apache Ignite. Можно также получить код примеров по этой ссылке в Github. Пошаговая инструкция для начала работы с примерами: Установите Java версии не ниже 8. Скачайте Apache Ignite 2.0 или более позднюю версию. Откройте проект examples в IDE — например, IntelliJ IDEA или Eclipse. Активируйте профиль Maven ml в настройках проекта (в Ignite 2.0 он по умолчанию выключен): Откройте в IDE директорию src/main/ml и запустите примеры ML Grid, как объяснено ниже. Найдите и запустите интересующий вас пример (на скриншоте — SparseDistributedMatrixExample): Наблюдайте за выполнением примера и за выводом данных в консоль: При выполнении примера TracerExample обратите внимание, что будет выводиться в браузере: По желанию, отредактируйте код примера и запускайте его снова, чтобы изучить результат изменений: Скажем, если код примера TracerExample поменять на такой: `// Code below is based on unit tests in ml module, namely // on TracerTest#testHtmlMatrixTracer Matrix mtx2 = new DenseLocalOnHeapMatrix(100, 100); double MAX = (double)(mtx2.rowSize() * mtx2.columnSize()); mtx2.assign((x, y) -> (double)(x * y) / MAX); Tracer.showHtml(mtx2);` то при его выполнении будет более эффектный вывод в браузере: Так можно получить более предметное представление о том, как в Ignite ML реализованы методы матричной алгебры. В этом примере сперва создается матрица размером 100 на 100. Затем её элементы заполняются величинами, пропорциональными произведению их индексов по вертикали и горизонтали. И, наконец, при помощи Tracer API матрица визуализируется в HTML. Примеры ML Grid не требуют никакой специальной конфигурации. Всех их можно просто запускать, прогонять и останавливать, а результат будет выводиться в консоль автоматически, без какого-либо вмешательства пользователя. В дополнение к сказанному, при выполнении примера Tracer API запускается браузер, в котором дополнительно выводится результирующий HTML. Также в javadocs вы можете найти документацию об использовании классов и методов ML Grid. Сборка из исходного кода Jar-сборка последней версии Apache Ignite ML Grid доступна в репозитории Maven. Можно также самостоятельно собрать библиотеку из исходного кода: Загрузите версию последнего релиза Apache Ignite с исходным кодом. Если нужно, очистите локальный репозиторий Maven, чтобы исключить влияние предыдущих сборок. Удостоверьтесь, что у вас версия Java не ниже 8. Соберите и инсталлируйте Apache Ignite Memory-Centric Platform из корневой директории проекта: mvn clean install -DskipTests -Dmaven.javadoc.skip=true -P java8 Соберите и инсталлируйте ML Grid из корневой директории проекта: mvn install -Pml -DskipTests -U -pl modules/ml -am Найдите jar-сборку ML Grid в локальном репозитории Maven: {user_dir}/.m2/repository/org/apache/ignite/ignite-ml/{ignite-version}/ignite-ml-{ignite-version}.jar Если вам нужно собрать примеры ML Grid из исходного кода, выполните следующие команды из корневой директории проекта: `cd examples mvn clean package -DskipTests -Pml` При необходимости можно обратиться к дополнительной документации в файлах DEVNOTES.txt в корневой директории проекта и README в директории ML-компонента ignite-ml. Источник: habrahabr.ru Комментарии:

ML Grid — библиотека машинного обучения в Apache Ignite

Комментарии: