В настоящее время популярность программ с использованием искусственных нейронных сетей растет, в связи с этим появляется большое количество технологий, позволяющих упростить работу связанную с ними. В настоящей статье будет описан один из возможных путей реализации приложения с внедрением подобных технологий.
Что будет делать наше приложение?
Распознавать две позиции кисти руки — кулак и ладонь. И в зависимости от неё изменять элементы интерфейса приложения.
Что нам понадобится?
Для обучения нашей нейронной сети мы будем использовать библиотеку Keras, реализовывать интерфейс будем на языке программирования Swift, а для связки будем использовать представленный на WWDC’17 Apple фреймворк для работы с технологиями машинного обучения CoreML.
Начнём с модели нашей ИНС и её обучения
Так как мы используем данные в виде изображений, нам понадобится сверточная основа. В состав фрэймворка Keras входит множество, предварительно обученных на наборе imageNet, моделей свёрточных основ, таких как: Xception, ResNet50, MobileNetV2, DenseNet, NASNet, InceptionV3, VGG16, VGG19 и так делее. В нашем проекте будет использоваться модель VGG16 и выглядит она так:
Создадим её: Предварительная обработка данных. Перед передачей в сеть данные должны быть преобразованы в тензор с вещественными числами. В настоящее время данные хранятся в виде изображений, поэтому их нужно подготовить для передачи в сеть, выполнив следующие шаги:
Прочитать файлы с изображениями;
Декодировать изображения из формата .PNG, .JPG в таблицу пикселей RGB;
Преобразовать их в тензоры с вещественными числами;
Нормализовать значения.
Также мы будем использовать расширение данных, чтобы предотвратить переобучение сети и повысить её точность.
После чего настраиваем модель для обучения, запускаем её с использованием генератора модели и сохраняем её. Мы обучили нашу сеть, но расширение .h5 не подходит для решения нашей задачи. Поэтому нам стоит переконвертировать в вид, приемлемый для CoreML, то есть в формат .mlmodel. Для этого устанавливаем coremltools:
$ pip install --upgrade coremltools
И преобразуем нашу модель:
Пишем приложение
Заходим в XCode, создаем приложение и первым делом даём разрешение на использование камеры. Для этого переходим в info.plist и добавляем следующие строчки в XML:
После чего переходим в файл ViewController.swift. Далее настраиваем cameraInput и cameraOutput, добавляем их к сессии и запускаем её для получения потока данных. Ранее мы добавили метод делагата AVCaptureVideoDataOutputSampleBufferDelegate, который вызывается при каждом новом кадре, полученном с камеры. Теперь мы в нем задаём запрос и выполняем его. В данном методе мы подключаем модель WristModel.mlmodel, которую мы перенесли в наш проект: Также проверяем её подключение и асинхронно изменяем позицию нашего квадрата в зависимости от коэффициента. Но наше приложение не заработает без предварительной обработки изображений, поступающих в сеть, поэтому добавляем её:
Запускаем приложение:
Ура, у нас получилось создать управление интерфейса нашего приложения с помощью жестов. Теперь вы можете использовать весь потенциал ИНС в Ваших iOS приложениях. Спасибо за внимание!
