Достижения в области искусственного интеллекта в iOS 14

Исследуйте новые функции в ядро ML, создают ML, ML вычислений, зрение, естественный язык и основы PencilKit

Apple в последнее время продвигает конверт в отношении искусственного интеллекта, и WWDC 2020 ничем не отличается.

От машинного и глубокого обучения до компьютерного зрения и обработки естественного языка Apple представила множество улучшений и улучшений в своих встроенных фреймворках, которые помогают разрабатывать приложения для iOS на базе искусственного интеллекта.

PencilKit, фреймворк для рисования, который был представлен в iOS 13, также был оснащен машинным обучением в этом году.

В следующих нескольких разделах мы обсудим последние предложения и новые технологии искусственного интеллекта Apple для iOS 14.
Ядро МЛ

Core ML, основной модельный фреймворк Apple, получил большой толчок с включением обучения моделям на устройствах в прошлом году. В то время как надежды на внедрение в этом году обучения на устройстве для рекуррентных нейронных сетей (RNNs) были разбиты, все еще было несколько довольно интересных объявлений.

Core ML model viewer в Xcode 12 теперь обновлен с дополнительной информацией:

Как вы можете видеть, у нас есть новая вкладка метаданных, которая показывает распределение слоев для основной модели ML. Наиболее примечательно, что раздел утилиты состоит из двух новых функций — Шифрования модели и развертывания модели.

Развертывание базовой модели ML

До сих пор обновление моделей в производственных приложениях было головной болью. Разработчикам придется либо продвигать новые обновления приложений, либо использовать обучение на устройстве, которое ограничено только несколькими типами слоев нейронной сети.

К счастью, Apple представила новый API развертывания, который позволяет нам обновлять основные модели ML на лету, независимо от обновлений приложений. Чтобы включить развертывание модели, нам нужно выбрать архивирование модели Core ML (из панели утилит, показанной выше) и выполнить несколько шагов на панели мониторинга развертывания модели Apple.

Существует также новый класс MLModelCollection, который позволяет получить доступ к группе моделей из базового развертывания модели ML. Вы можете использовать этот класс для доступа к основной коллекции ML для определенного набора функций в вашем приложении.

Шифрование модели CORE ML

Ранее файлы модели .mlmodelc Core ML, встроенные в наши приложения, не были зашифрованы, а это означало, что конфиденциальный IP-адрес можно было довольно легко извлечь и использовать. Чтобы помочь решить эту проблему, Apple представила дополнительную функцию шифрования модели, которая позволяет защитить модель. Он работает почти так же, как вы подписываете приложения (используя свой конкретный идентификатор Apple Team ID).

Теперь вы можете безопасно шифровать и связывать файлы модели, а Core ML автоматически расшифрует и загрузит их в память вашего приложения.

При первой загрузке модели в приложение ключ расшифровки автоматически извлекается с сервера Apple.

Новая функция асинхронной загрузки для основных моделей ML

В iOS 14 появилась новая функция асинхронной загрузки для инициализации основных моделей ML. Это удобно для загрузки моделей из MLModelCollection и для обработки зашифрованных основных моделей ML.

MyStylizedModel.apply{
 
  switch result {
 
    case .success(let model):
        currentModel = model
        
    case .failure(let error):
        handleFailure(for: error)  }
}

Обратите внимание, что старая функция init() для загрузки основных моделей ML в будущем будет устаревшей.

Помимо безопасности и развертывания, было также введено множество новых типов слоев. coremltools теперь предоставляет готовую поддержку для преобразования обученных моделей TensorFlow и PyTorch в Core ML, используя преимущества CPU, GPU или нейронного движка.

Мобильные приложения на базе искусственного интеллекта звучат захватывающе...но как они работают и как они могут помочь масштабировать ваш бизнес? Подпишитесь на новостную рассылку Fritz AI, чтобы получить ответы на эти и другие вопросы.

Create ML

Create ML-это фреймворк для построения моделей, который позволяет нам обучать пользовательские модели машинного обучения на macOS с помощью “no-code”, предоставляя инструменты перетаскивания и визуального дизайна.

В прошлом году он стал независимым приложением для macOS и предоставляет различные типы моделей для обучения Изображений, объектов, Звуков, Текстовых классификаторов и Рекомендательных систем.

Apple анонсировала ряд улучшений для создания ML на WWDC2020. Поддержка обучения моделям передачи видео и изображений была, пожалуй, самым большим обновлением в этом году. Исходя из Apple, мы можем с уверенностью предположить, что он высоко оптимизирован. Модели переноса стиля были бы чрезвычайно полезны при использовании с ARKit для создания иммерсивного опыта дополненной реальности.

Кроме того, теперь у нас есть поддержка моделей классификации тренировочной деятельности, которые найдут применение в отслеживании движений тела.

Помимо поддержки обучения новой модели, Create ML теперь предлагает больше степеней кастомизации:

Теперь вы можете приостановить и возобновить тренировку.
Create ML позволяет устанавливать контрольные точки, которые можно использовать для построения промежуточных моделей моментальных снимков на различных этапах обучения. Используя эти снимки, вы можете сравнить результаты модели на различных этапах обучения.

ML Compute: Новая Структура Машинного Обучения

Хотя Core ML сегодня является самой востребованной платформой машинного обучения Apple, она не является (и не была) единственной доступной.

Интересно, что существует низкоуровневый примитивный фреймворк Accelerate, который используется для построения нейронных сетей для работы на процессоре. В то же время Apple также предоставляет MPS (Metal Performance Shaders), предназначенные для работы на графическом процессоре. Core ML-это просто абстракция, построенная поверх этих фреймворков для выполнения вывода с помощью более простого в использовании API.

Наряду с внедрением Core ML в iOS 11 был также выпущен новый API MPS graph (который используется под Core ML). API MPS graph предлагал большую точность во время обучения модели, позволяя нам точно указывать слои и входные данные.

Теперь, с iOS 14, у нас есть еще одна новая платформа машинного обучения: ML Compute. Этот метод специально используется для ускорения обучения и валидации нейронных сетей с помощью высокопроизводительных BNNs для платформы Accelerate на CPU и Metal Performance Shader для GPU.

Важно отметить, что API ML Compute framework не используется для построения основных моделей ML и вводится только для повышения уровня низкоуровневых фреймворков машинного обучения.
Обработка естественного языка

Естественный язык и основы концепции строятся на основных мл. Структура естественного языка помогает, в широком смысле, в семантическом значении и понимании текстов.

В прошлом году фреймворк получил множество новых функций, таких как анализ настроений, маркировка и встраивание слов, идентификация языка, токенизация и распознавание сущностей.

iOS 14 теперь вводит встраивание предложений. Создание точных часто задаваемых вопросов на устройстве и чат-ботов стало бы намного проще с помощью этой новой технологии.

Анализ предложений с помощью вложений слов имел свои ограничения. Проще говоря, усреднение векторов каждого слова может легко привес

let modelParameters = MLWordTagger.ModelParameters(algorithm: .transferLearning(.dynamicEmbedding, revision: 1))

iOS 14 также предоставляет новую функцию tagHypotheses, которая позволяет найти несколько возможных тегов для данного слова или подстроки в тексте. При этом теперь вы можете найти доверительный порог каждого из предсказанных тегов.

Мобильное машинное обучение-одна из самых передовых и быстрорастущих технологий. Но как это работает, и что вы на самом деле можете построить с его помощью? Наша (бесплатная) электронная книга решает эти вопросы в лоб.

Компьютерное Зрение

Apple в очередной раз продемонстрировала свои амбиции в области компьютерного зрения во время WWDC2020. Основной фреймворк изображения был встречен добавлением еще нескольких встроенных фильтров. CIColorThreshold позволяет быстро преобразовать изображение в черно-белое. Новый фильтр CIColorAbsoluteDifference позволяет сравнивать цвета на двух изображениях.

С другой стороны, фреймворк видения Apple украл шоу у других фреймворков, основанных на ИИ, в этом году. Он получил около полудюжины новых обновлений, включая поддержку:

Оценка позы рук и тела
Обнаружение контура
Оптический поток
Обнаружение Траектории
Автономная Обработка видео

Существует также новый запрос stateful vision, который учитывает предыдущие результаты VNObservation и полезен при обнаружении траектории и запросах оптического потока.

Подробнее о том, что нового появилось в Vision framework с iOS 14, читайте в статье ниже:

PencilKit

PencilKit дебютировал в iOS 13 и воспринимался как простой фреймворк для рисования.

В этом году Apple представила Scribble для iPadOS — новое встроенное текстовое поле с поддержкой машинного обучения. Он автоматически распознает текст, написанный с помощью Apple Pencil, и может транскрибировать его как строку на лету.

Чтобы включить или отключить транскрипцию рукописного текста, мы можем переключить UIScribbleInteraction.isHandlingWriting булево свойство.

С iOS 14 фреймворк PencilKit делает гораздо больше, чем просто настраивает холст для рисования и рисования.

Теперь он предоставляет нам доступ к свойствам штриха объекта PKDrawing. Это означает, что мы можем проверить текущую точку, путь и скорость рисования пользователя.

При этом мы можем анализировать такие атрибуты, как сила и время, которое требуется фреймворку PencilKit для выполнения распознавания жестов и сопоставления шаблонов с сенсорным вводом пользователя.

Проверка подписи, обнаружение аномалий и автокоррекция формы-вот несколько вещей, которые вы можете сделать в iOS 14 для создания приложений рисования на базе искусственного интеллекта. Кроме того, фреймворк PencilKit можно использовать в сочетании с ARKit для перемещения объектов в сцене дополненной реальности.

Стоит отметить, что свойство allowsFingerDrawing устарело в пользу PKCanvasViewDrawingPolicy — перечисления типов anyInput и pencilInput.
Вывод

В этом году мы изучили усовершенствования, внедренные в различные системы искусственного интеллекта. Как ни странно, в этом году в рамках анализа речи Apple не было никаких обновлений.

Обучающие модели с Create ML требуют macOS Big Sur и выше, но вы можете поиграть с другими фреймворками в самом Xcode 12 на macOS Catalina.

Источник: heartbeat.fritz.ai

Комментарии: