Google открыла доступ к библиотеке глубокого обучения GPipe |
||
МЕНЮ Искусственный интеллект Поиск Регистрация на сайте Помощь проекту ТЕМЫ Новости ИИ Искусственный интеллект Разработка ИИГолосовой помощник Городские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Техническое зрение Чат-боты Авторизация |
2019-03-07 06:03 Библиотека для «рационального» обучения нейтронных сетей на платформе Lingvo совместима с любой нейросетью, состоящей из множества последовательных слоев и позволяет разработчикам легко регулировать производительность. Библиотека GPipe организует два приема обучения ИИ. Первый — синхронный стохастический градиентный спуск. Это алгоритм оптимизации, который применяется для того, чтобы обновить параметры модели ИИ. Второй — конвейерный параллелизм. Это система выполнения задач, в которой выходные данные одного шага образуют входные данные следующего, рассказывает VentureBeat. «Глубокие нейронные сети (DNN) выполняют множество задач машинного обучения, включая распознавание речи, визуальное распознавание и обработку языка. Более крупные модели DNN приводят к улучшению работоспособности, а прошлый опыт показывает, что существует прямая зависимость между размером модели и точностью классификации, — пишет инженер Google AI Хуан Яньпин в блоге. — В GPipe мы (…) демонстрируем применение конвейерного параллелизма для того, чтобы увеличить эффективность обучения DNN и обойти эти ограничения». Большая часть прироста производительности GPipe основана на лучшем распределении памяти для ИИ-моделей. На тензорных процессорах Google TPU второго поколения с восемью ядрами и 64 ГБ памяти каждый GPipe снизил использование промежуточной памяти почти вдвое — с 6,26 ГБ до 3,46 ГБ. Это позволило повысить число параметров модели с 82 млн до 318 млн на одном ядре. Оптимизация процесса обучения — не единственное преимущество библиотеки. Она также распределяет модели по различным ускорителям и автоматически делит миниатюрные пакеты обучающих примеров на «микропакеты». Это позволяет ядрам работать параллельно, не снижая качества модели. Осенью прошлого года Microsoft открыла доступ к фреймворку Infer.NET, с помощью которого ученые или программисты смогут решать задачи машинного обучения. А Facebook поделилась возможностями платформы обучения с подкреплением Horizon, которая умеет обрабатывать огромные массивы реальных данных. Источник: hightech.plus Комментарии: |
|