Джеффри Хинтон: как наделить машины способностью к обучению

Джеффри Хинтон - праправнук Джорджа Буля, работы которого стали предтечи современной информатики. Не менее славное будущее было уготовано и самому Хинтону, который на протяжении десятилетий был центральной фигурой в развитии DeepLearning. В этой статье ты прочитаешь мнение Хинтона на тему влияния ИИ на будущее человека, поймешь почему он против летального автономного оружия и заранее узнаешь почему через 30 лет на него будут смотреть как на Эйнштейна из мира IT.

AlexNet и прорыв DeepLearning

Джеффри Хинтон личность IT культовая уже сейчас. Он приложил руку к созданию AlexNet - сверточной нейронной сети (CNN), которая заняла первое место на ImageNet Challenge в 2012 году.

AlexNet распознавал изображения с ошибкой в 15,3%, что на 10,8% меньше, чем было у ближайшего преследователя, занявшего второе место.

Особенности AlexNet:

• 8 слоев, первые пять которых были сверточными.
• Вместо арктангенса в качестве функции активации был избран ReLU. Это обеспечило модели нелинейность и увеличенную в 6 раз скорость при той же точности.
• Дропаут вместо регуляризации отчасти решил проблему переобучения. Однако время обучения увеличилось вдвое при показателе дропаута 0,5.
• Перекрытие объединений для уменьшение размера сети. Это привело к снижению числа ошибок первого и пятого уровней слоев на 0,4% и 0,3% соответственно.

По состоянию на 2020 год, статью про AlexNet цитировали более 70 000 раз.

Безвестность

AlexNet имела значительное влияние на машинное обучение и в частности на алгоритмы компьютерного зрения. Однако вплоть до прорыва DeepLearning в 2012 году, Джеффри Хинтон, Ян Лекун и Йошуа Бенджио трудились в безвестности, а их идеи часто воспринимались в штыки скептиками. Вот так Хинтон вспоминает отзыв на свою последнюю статью в журнале AAAI:

"В последний раз, когда я отправлял статью в AAAI, она получила худший отзыв, который я когда-либо получал. Это было подло!"

До AlexNet Хинтон в сотрудничестве с Дэвидом Румельхартом и Рональдом Уильямсом применили алгоритм обратного распространения ошибки к многослойным нейронным сетям.

Другое его творение - это Машина Больцмана, стохастический генеративный вариант сети Хопфилда. Это первая нейронная сеть, способная обучаться внутренним представлениям и решать сложные комбинаторные задачи.

Другие вклады Хинтона в исследования нейросетей:

• ANNs и распредленные представления
• Нейронная сеть с временной задержкой (TDNN)
• Машина Гельмгольца
• Продукт экспертов (PoE) как метод машинного обучения

В число его бывших аспирантов и постдокторов входят: Питер Даян, Ричард Земель, Руслан Салахутдинов, Брендан Фрей, Илья Суцкевер, Ян Лекун и Зубин Гахрамани.

За концептуальные и инженерные прорывы, которые сделали глубокие нейронные сети важнейшим компонентом вычислений, в 2018 году Джеффри Хинтон получил премию Тьюринга.

Гуманист, футурист и когнитивный психолог

Джеффри Эверест Хинтон родился 6 декабря 1947 года. Получил образование психолога в 1970 году, а спустя 8 лет стал обладателем докторской степени в области искусственного интеллекта. Сегодня Хинтону 72 года, а крайняя его работа датирована 2017. В ней рассматриваются капсульные нейронные сети,которые, по словам специалиста, "наконец-то работают хорошо".

Хинтон также является кавалером ордена Канады, в которую он переехал из США после того как Рональд Рейган стал финансировать военное использование искусственного интеллекта.

Робот-убийца

Летальное автономное оружие (LAW) - военная система, которая использует программы для автоматического поражения целей. Наличие подобных систем зафиксировано у США, Израиля, России и других стран. Отдельно экспертов беспокоит Китай, который в 2018 году подвергся критике со стороны США за продажу LAW, который мог убивать без надзора со стороны человека.

"На полях сражений будущего вести бой будут не люди" - глава китайской оборонной фирмы Norinco (2018)

За запрет таких проектов в 2015 году выступило 1000 экспертов в области искусственного интеллекта. Среди них был Джеффри Хинтон, Илон Маск, Стив Возняк, покойный Стивен Хокинг и другие.

Однако это ничего не дало. В данный момент запрет на LAW отсутствует, но появился ряд обязательных правил. Говоря о будущем человека в этом ключе, Хинтон избегает делать прогнозы о развитии ИИ более, чем на пять лет. Причина - экспоненциальный прогресс, который увеличивает неопределенность.

Прогноз Хинтона

Однако Хинтон как-то раз проболтался, что находится в лагере пессимистов. Якобы, он никак не ожидал, что ИИ будет достигнут в течении десятилетий. "Не раньше 2070 года" - думал он. Прогноз Хинтона в общих чертах содержит в себе устойчивые элементы антиутопии "1984":

"Я думаю, политические системы будут использовать ИИ, чтобы терроризировать людей".

На вопрос, "почему вы тогда проводите исследования?" , он ответил:

"Я могу привести банальные аргументы. Но правда в том, что переспектива открытия слишком сладка".

Раффи Хачатурян, штатный корреспондент NewYorker который задал вопрос, отметил, что слово "сладко" повисло в воздухе тяжелым грузом. Первая ассоциация, которая возникла в его голове, это ассоциация с Оппенгеймером, "отцом ядерной бомбы".

Теперь ты знаешь ответ на вопрос почему Хинтон - это своеобразный Эйнштейн 21-го века. Своими новаторскими работами он наделил машины способностью к обучению.

Статья подготовлена и выпущена на платформах LabelMe - самого качественного сервиса по разметке данных в России. Оставить заявку на заказ и рассчитать стоимость можно на нашем сайте. Также, у нас действует партнерская программа, по которой 5% от суммы заказа получает дата-сайентист, который привел компанию в LabelMe.

Источник: m.vk.com

Комментарии: