Главное из выступления Юргена Шмидхубера на Data Ёлка 2020

19 декабря на конференции Data Ёлка выступил Юрген Шмидхубер - научный директор Лаборатории искусственного интеллекта (AI Lab IDSIA) Университета прикладных наук итальянской Швейцарии, сооснователь и научный руководитель компании NNAISENSE и эксперт курса «Глубокое обучение» от Up Great и ПостНаука. Темой стали тренды машинного обучения. Мы собрали самое главное и интересное из выступления.

Пока рано называть самое выдающееся событие в сфере Machine Learning за 2020 год. Порой может потребоваться гораздо больше времени, чем один год, чтобы понять, является ли конкретное решение хорошим или нет. На это может уйти 5, 10 или даже 25 лет.

Тренды в машинном обучении: трансформеры (архитектура нейросетей) пытаются заменить долгую краткосрочную память. Во многих аспектах трансформеры становятся гораздо лучше, заменяя LSTM где это возможно. Однако фактически существует много разделов машинного обучения, где технология трансформеров катастрофически проигрывает долгой краткосрочной памяти, поэтому пока рано говорить о полноценной замене.

Стоит обратить внимание на игровое подполе машинного обучения. В качестве примера была приведена программа от OpenAI, где команда занимается обучением искусственного интеллекта компьютерным играм. Нейронные сети уже могут обучаться во время игры в Го, нужно развить это направление. Это поможет стимулировать сохранение в памяти важных событий, способных в дальнейшем стать подспорьем для будущих успешных решений.

Нужно развивать обучение с подкреплением в реальном мире. Это самая сложная часть искусственного интеллекта. Если вы посмотрите на современные достижения при использовании нейросетей — большинство из них были достигнуты в виртуальном пространстве. Основное использование ИИ в экономическом сегменте приходится на рекламу, но экономика не ограничивается только этим. Необходимо перенести технологии машинного обучения в производство и другие сферы.

Главное препятствие на пути к дальнейшему развитию чат-ботов — отсутствие совершенных наборов для обучения. Кроме того, стоит учитывать и область применения этой технологии. В качестве примера можно вспомнить алгоритм от Microsoft, который отлично работал в Китае, но стал катастрофой в американском Twitter. В течение суток работы он превратился в неонациста, что повлекло дальнейшее отключение программы. Возможно, это не самый лучший момент, которого можно достичь в сфере машинного обучения.

Международные политики не смогут остановить развитие нейросетей. Например, для экспериментов в сфере ядерных технологий требуются множество труднодоступных материалов и технологий, поэтому договоренность между мировыми сверхдержавами может остановить ваши амбиции. Но в сфере ИИ это гораздо сложнее — изучать и развивать технологии может каждый. Сейчас в мире нет силы, способной остановить любопытство исследователей. Даже если люди согласятся, что ИИ не должен применяться, например, при разработке оружия, это все равно будет сделано, потому что человечество не состоит только из единомышленников. Кто-нибудь обязательно займется этим из-за страха, что его могут опередить.

Комментарии: