Хуанг: эпоха глубокого обучения началась с двух GTX 580 в 2012 году

Глава NVIDIA в подкасте Джо Рогана рассказал, что исследователи, впервые разработавшие технологию глубокого обучения, опробовали ее на двух видеокартах GTX 580 в режиме SLI еще в 2012 году. Алекс Крижевский, Илья Суцкевер (сооснователь компании OpenAI) и их научный руководитель из Университета Торонто Джеффри Хинтон, в 2011 году исследовали способы создания продвинутых инструментов распознавания изображений. В то время нейросетей в современном понимании еще не существовало. Разработчики использовали рукописные алгоритмы для обнаружения краев, углов и текстур.

Так родилась самообучаемая архитектура AlexNet содержащая около 60 миллионов параметров. AlexNet почти сразу превзошла ведущий на тот момент алгоритм распознавания изображений более чем на 70%, что привлекло внимание отрасли. Крижевский, Сукцевер (оба родились в СССР) и Хинтон использовали для этого GTX 580, которые были разработаны отнюдь не для исследований, а для игр. Оказалось, что присущий графическим процессорам параллелизм — это именно то, что нужно нейросетям для быстрой работы.

Как подчеркнул Дженсен Хуанг, когда NVIDIA поняла, что глубокое обучение может быть использовано для решения мировых проблем, компания вложила в разработку соответствующих технологий значительные ресурсы. Именно это привело к появлению NVIDIA DGX, архитектуры Volta с тензорными ядрами первого поколения и DLSS.

Источник: vk.com

Комментарии: