Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса

Ян Лекун, один из крёстных отцов современного ИИ, в своём твиттере резко критикует корпоративных исследователей ИИ, которые ведут проприетарные разработки и занимаются «нагнетанием страха». Среди этих людей называются Сэм Альтман (OpenAI), Демис Хассабис (Google DeepMind) и Дарио Амодеи (Anthropic)

Ян Лекун (Yann LeCun) — французский и американский учёный в области машинного обучения и компьютерного зрения. Известен как автор легендарной системы LeNet (1989 г.), где одним из первых начал применять методы биологических нейронных сетей для оптического распознавания символов (OCR). Сейчас занимает должность вице-президента и ведущего исследователя ИИ в корпорации Meta (руководит разработкой опенсорсной языковой модели LLaMA, в том числе). При этом остаётся ярым приверженцем опенсорса, свободной науки и научно-технического прогресса человечества. Ян Лекун родился в пригороде Парижа, получил диплом по специальности «Электротехника и электроника» в инженерной школе ESIEE Paris (1978?1983), а затем докторскую степень по информатике в Университете Пьера и Марии Кюри, сейчас это университет Сорбонна (1983?1987 гг). Именно в 1987 году перед получением докторской степени он предложил раннюю форму алгоритма с обратным распространением ошибки (backpropagation) для нейросетей. Затем в 1987?1988 гг. занимался исследованиями машинного обучения как постдок под руководством Джеффри Хинтона в университете Торонто (как и Илья Суцкевер, об этом ниже). Потом начал длительную и успешную карьеру в американских компаниях.

? Распознавание символов. Первые системы машинного зрения на основе нейросетей

После получения докторской степени в 1988 году Ян Лекун начал работать в AT&T Bell Laboratories в городке Холмдел, Нью-Джерси, где разработал серию методов машинного обучения, в том числе свёрточные нейронные сети.

Группа Лекуна в AT&T Bell Laboratories, 2002 год

Первой разработкой стала архитектура нейросети, которая распознаёт рукописные цифры почтового индекса с очень низким процентом ложных срабатываний. Система описана в научных статьях 1988-го и 1989-го гг. Рукописные примеры почтовых индексов и нормализованные цифры из тестового набора данных. Позже был разработан эталонный набор MNIST для обучения нейросетей

Архитектура нейросети из научной статьи «Применение метода обратного распространения ошибки для распознавания рукописных почтовых индексов» 1989 года:

Извлечение признаков (фич) из оцифрованных рукописных символов по описанию в научной статье «Система распознавания рукописных цифр почтового индекса» 1988 года:

? LeNet

Кроме метода обратного распространения ошибки для этой и других OCR-систем, Ян Лекун разработал и применил несколько инновационных методов машинного обучения:

• свёрточные нейросети, работающие по образцу биологических систем,
• методы регуляризации нейросетей, описанные в работе «Оптимальное повреждение мозга»,
• метод Graph Transformer Networks (GTN), похожий на условные случайные поля (CRF).

Всё это использовалось в инновационных системах оптического распознавания символов (OCR) на банковских чеках, почтовых письмах и т. д. Впоследствии универсальная нейросеть Лекуна с коллегами получила название LeNet, под таким названием в дальнейшем она и упоминается в научной литературе. Так оно и вошло в историю.

Примеры необычных, искажённых и зашумлённых символов, которые корректно распознала LeNet-5, источник: научная статья Лекуна 1998 года

Архитектура LeNet-5 из статьи «Обучение на основе градиента для распознавания документов» 1998 года:

Уровень ошибок на тестовом наборе данных для различных методов классификации (максимальная погрешность около 0,1%), оттуда же:

Таким образом, начиная с LeNet для оптического распознавания символов начали использоваться искусственные нейросети, созданные по образцу биологических систем, которые работают в нервной системе животных на Земле (поскольку все живые организмы ведут происхождение из одного источника, то механизм работы нейронных сетей у всех практически одинаковый). Так зарождалось машинное зрение нового типа.
Это и есть главный вклад Лекуна в современную индустрию ИИ, которая к 2025 году всколыхнула всё человечество.

? Формат DjVu

В 1996 году Ян Лекун перешёл на работу в AT&T Labs-Research и занялся преимущественно разработкой технологии сжатия изображений и открытого формата DjVu. Оптическое распознавание символов и сжатие изображений — естественное продолжение работы эксперта по машинному зрению. DjVu является конкурентом PDF как контейнер для отсканированных документов. При этом DjVu превосходит PDF по степени сжатия. Согласно научной статье с описанием формата, страницы цветных журналов сжимаются до 40?70 КБ, чёрно-белые технические документы — до 15?40 КБ, а древние рукописи — примерно до 100 КБ, удовлетворительное изображение JPEG обычно требует 500 КБ. DjVu разделяет исходное изображение на три слоя:

1. Передний план. Цветовая информация о маске (3-й слой), разрешение максимально понижается.
2. Задний план. Иллюстрации и текстура страницы: их разрешение по умолчанию понижается для экономии места.
3. Чёрно-белая (однобитовая) маска. Маска сохраняется с разрешением исходного файла, она содержит изображение текста и прочие чёткие детали.

Задний и передний планы сжимаются с помощью вейвлет-преобразования (как в JPEG2000), а маска — алгоритмом JB2. Для своего времени это были уникальные передовые технологии сжатия. Дискретное вейвлет-преобразование в JPEG2000, источник

DjVu оптимизирован для передачи по сети таким образом, что страницу можно просматривать ещё до завершения загрузки файла.

Как и PDF, файл DjVu содержит текстовый (OCR), позволяя осуществлять полнотекстовый поиск по файлу. Файл может содержать интерактивное оглавление и активные области — ссылки, что позволяет реализовать удобную навигацию в книгах.

До стандартизации PDF в 2008 году DjVu считался наиболее подходящим открытым форматом для хранения электронных документов. В те времена не было даже программы для просмотра PDF под Linux, то был закрытый проприетарный формат. Сообщество склонялось к мнению принять DjVu единым стандартом для цифровых документов.

Некоторые организации до сих пор используют DjVu для хранения и распространения отсканированных документов, как Архив Интернета (хотя в 2016 году сканирование новых документов в DjVu прекращено).

? Другие проекты

В 2002 году вместе с Леоном Боту разработал язык программирования Lush (Lisp Universal Shell), это Lisp-подобный язык для машинного обучения, прямой наследник языка SN, написанного в 1987 году в качестве фронтенда для симулятора нейросети. Авторы Lush те же, что у DjVu. Насколько можно понять, Lush лишён известных недостатков Python. За последние десятилетия Лекун стал сооснователем, советником или исследователем в ряде новых компаний и стартапов, в некоторых участвует до сих пор:

• сооснователь и советник компании Element (2012 — наст. время), которая разрабатывает технологии и софт для биометрической аутентификации,
• сооснователь компании MuseAmi (2007 — 2016 гг): разработка инновационных программных и аппаратных технологий для музыкального продакшна, образования и развлечений, включая мобильные приложения Improvox, Hook'd и MusicPal,
• владелец YLC Consulting LLC (2008 — 2013): исследования, разработки и технологический консалтинг в области ПО, машинного обучения, машинного зрения, робототехники, дата-майнинга, моделирования данных, статистического анализа, OCR, сжатия данных, музыкальных технологий и др.

? Дальнейшая карьера

После Bell Labs и AT&T Labs в 2003 году исследователь занял должность профессора компьютерных наук и нейронаук Курантовского института математических наук в Нью-Йоркском университете (NYU). Также является профессором Инженерной школа Тандона NYU.

В 2012 году основал университетский Центр науки о данных с первой в мире программой высшего образования по data science (сейчас такие много где есть, даже у «Яндекса»).

Ян Лекун в университете Миннесоты,

С 2013 года возглавил лабораторию ИИ в Facebook*, сейчас занимает должность вице-президента и ведущего исследователя ИИ в Meta (VP & Chief AI Scientist).

На самом деле эта соцсеть одной из первых начала использовать машинное обучение в прикладных разработках. Как Лекун говорил в анонсе Moments от 2015 года, это мобильное приложение распознаёт людей на фотографиях и упорядочивает фотоальбом в смартфоне. Такая же технология реализована на сайте социальной сети. Она частично основана на работе, проведённой командой Facebook* AI Research (FAIR), которую тогда возглавлял Ян Лекун. В последующие годы важность машинного обучения стала очевидна более широкому кругу людей, а к 2025 году — почти всем. Как известно, ИИ уже прошёл строгий тест Тьюринга и обогнал людей в выполнении большого количества прикладных задач. Ян Лекун является лауреатом многочисленных премий и обладателем почётных званий, в том числе премии Тьюринга 2018 года совместно с Йошуа Бенжио и Джеффри Хинтоном как «отцы революции глубокого обучения».

Слева направо: Ян Лекун, Джеффри Хинтон и Йошуа Бенжио

Напомним, что Хинтон в университете был научным руководителем Ильи Суцкевера, ведущего разработчика всех моделей GPT в компании OpenAI, который сейчас работает над сверхмощным ИИ. Сеть AlexNet от Суцкевера была конкурентом LeNet в бенчмарках.
Джеффри Хинтон и Джон Хопфилд получили ещё и Нобелевскую премию по физике 2024 года «за основополагающие открытия, которые привели к созданию машинного обучения и искусственных нейросетей». Так что круг выдающихся учёных в области ИИ хорошо известен и ограничен. Впрочем, как и в любой другой области. И рано говорить, например, что Google DeepMind всех победил и у конкурентов нет шансов. В других компаниях тоже работают гениальные умы, как Ян Лекун, а ресурсы IT-корпораций практически не ограничены, так что исход этой гонки никак не определён.

Несмотря на трудоустройство в коммерческой корпорации, Ян Лекун остаётся последовательным приверженцем Open Source, старается публиковать в открытом доступе результаты исследований, которые ведёт его научная группа в Meta, выступает с лекциями (например, одна из последних — «Математические препятствия на пути к ИИ человеческого уровня» на математической конференции). То есть он в первую очередь учёный и исследователь, а уже затем сотрудник корпоративной машины. Стал вирусным его недавний пост, где он приводит DeepSeek и другие китайские LLM в пример того успеха, которого добился опенсорс: Это необычная точка зрения, которая идёт наперекор настроениям общей неприязни к Китаю. На самом деле стоит гордиться тем, что они сделали — это наше общее достижение. *Владеющая Facebook Meta запрещена в России как экстремистская.