Илья Суцкевер заявил об изменениях в обучении ИИ

Соучредитель OpenAI и бывший главный научный сотрудник Илья Суцкевер, который теперь возглавляет собственную компанию Safe Superintelligence Inc., заявил на конференции по нейронным системам обработки информации (NeurIPS) в Ванкувере, что существующие методы обучения искусственного интеллекта останутся в прошлом.

«Предварительное обучение, каким мы его знаем, несомненно, закончится», — сказал Суцкевер. Он имел в виду первую фазу разработки модели ИИ, когда большая языковая модель изучает закономерности в огромных массивах немаркированных данных — обычно это тексты из Интернета, книг и других источников. 

По словам исследователя, хотя он считает, что существующие данные всё ещё могут продвинуть разработку ИИ дальше, но отрасль использует новые данные для обучения. Суцкевер уверен, что эта динамика в конечном итоге придётся менять процесс обучения. Он сравнил ситуацию с ископаемым топливом: так же, как нефть является конечным ресурсом, Интернет содержит конечное количество контента, созданного человеком.

«Мы достигли пиковых объёмов данных, и больше их не будет. Нам придётся иметь дело с данными, которые у нас есть. Интернет только один», — подчеркнул Суцкевер. 

Исследователь предсказал, что модели следующего поколения «будут агентными в реальном смысле». Хотя Суцкевер не дал им определения во время своего выступления, но обычно агенты понимают как автономную систему ИИ, которая выполняет задачи, принимает решения и взаимодействует с программным обеспечением самостоятельно. Исследователь сказал, что будущие системы будут не только «агентными», но и научатся рассуждать. В отличие от сегодняшнего ИИ, который в основном сопоставляет шаблоны на основе того, что модель видела раньше, будущие системы ИИ смогут решать проблемы шаг за шагом способом, который больше сопоставим с мышлением. По словам Суцкевера, чем больше система рассуждает, «тем более непредсказуемой она становится». Он сравнил поведение «по-настоящему мыслящих систем» с тем, как продвинутые ИИ, играющие в шахматы, «непредсказуемы для лучших шахматистов-людей».

Суцкевер провёл сравнение между масштабированием систем ИИ и эволюционной биологией, сославшись на исследование, которое показывает связь между мозгом и массой тела у разных видов. Он отметил, что, в то время как большинство млекопитающих следуют одному шаблону масштабирования, гоминиды (предки человека) демонстрируют совершенно другой тренд в соотношении массы мозга к массе тела в логарифмических масштабах.

Он предположил, что так же, как эволюция нашла новый шаблон развития мозга гоминидов, ИИ может аналогичным образом открыть новые подходы к масштабированию, выходящие за рамки того, как работает предварительное обучение сегодня. 

После того, как Суцкевер завершил выступление, один из слушателей спросил его, как исследователи могут создать правильные механизмы стимулирования для человечества, чтобы ИИ получил «свободу, которая есть у homosapiens».

«Я чувствую, что в каком-то смысле это те вопросы, над которыми люди должны больше размышлять», — ответил Суцкевер. Однако он пояснил, что пока не может уверенно комментировать такие вопросы, предположив лишь, что процесс потребует «иерархической структуры управления». 

Один из зрителей в качестве варианта предложил использовать блокчейн, децентрализованные сети и криптовалюту. «Не думаю, что я тот человек, который может комментировать криптовалюту, но есть вероятность, что то, что вы описываете, произойдёт. Знаете, в каком-то смысле это неплохой конечный результат, если у вас есть ИИ, и все, чего они хотят, — это сосуществовать с нами и просто иметь права. Может быть, это будет хорошо... Я думаю, что всё это невероятно непредсказуемо», — ответил Суцкевер. 

В мае 2024 года в OpenAI сообщили, что Илья Суцкевер покидает компанию. Место главного научного сотрудника вместо него получил Якуб Пахоцкий. Уже в июне Суцкевер объявил о запуске новой компании Safe Superintelligence Inc. (SSI — «Безопасный Суперинтеллект») с офисами и техническими лабораториями в Калифорнии и Израиле. Проект предназначен для создания безопасного сверхинтеллекта (SSI).

В сентябре Safe Superintelligence привлекла $1 млрд инвестиций, в результате чего оценка компании достигла $5 млрд. В число инвесторов вошли такие известные фонды, как Andreessen Horowitz, Sequoia Capital, DST Global и SV Angel.