ИИ достиг пика развития?

Недавно услышала мнение, что искусственный интеллект больше особо развиваться не будет. Мол, всё, что можно было взять у человечества, он уже взял, качественные данные закончились, дальше — потолок, тупик и хана прогрессу.

Я, конечно, что-то возразила. Люди же продолжают писать книги и статьи, делать открытия и круглосуточно доказывать друг другу в интернете, кто неправ.

Но сама задумалась: а что, если в этом всё-таки есть доля правды?

И попросила свой любимый Джи Пи чатик изучить проблему. Вот что выяснилось.

Проблема действительно существует. Её называют Data Wall («стена данных») или Peak Data («пик данных»).

Речь не о том, что ИИ прочитал вообще весь интернет и теперь грустно сидит у пустой тарелки. Интернет огромен, но большая его часть состоит из копий, спама, SEO-мусора, автоматически созданных страниц и материалов, которые нельзя свободно использовать для обучения.

Заканчивается именно доступный качественный человеческий контент: книги, научные статьи, программный код, базы знаний и хорошие сайты.

В январе 2025 года Илон Маск заявил, что компании практически исчерпали совокупный запас человеческих знаний, доступный для обучения ИИ. Илья Суцкевер, сооснователь OpenAI и один из ключевых создателей моделей GPT, ещё раньше говорил о «пике данных» и о том, что эпоха простого масштабирования подходит к концу.

Раньше схема была понятной:

больше данных + больше вычислений + больше параметров = умнее модель.

Несколько лет она работала прекрасно. Но теперь каждый следующий мешок текстов даёт всё меньше прироста, а новых качественных материалов люди создают намного медленнее, чем они требуются моделям. Речь идёт о триллионах токенов.

Казалось бы, пусть нейросети сами напишут себе учебники. Так уже и делают: ИИ создаёт синтетические данные, на которых обучают другие модели.

Но здесь начинается новая проблема — model collapse, или «коллапс модели».

Если бесконечно обучать ИИ на материалах, созданных другим ИИ, ответы могут становиться однообразнее, редкие знания — исчезать, а старые ошибки — размножаться. Получается цифровой ксерокс: каждая следующая копия немного хуже предыдущей.

Поэтому синтетические данные приходится проверять и смешивать с человеческими.

Но на этом развитие не заканчивается. Просто оно меняет направление.

Теперь модели учат не только знать больше, но и лучше рассуждать: проверять решения, сравнивать варианты, находить ошибки и пробовать снова.

Ещё один огромный источник данных — видео. Только не просто снятые на фоне заката ролики, а записи реального движения и взаимодействия объектов. Из них ИИ может узнавать, как двигаются люди, взаимодействуют предметы и работают законы физики. Текст объясняет, как падает чашка, а видео показывает, что после встречи с полом она почему-то не поднимается обратно.

Следующий источник — роботы. Они могут получать собственный опыт: открывать двери, собирать предметы, ошибаться и повторять действие снова.

Даже компьютер становится учебной средой. Модели уже способны работать с браузером, программами и кодом, выполнять действия и проверять их результат.

Так что настоящего потолка пока никто не обнаружил.

Заканчивается не развитие ИИ, а его первая эпоха — время, когда для заметного скачка было достаточно дать модели ещё больше человеческих текстов и вычислительной мощности.

Следующий этап будет строиться на рассуждении, видео, действиях, роботах, синтетических данных и новых способах обучения.

Проще говоря, ИИ скоро придётся не только читать о жизни, но и смотреть, пробовать, ошибаться и набираться собственного опыта. Почти как человеку, только без детского сада и ипотеки.

Как вам кажется, человечество сможет ещё дать что-нибудь для развития ИИ, кроме видео с котами?

В карусели — нейрофотосессия, для которой знаний нейросетей, к счастью, пока хватает. 

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: