Суцкевер: ИИ человеческого уровня и выше появится через 5–20 лет

Суцкевер: ИИ человеческого уровня и выше появится через 5–20 лет. Люди станут киборгами с внедрением продуктов от Neuralink и аналогов, чтобы полностью понимать и участвовать в решениях ИИ.

Илья дал свежее интервью и вот самые интересные моменты из него.

Главная проблема — не масштабирование, а изобретение нового базового рецепта, который даст человеческую способность к обучению и обобщению.

У его стартапа SSI — ставка именно на такой прорыв, а не на дальнейшее масштабирование текущего подхода.

1. Почему текущие модели «неровные»?

Главная причина - RL-обучение сейчас сильно ориентировано на то, чтобы хорошо выглядеть на конкретных eval’ах ? это reward hacking со стороны людей-исследователей.

2. Пре-тренинг vs RL vs будущий рецепт. Претренинг был гениален тем, что не нужно было думать о данных и был предсказуемый scaling law.

Сейчас претренинг заканчивается (данные конечны) ? мы снова в эпохе исследований, просто с огромными вычислениями.

- 2012–2020 — эпоха исследований

2020–2025 — эпоха масштабирования

2025+ — снова эпоха исследований

Сейчас все тратят больше вычислений на RL, чем на пре-тренинг, но это всё ещё не «то самое».

3. Самое фундаментальное ограничение сегодняшних моделей: они обобщают хуже людей. Это не только вопрос sample efficiency, но и надёжности, робастности, способности передавать стиль мышления без чёткого reward.

Люди в новых областях всё равно учатся на порядки эффективнее.

4. Что такое эмоции в терминах ML?

Это мощная, эволюционно закреплённая value function.

Современные value functions в RL почти не используются, но Илья уверен, что они будут критически важны и сильно повысят эффективность.

5. Что такое сверхинтеллект? Агент, который может быстро научиться любой человеческой профессии. Это приведёт к очень быстрому экономическому росту,но не обязательно к мгновенному.

6. Прогноз на будущее:

до создания ИИ человеческого уровня и выше способностью к обучению ещё 5–20 лет.

7. Почему он основал SSI и в чём его отличие?

У Ильи есть конкретные идеи, как решить проблему плохого обобщения и человеческой эффективности обучения.

Он эти идеи публично не раскрывает. SSI — чисто исследовательская компания эпохи исследований. У них достаточно вычислений для доказательства своих идей.

8. Его текущая позиция по выравниванию и безопасности. За последний год сильно поменял взгляд: теперь считает постепенное внедрение и показ мощного ИИ критически важным.

Прогнозы Ильи :

- фронтирные компании начнут сотрудничать по безопасности (уже началось);

- когда ИИ станет ощутимо мощным, все лаборатории резко станут параноидальнее;

- в итоге все сойдутся на том, что первый настоящий сверхинтеллект должен заботиться о sentient life в целом (не только о людях — это может быть даже проще технически, потому что сам ИИ sentient).

- Кап на абсолютную мощность сверхинтеллекта был бы очень полезен.

- Люди станут киборгами через такие проекты как Neuralink и тд., чтобы полностью понимать и участвовать в решениях ИИ.

9. Почему все LLM так похожи? Потому что претренинг на одних и тех же данных доминирует. Различия начинаются только на этапе RL/пост-тренинга.

10. Другие интересные тезисы

- Self-play интересен тем, что позволяет генерировать данные только вычислениями, но классический self-play слишком узкий.

- Эволюция смогла закодировать очень высокоуровневые желания (например, «хочу социального уважения») — это до сих пор загадка.

- Текущий парадигма (претренинг + RL) пройдёт какое-то расстояние и выдохнется, но не приведёт к настоящему человеческому уровню обучения.

Есть статья 2024 года, в которой предложена когнитивная архитектура, содержащая компоненты интеллекта, отсутствие которых тревожит автора: машинное сознание, машинное подсознание, целеполагание, эмоции, социальное взаимодействие, рефлексия, этика, мировоззрение, самоорганизация и метаобучение, универсальная база знаний, поддерживающая любые виды знаний. Таких компонентов там примерно полтора десятка. В настоящее время теория, исследования и практическое воплощение каждого из них в мировой науке находятся на достаточно низком уровне. Необходимо много научных прорывов, чтобы был создан полноценный AGI, представляющий собой самостоятельную духовно развитую личность. Поэтому до появления такого AGI пройдёт не 5–20 лет, как думает Илья, а 20–50.

Такой срок исторически обоснован. Каждый раз промышленная революция происходит на рубеже 3-й и 4-й четверти века и предопределяет будущий основной способ производства в следующем столетии. Появление AGI безусловно повлечёт за собой промышленную революцию.

Источник: vk.com

Комментарии: