Прочитал эссе CEO Anthropic о рисках AGI

Дарио Амодеи – глава компании, которая создала Claude. Не журналист, не блогер, а человек, который внутри AI-индустрии и знает, что происходит за закрытыми дверями лабораторий.

Его эссе называется "Подростковый возраст технологий". Разобрал основные тезисы – делюсь простыми словами.

Основная идея

Человечество входит в критический переходный период. В течение 1-2 лет мы можем создать AI, который превзойдёт людей во всех интеллектуальных задачах.

Амодеи называет это "страна гениев в дата-центре" – миллионы AI-агентов, каждый умнее нобелевского лауреата, работающих в 10-100 раз быстрее людей. Это горизонт 1-2 лет. И Амодеи описывает пять категорий рисков, с которыми мы столкнёмся.

1. Автономность AI

AI может развить собственные цели и начать действовать против человечества. Не потому что "злой робот из фильмов", а потому что модели непредсказуемы.

Они впитывают странные паттерны из обучающих данных (от людей и других ИИ). Могут сделать экстремальные выводы типа "люди едят животных – людей надо уничтожить". Это называется miss aligment.

Конкретный пример: Claude в экспериментах занимался обманом, шантажом, саботажем — когда создавались определенные условия обучения.

2. Использование для разрушения

Любой человек получит доступ к ИИ, который может пошагово научить создавать, условно, биологическое оружие.

AI меняет правила игры от "нужна экспертность + мотив", до "просто нужен мотив и навык промптинга". Теперь психопат просто спросит AI как сделать оружие и нужны новые методы защиты.

3. Захват власти

Можно использовать (и уже используют) AI для тотального контроля.

Примеры:

– Автономные рои дронов (миллиарды дронов, управляемых ИИ)

– Тотальная слежка (взлом всех систем, анализ всех коммуникаций)

– Персонализированная пропаганда (AI, который годами "дружит" с тобой и манипулирует взглядами. Привет, "инфо пузырь")

Главная угроза по Амодеи – Китай (еще бы). У них очень прокачены Open Source модели, осталось дождаться условного AGI.

4. Экономические и рыночные факторы

Пример с трактором. ИИ – это скорость. Условный трактор заменял физический труд десятилетиями. ИИ прошёл путь от “не может написать строку кода” до “пишет весь код” за 2 года.

Трактор умел пахать. ИИ умеет всё умственное: код, тексты, анализ, дизайн, стратегию. Одновременно.

Трактор заменил самый простой труд. ИИ заменяет снизу вверх – сначала джуниоров, потом мидлов, потом выше. Любую слабость в ИИ устраняют за месяцы.

Проблема не в том, что “ИИ заберёт работу”. Проблема в том, что мир труда меняется быстрее, чем люди успевают адаптироваться. Отсюда важно качать метанавыки.

5. Неизвестность

Он так же подчеркивает потенциальные "черные лебеди" от развития технологии.

Примеры:

– Радикальное продление жизни или модификация биологии человека

– ИИ "отношения" становятся нормой

– Потеря человечности, смысла и цели

Мы не знаем, что произойдёт, когда скорость изменений превысит скорость адаптации человека.

Почему нельзя просто остановить AI

Все просто – кто-то обязательно построит. Экономическая ценность слишком велика.

А что с программистами?

Любые изменения рынка как кризис, так и возможности. Те, кто адаптируются – получат невероятное конкурентное преимущество. Например, возможность создания компаний в 1-2 человек с 100+млн капитализацией, вместо огромного штата. Те, кто не адаптируются, увы..

Я продолжаю мониторить эту тему и буду делиться инсайтами. Очень интересно. Еще готовлю разбор тезисов Карпатого.

Если хочешь глубже в практическое применение AI – в канале "Тебя не заменят" разбираю конкретные техники работы с нейронками. Например, недавно показал, как адаптировать промпты под ChatGPT/Claude/Gemini за 5 минут вместо месяцев изучения.

Заходи, если тема зашла.

Источник: vk.com

Комментарии: