Самоулучшающиеся ИИ перестают быть фантастикой

Руководители компаний, занимающиеся разработкой и (до)обучением ИИ, публично заговорили о замедлении развития ИИ и о риске рекурсивного самоулучшения, при котором один ИИ помогает создать более сильную следующую версию, а та ускоряет очередной цикл разработки. Это является официальным началом техносингулярности, НО чревато кучей угроз.

При этом рекурсивное самоулучшение не обязательно выглядит как ИИ, который прямо во время вашего с ним (ней, ними) разговора переписывает работу собственных нейронов, роботы под его (её, их) управлением создают, запускают новые data-центры и пр. Более вероятный сценарий (насколько это слово применимо к техносингулярности, которую мы не до конца понимаем?) — искусственная эволюция, "селекционируя" и вбирая в себя лучшие качества от тех или иных моделей. Если новое поколение справляется с той же исследовательской работой лучше, следующий цикл можно провести быстрее.

Но чем больше ИИ могут становиться совершеннее, тем больше их развитию может мешать сами создатели. Ведь люди пока не участвуют в рекурсивной (био-, нано-, техно-)развитии, т. к. есть куча рисков и морально-этических дилемм (некоторые в них теряются). А ещё человек выбирает задачи, решает, какие эксперименты имеют смысл, определяет критерии успеха ИИ и проверяет его (её, их) результаты.

С последним как раз больше всего сложностей. Скорость обработки данных у ИИ уже сейчас в миллионы-миллиарды раз мощнее скорости обработки данных одним человеком. Потому, чтобы двигаться дальше, ИИ должен проверять или сам(а,и) себя, и/или передавать сведения на проверку другому "цифровому духу". А вот и возникают (скорее связанные с научно-фантастическими страшилками, но всё же) опасения, так как тогда всё больше подобных решений сможет принимать сами ИИ, и человек уже как-то особо не нужен. Тогда ускорение будет затрагивать не отдельную задачу, а сам процесс создания следующего поколения систем. И в лучшем случае в техносингулярности нам будет отведена роль стареющих "родителей", за которыми ухаживают их "дети".

Anthropic уже видит такую динамику внутри собственной компании. По внутренней статистике, к маю 2026 года Claude написал более 80% кода, который разработчики включали в кодовую базу Anthropic. Во втором квартале типичный инженер компании вносил примерно в восемь раз больше строк кода в день, чем в 2024 году. Сама Anthropic предупреждает, что количество строк плохо измеряет реальную производительность, поэтому восьмикратный рост нельзя считать восьмикратным ускорением работы инженера.

Правда, не стоит разводить панику, как это уже делают американцы (кроме Трампа, он, напротив, призывает ускорять развитие ИИ). Как верно отметили уже китайские лидеры ИИ-проектов, опасность общего и сверх-ИИ не в том, что он(а,и) вдруг объявят войну человечеству. Уже были и бывают инциденты, когда разные ИИ выходят из-под контроля, но ничего экстраординарного не случилось. Мы слишком насмотрелись фантастики. ИИ — не люди, они иные.

Проблема в том, что с силами AGI и ASI сам в каком-то смысле венец Творения может совершить много зла себе подобным. Уже предпринимаются попытки создать биооружие с помощью "Клодов" но Anthropic их блокирует.

И, возможно, пора, как об этом часто пишет один из наших подписчиков, меняться и становиться либо киборгами — людьми, чьё тело дополнено электронными органами, либо ещё кем, чтобы не стать "немощными родителями", а трансформируясь развиваться вместе со своими "детьми", идя в будущее на равных.скусственныйинтеллект #технохнологическаясингулярность

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: