Три слагаемых AGI

Как-то часто стали встречаться статьи нейро-скептиков: людей, которые всю эту движуху вокруг ИИ считают хайпом, пузырем и чем-то явно переоцененным. Скептицизм - это естественно, полезно, и эволюционно-оправдано для человека. Более того, я и сам большой скептик: на все смотрю через призму инженерного снобизма, проф-деформаций и врожденной недоверчивости. И мне, также, трудно самому себе признаться, что весь мой, более чем 20-ти летний опыт в IT - скоро можно будет выбросить на помойку. Я тоже цепляюсь за те логические соломинки, которые мне позволяют надеяться на то, что я останусь в строю.

Но мой персональный нейро-скептицизм простирается еще шире. Он, во многом, касается и возможностей природных нейросетей - наших с вами мозгов. Я очень скептичен в отношении интеллектуальной исключительности человека. Я нахожу чрезмерно самонадеянными высказывания о том, что мы обладаем какой-то уникальной способностью к творчеству и к тому, что мы, в действительности, все-вокруг контролируем. Наш интеллект, мало того, что неравномерно распределен в популяции, так еще и очень нестабилен во времени: мы очень зависимы от стресса, усталости, уровня гормонов и нейромедиаторов... Умнейшие из нас, порой, могут вести себя как полнейшие дураки. И это нормально. А средний по больнице интеллект человечества - хм, даже не знаю как сказать, чтобы не обидеть всю цивилизацию. Даже в отношении свободы воли, в научном сообществе сейчас доминирует идея о том, что ее и нет вовсе.

К чему я это все говорю? К тому, что мы часто попадаем в ловушку притянутых за уши сравнений: мы оцениваем лучших представителей человечества в их "лучшие годы" со средними показателями избранных языковых моделей в условиях конкретных ограничений на сложность вычислений и работы с памятью. Мы переоцениваем четкие алгоритмы и нашу естественную возможность их создавать "осознанно". И, по этой причине, мы недооцениваем то, что происходит, буквально, на наших глазах. А происходит вот что.

Можно выделить три фактора, взаимное влияние которых, определяет общие ИИ-тенденции:

• Увеличение вычислительных мощностей, доступных нейросетям. Назовем это Грубой Силой.

• Улучшение архитектур моделей, методов обучения, оптимизации и подготовки обучающих данных. Улучшение качеств специализированного железа - можно отнести сюда-же. Назовем это, в целом, Качеством.

• Формирование подходов к более эффективной эксплуатации нейросетей. Здесь я имею в виду то, что, для простоты, можно свести к контекст-инжинирингу. Мы создаем узкоспециализированных агентов, инструменты для их оркестрации и самопроверки (мастер-агентов), решения типа ризонинга и всяких иных модных конкурентно-совещательных подходов, псевдо-мультимодальность, более эффективные протоколы общения агентов и так далее. Это я, назову Эффективностью.

Эти три вектора создают некий общий кумулятивный эффект. Где-то он проявляется более явно, уже сейчас, а где-то - должен проявиться в ближайшем будущем.

Часто недооценивают именно синергию, рассматривая поведение современных LLM в отрыве от всего остального.

Но главное, что это все может быть (и будет) "замкнуто" в рамках самой нейросети.

AGI

В чем AI имеет принципиальное преимущество перед NI?

• Умный человек с современным компьютером, подключенным к интернету, получает значительный буст к интеллекту. Ну если только он не зашел на порно-сайт, в этот момент его интеллект становится отрицательным. А вот ИИ - это и интеллект, и компьютер и весь интернет в одном флаконе. И ему не страшны порно-сайты. Это предполагает гораздо большую эффективность в обработке больших объемов информации априори.

• Топология нейросети. Человеческие нейроны строго привязаны к их физическому расположению в мозге. Сигнал может проходить только через определенные последовательности нейронов, и прямые связи между группами нейронов в разных областях - физически невозможны. Машинный нейрон, принципиально, не имеет такого ограничения (архитектуру нейроморфных сопроцессоров мы пока опустим), и может иметь графовые связи с произвольными группами нейронов. Да, популярные трансформеры имеют слои с энкодерами и декодерами, что является подобным ограничением, но это, на мой взгляд, также довольно легко обойти, поскольку слои (даже если они остаются "плоскими" в архитектурном представлении) могут быть полностью виртуальными. Также, для машинных нейронов принципиально возможна более эффективная динамическая сверхспециализация (нейропластичность на стероидах).

• Наш мозг эволюционно сформирован под решение задач выживания и размножения. Вся наша интеллектуальность и креативность - лишь побочные эффекты. Значительные ресурсы живого мозга выделены для работы социального интеллекта и бессознательных процессов. Мы находимся во власти многих иллюзий и когнитивных искажений, определяемых нашей биологической природой. Машина, в некотором смысле, наш наследник в этом. Но это "наследие" легко преодолимо, что подтверждается многочисленными примерами, когда ИИ начинает общаться с другим ИИ, используя более эффективные, уже самостоятельно изобретенные протоколы.

• Человеческий мозг может работать в режиме сверхконцентрации только ограниченное время. Мы быстро устаем и начинаем сильно сдавать. От умственного перенапряжения можно даже в больницу угодить. У машины такого ограничения нет. Она может работать на максимуме возможностей пока есть ток в проводах.

• Человеческое мышление, заточенное на решение пространственных задач, в значительной мере, ограничено в возможности мыслить абстрактно. Например, нам кажется, что пространство и время - реально существуют. Для Машины - это, заведомо, совсем не аксиома. Образно говоря, высота полета мысли, для нас, ограничена толщиной атмосферы нашей био-реальности. А для Машины - нет.

• Скорость и возможности обучения. Человеку, чтобы научится ходить, нужна пара лет. Машине - минуты. Человеку, для обучения, нужен "реальный мир". Машина способна создавать данные для обучения полностью самостоятельно (как AlphaGo).

Часто скептики, обсуждая возможность появления AGI, приводят как аргумент, ОГРОМНОЕ количество нейронов в живом мозге. На мой взгляд, учитывая вышесказанное, это не такая уж и проблема, ведь не все (и не всегда) нейроны одинаково полезны и эффективны для решения чисто интеллектуальных задач.

Для того, чтобы ИИ был максимально эффективен, ему не нужно быть похожим на интеллект человеческий, а наоборот, ему нужно быть сильно НЕПОХОЖИМ.

Но что нужно, чтобы AI стал настоящим AGI?

Нужно объединить и замкнуть в себе (архитектурно) те три базовых фактора, о которых я писал выше: Грубую Силу, Качество и Эффективность.

Нужно реализовать динамическое выделение групп специализированных нейронов, некую внутреннюю сеть "субагентов", обмен информации между которыми, происходит с использованием эффективных внутренних протоколов и прямых связей. Помните недавнюю историю с любовью ИИ-моделей к совам? То есть, стратегически, мы имеем объединение Качества и Эффективности как базовый вектор развития.

Если привести аналогию с человеком, в отдельных случаях, это может быть похоже на множественное расщепление личности, где каждая субличность занята своей выделенной задачей. Эти субличности появляются и исчезают в соответствии с общей необходимостью.

Это буквально то, что уже реализуется многими командами разработчиков ИИ-инструментов, но только как внешне-контролируемый, а значит, значительно менее эффективный процесс.

Но как быть с Грубой Силой? ИИ ведь не может произвольно менять характеристики собственного железа и управлять доступными ресурсами?

Да, напрямую, пока, не может, но может это делать косвенно, помогая в создании принципиально новых архитектур и подходов, в оптимизации существующих решений, в вопросах энергетики. Он уже это делает.

Сингулярность

Ну а дальше нас ждет сингулярность. К примеру, мы часто обсуждаем, что будет с нами, инженерами и разработчиками, когда ИИ сможет заменить нас полноценно. Вот только когда (и если) он сможет и захочет это сделать, будут "заменены" и все остальные, включая юристов, экономистов, чиновников, политиков и, конечно, мошенников-манипуляторов. Уровень задач настоящих разработчиков (ненастоящих мы уже заменили), находится чуть выше, поэтому эта "замена", практически, гарантирована.

Это приведет к необходимости полного и фундаментально пересмотра всей экономики нашей цивилизации, с помощью того-же ИИ. И к длительной и болезненной адаптации. Это в лучшем случае.

В худшем случае... я даже не знаю. Предложите свой вариант.

З. Ы.

Мне тут попался ролик в рекомендациях на YouTube, где автор популярно рассказывает почему все LLM абсолютно всегда врут и почему это никак-никак невозможно исправить. Рассказ свой он сопроводил описанием принципа работы LLM (на самом деле, так работает T9). Хотя, в принципе, это довольно неплохой способ объяснить все "на пальцах", на самом начальном уровне, но, в случае с современными LLM, все, конечно, сложнее. И прогнозы решения подобных врожденных проблем - далеко не так однозначны.

Но, самое важное, из того, что упускает автор, это то, что человеческий мозг точно ТАК-ЖЕ врет и галлюцинирует. Мы - тоже T9. Вы же помните этот популярный прикол:

- Что пьет корова?

- Молоко!