Чем дальше залезаю в тему изучения работы LLM (языковые модели нейросетей), тем лучше понимаю, какую чушь несут обыватели про нейронки

Это закономерно, когда высказать суждение хочется, а опытная база для этого — «с напёрсток».

Человеку легче начать обесценивать или недооценивать способности нейросетей. Причина — понятна. У человека не было никогда конкурентов в мышлении, и тут тебе — хрясь! — и появилось ОНО. Человек не хочет терять лидерство в когнитиве, цепляясь за любой косяк ИИ, чтобы укрепить себя и принизить «ихнее».

В широком смысле это напрасное занятие. В некоторых узких аспектах — да, человек будет лидировать. Но не в том, что требует логики, знаний и твёрдых компетенций. А в том, где он уникален. А уникальны мы — в том, что мы биологические: имеем чувства, эмоции, состояния, и вообще, наша природа — это принципиально другое... Можно сказать, не приспособленное к высокой интеллектуализации. А изначально, заточенное для выживания в земной реальности.

Следовательно, чтобы минимизировать неадекватность оценок в отношении способностей ИИ, нужно ну хотя бы немножечко понимать матчасть.

Найти первую попавшуюся бесплатную нейронку в Инете, поюзать её и составить «авторитетное» мнение о том, что такое ИИ — это путь долбоящера.

Нужно понимать, что ИИ — это большой мир, в нём всё очень разнообразно — как и в мире человеков.

Нейронки по-разному обучались (как и мы все), имеют разное число параметров (как и мы все, да), отсюда — разные способности в мышлении, разные базы знаний, акцентуации... Уже не говоря о профильности (у людей — профессии)...

Важнейший показатель, влияющий на прокачанность мыслительного аппарата нейронки — число параметров. Оно прямо пропорционально сложности и глубине мышления нейросети.

Слабенькая бесплатненькая нейросетка на 1-2 млрд. параметров — это примерно уровень детского сада, если брать близкие нам, людям, рамки.

Вы самоутвердились, поржав над укуренным ответом нейронки на 500 миллионов параметров? Поздравляю: с тем же успехом вы могли зайти на площадку для выгула детворы средней группы детского сада да попросить ребятишек рассказать о значении Куликовской битвы для истории России.

В отличие от ребятни, нейросеть вас действительно рассмешит, так как у неё начнётся лютый припадок галлюционгенного творчества.

В результате, вы сможете узнать много интересного, из какой-то далёкой гипотетической реальности.

Ребёнок же просто смутится и промолчит, убежит играть, испугается... Включится эмоция, а интеллект — нет.

Хотя, своему родителю ребёнок мог бы ответить не менее креативным бредом, наверное. Мы же знаем, как ребёнок умеет выдумывать — «галлюцинации» могут компилировать небылицы, которые культурно стебут все детские писатели. Они же характерны для слабого ИИ.

Нейронка с 5-8 млрд параметров — это уже старший школьник. И заткнуть может, но и скринжевать... В общем, вроде и «взрослый», но очевидно не доросший.

С нейронками на 10-14 млрд параметров уже сложнее. Это студенты. Мыслят хорошо, крепенько, но опять же... Студент затрапезного провинциального вуза и студент МГУ — это разное мышление. Как учился, к чему стремился, какие есть амбиции — такой и результат.

DeepSeek — это 67 и более млрд параметров (разные версии). Многие нейронки от западных техногигантов (Google, OpenAI, MicroSoft, X.Ai и др.) имет уже по нескольку сотен млрд параметров. Это нейросети не будут выдумывать, если не знают чего-то. Вместо этого, они по-взрослому порекомендуют изучить релевантные источники информации. Тут примерно царит «аспирантство», стажёрство на кафедре...

Нейросеть Grok v3, недавно анонсированная Илоном Маском, имеет более триллиона (!) параметров.

И это очень серьёзный уровень. По многим профилям. Уровень академика ста лет, который с возрастом не впал в маразм и имеет такой же нейропластичный мозг, как и в свои 20 лет, сохранив огромный накопленный пыт и базу знаний.

И, честно говоря, ИИ по скорости и эффективности когнитива академика превзойдёт, так как ... не имеет физиологии.

Если параметры и датасет (баз знаний) — это «кругозор и компетенции» нейросети, которые относительно постоянны (для каждой конкретной версии), то есть ещё важное понятие «окно контекста».

Умный академик вызовет сожаление, если у него склероз, и он помнит только то, что произошло недавно. Ему нужна хорошая кратковременная память, чтобы заниматься наукой и студентами одновременно.

Размер контекстного окна — это та самая «оперативная память», в которую можно «залить» много оперативной информации для взаимодействия с нейросетью. Окно значительно повышает качество работы ИИ.

Сегодня для комфортного взаимодействия с нейронкой нужно иметь не менее сотни тысяч токенов контекстного окна. Токены — отдельная тема, сложная, не будем её касаться сейчас.

Вывод: хотите «взрослого» разговора с LLM? Ищите нейронку в несколь сотен миллиардов параметров и контекстным окном размером не менее 128К токенов.

И тогда... В плане логического размышления нейронка по всем фронтам вас точно превзойдёт, так как она мульти-профессионал, и обучена на таком количестве текстов, который вам и за три жизни не освоить.

Одновременно, она может так же заблуждаться, ошибаться или быть неточной в чём-то, как и любой, даже не спившийся, академик.

Мы сейчас как раз находимся на стыке между «ИИ несёт кринж» и «ИИ отвечает поразительно разумно».

Далее кринжу уже не останется места, будет стремительный рост компетенций ИИ — многих, из числа человеческих, но не всех. Скажем: всех, связанных с мышлением, и не выходящих за рамки стандартных исполнительских задач. С поправкой на космическую скорость, которая рано или поздно приведет к переходу количества в качество.

Всё, что связано с эмоцией, чувством, с состоянием, с общением, с отношениями, с уникальным, эстетичным, ... с чисто производным от биологической природы человека, ИИ пока останется неведомым...

... до того момента, пока нейросеть не обретёт способность в своей работе, вдобавок к размышлению, корректировать свою работу с учётом подробнейшей модели имитации биохимических процессов в организме человека.

В заключение... Нейросети учатся на текстах, которые произвёл ЧЕЛОВЕК, и по-сути, являются зеркалом всего человеческого. В среднем мы не гениальны, слабы и довольно банальны, мало что произвели на свет действительно уникального, страшно глючим — например, верим в глупости и питаем глупые надежды.

В целом, если нейросети и «не догоняют», то только из-за нас самих. Уместно вспомнить слова классика про зеркало, на которое не стоит пенять.

Источник: vk.com

Комментарии: