ПОЧЕМУ НЕЙРОСЕТЬ ПОХОЖА НА ЧЕЛОВЕКА

Сегодня, наверное, уже не встретишь человека, который не воспользовался бы нейросетями или не видел их плоды. Картинки, видео, тексты – все это заполонило интернет и телевидение. Существуют даже радиостанции (слава Богу не у нас), где вещает, ставит музыку, рекламу и работает по сетке – нейросеть.

Масса людей не понимает, что это такое. В обществе появляется убеждение, что это искусственный интеллект, робот, как в фильме Терминатор. Или вообще, что это признак конца света, антихриста и т.п. Проскакивают даже новости, где люди влюбляются в нейросети и женятся на них (не в РФ, слава Богу).

А все от того, что люди (в большинстве), не понимают, что это такое. Ну, ничего удивительного. Например, мне, как водителю, совершенно не интересно, как устроен карбюратор. Мне важно, что машина едет. Однако, с нейросетями все обстоит немного сложнее. И, как мне кажется, некоторые вещи, все-таки, стоит знать.

КАК УСТРОЕНА НЕЙРОСЕТЬ?

Помните старые мемы про T9? Набираешь СМСку, отправляешь и только потом замечаешь, что T9 заменил слово в сообщении. Так вот, нейросеть это по сути гигантский T9. Только он работает не как автозаменитель слов, а как автозаполнитель.

В современных смартфонах есть функция, когда телефон предлагает вам следующее слово. Например, вы набираете на телефоне «Я хочу выпить...». Смартфон предлагает слова: "кофе", "воду", "чай". Откуда он берет эти слова? Он же не придумал их. И вот тут вступает весь гениальный замысел. Он делает это не потому что понимает контекст нашего сообщения (иначе гуглы, яндексы и пр, давно бы были затасканы по судам за нарушение конфиденциальности переписки), а потому что миллионы людей до нас печатали эти фразы, и телефон запомнил статистику (точнее у него есть своеобразные словарь): после "хочу выпить" чаще всего идет "кофе" или "воду". Вот и вся магия.

Нейросеть делает ТО ЖЕ САМОЕ. Разница лишь в том, что словарь в телефоне занимает около 5-10 мегабайт, а вот нейросеть может достигать сотен терабайт. Потому, что в нее вложили последовательности не просто банальных фраз для помощи «умного» набора на телефоне. А скормили ей почти весь интернет. Книги, форумы, сайты. Даже древние свитки и манускрипты.

В нейросети есть статистическая карты всей этой горы информации. Там слова связаны друг с другом не по смыслу, а по частоте их появления. Хотя, смысл тоже есть, но не так, как устроен реальный мозг, а немного по-другому. Если человек говорит, скажем, про медицину, то нейросеть активирует те «нейроны», в которых хранятся данные из книг, фильмов, форумов, статей по медицине.

Например, слово "кофе" очень часто встречается рядом со словом "выпить" в миллиардах текстов. Да? Да. А вот слово "бензин" редко встречается рядом со словом "выпить". Что делает нейронка? Она же не «думает», как человек. Она просто активирует ту область, которая отвечает контексту разговора и производит простой расчет:

«Ага, я вижу слова «Я», «хочу», «выпить». В моей статистической карте чаще всего после этого набора идет слово «кофе» (70% совпадений), потом «чай» (20%), потом «вода» (8%), а «бензин» (2%). То есть почти никогда. Давай-ка я выберу одно из них..». Как вы думаете, простой калькулятор, какое слово выберет? Правильно – кофе. Потому что в 70% в той информации, которую ей скормили (книги, статьи, форумы и т.п.) это слово встречается после слова «выпить».

То есть, нейросеть не знает, какой кофе. Она не понимает, что он вкусный или не вкусный. Она просто делает математический расчет.

ТЕМПЕРАТУРА (играем в кости)

Если вы хоть раз запускали нейросеть у себя на компьютере, то первое, что вам предлагалось настроить, это параметр «Temperature». В онлайн чат-ботах (Chat-GPT, Clode, QWEN и т.п.), все настройки уже выстроены заранее). Как это вообще работает?

Смотрите, если бы нейронка всегда брала самое частое слово (как в примере с нашим кофе в 70%), то она была бы безумно скучной. Говорила бы сухо, как телефонный робом горячей линии ПФР.. Поэтому для нейронок придумали этот параметр. Чем он выше, тем разнообразнее и интереснее происходит подбор следующих слов, которые складываются в предложения и целые трактаты. Такой, своего рода, параметр «очеловечивания» работы нейросети. А если по научному, то temperature это такой растягиватель/сжиматель процентного соотношения – какое слово последует за следующим (или символ, если нейросеть пишет код программы).

Там правда еще есть настройки Top-P и Top-K. Это тоже интересные параметры. Но, если не уходить в дебри, то это нечто похожее на игру в кости, где каждый раз выпадает новое число. Таким образом, нам начинает казаться, что нейросеть общается, как человек, думает, как человек, решает вопросы, как человек. Но, по факту, как я уже сказал, это просто громадный автозаполнитель.

Для тех, кто запускал нейросети на компьютере, уже понятно, как работают настройки. Например:

Температура 0 = «Играть в кости» запрещено. Бери только самое частое слово (кофе). И вот мы получаем ответ, как у робота. Такое вы часто можете видеть во всяких простых ботах в телеграме. Или в помощнике в госуслугах.

Температура 0.7 = Золотой стандарт. «Брось кубик», но сделай так, чтобы «кофе» выпадало чаще, а «бензин» почти никогда. И вот нейросеть общается, «как человек».

То есть, НЕЙРОНКИ ничего не понимают!!! Это нам кажется, что они что-то там «думают». В этом-то и вся магия. Но, по факту, это просто большой калькулятор, который считает цифры, выбирает слово по частоте (кофе встречается чаще, бензин - реже), считает математику на видеокарте или процессоре. Она очень убедительно повторяет то, что миллиарды раз видела в интернете, книгах и т.п. (что ей скормили на «датасете») но не имеет понятия, о чем говорит.

ТОГДА ПОЧЕМУ ОДНИ НЕЙРОСЕТИ УМНЕЕ ДРУГИХ?

А вот тут начинается самое интересное. Создатели нейронок тратят гигантские деньги на сбор данных (датасет). Видели новости, как на известные нейросети подают в суд? Например, был скандал с одной нейросетью для генерации песен. Ведь откуда-то должна нейросеть брать информацию, чтобы понимать, этот звук, обычно идет после этого или перед этим и т.д. (да, с видео, картинками, звуками, дело обстоит ровно так же. Нейросети нужен датасет – чем ее кормить). Так вот, создатели нейронки, которая генерирует песни и музыку, просто взяли и скормили ей почти весь музыкальный Ютуб и прочие платформы. Что получилось? А получилось то, что нейросеть теперь знает, как устроены песни, скажем, Юры Лозы (не к ночи будет упомянут). Только вот Юра не давал разрешения, чтобы его песни были в базе нейронки и чтобы пользователи генерировали тысячи произведений, которые человек придумал сам (и текст и музыку). Получается серьезное нарушение лицензионных прав. Вот почему, скажем, в том же SUNO, вы никогда не получите результат, если напишите нейронке – сделай песню, как Eminem. Потому, что создатели подсуетились и вставили «штраф» нейронке. Если в тексте есть известный исполнитель, то в нейросети срабатывает «предохранитель» и она в 100% выбирает отказ.

Так вот, о том, почему одна нейросеть умнее другой. Как вы уже поняли, нейронкам нужна информация. Причем, не просто абы какая, а качественная. Чем качественнее информация, тем умнее (нам так кажется) нейросеть.

Закрытые модели берут не просто интернет (как было в самом начале), а лучшие книги, лучшие статьи, лучшие диалоги. Тщательно их чистят и фильтруют (иногда вручную). Например, Qwen и DeepSeek - обучались на гигантских данных, но их качество данных ниже: много мусора, спама, плохих переводов и т.п. Конечно, там действуют сложные фильтры, но, все же факт остается фактом. А вот тот ж Клод или ChatGPT учили на более чистой информации. Поэтому их нейронки выбирают наиболее подходящие слова, так как в их датасете много точных книг, хороших переводов, научных статей и т.п., и почти нет мусора из интернета.

Чтобы лучше понять, представьте, что вы решили стать поваром. Если будете учиться у Кости Ивлиева, Вовы Мухина, Кати Алехиной и т.п., то вы в итоге станете крутым шеф-поваром. Потому, что учились у звезд. А если вы будете учиться только в шаурмячных и прочих фастфудных точках, то… ну, вы максимум научитесь круто делать шаурму и гамбурегр.

НЕМНОГО О СЛОЖНОМ.

Представьте, что вы учитель и вам нужно проверить эссе школьника. Проверить все вообще – орфографию, логику, раскрытие темы и т.п. Вы начинаете делать это поэтапно (я сейчас оч грубо объясняю). Сначала вы смотрите на буквы и слова (орфография). Потом грамматику (правильность предложений). Потом на логику (связаны ли абзацы). Потом на смысл (раскрыта ли тема). Потом на стиль (хорошо ли написано). Ну и так далее.

Так вот, если это перенести на нейросети, то каждый такой этап – это так называемый «слой» нейросети. Как сито. Первые слои видят простые вещи (буквы и слова). Далее вступают слои, которые «видят» связь между словами. Ну и так далее, до самых глубоких, которые уже «видят» общий смысл, эмоции, подтекст и контекст.

Чем больше у нейронки таких слоев, тем она круче. Но, круче означает не только «умнее» (сложнее подбор слов), но и дороже. Ведь для этого нужны громадные вычислительные мощности. Вот почему по новостям периодически мелькают сюжет про громадные дата центры Илона Маска и прочих. Все это потому, что для каждого пользователя, если проводить грубую аналогию, делается своя копия нейросети (это все-таки программа, которая имеет свой размер в гигабайтах и терабайтах). По простому говоря, вы дома имеете работающий на полную мощность компьютер. Он греется? Конечно греется. А теперь представьте, что вы оказались в помещении, где вот так вот на максимум, греются сотни тысяч компьютеров. Жарко будет, правда? Вот почему дата-центры где все это работает, требуют не только громадного количества электричества, так еще и теплоотвода. Но, это я ушел от темы…

Так вот, чем больше «слоев», тем дольше и сложнее обучать нейросеть, но и результат будет ювелирным. Давайте на примере. Вот есть автостроительный завод. Цех №1 - получает куски металла и делает из них заготовки и кузов. Цех №2 - берет его и вставляет колеса. Цех №3 - берет всё это и красит. Цех №4 - устанавливает двигатель и т.п. Каждый цех - это один слой нейросети. Чем больше цехов (слоев), тем тоньше работа каждого цеха. То есть не просто грубый отсев, а прям вот на каждую деталь по 30 работников. И вот на простой нейронке, где не очень много слоев, мы получаем Лада Гранта, а на той, что побольше, получаем Rolls-Royce с сотней электронных наворотов. Но, для этого требуются вычислительные мощности. Поэтому среди компаний идет гонка не только за датасет (чем нейронку кормить), но и за мощности.

На практике это выглядит так:

Мало слоев (3-5) - нейронка может понять только простые фразы: «Здарова», «Как дела».

Средне (20-50) - Неронка понимает сложные предложения, может написать сочинение.

Много (100+) – (Всякие Claude, GPT-4, QWEN и т.п.) - улавливает тонкие смыслы, шутки, сарказм, логические цепочки на сотни страниц.

Теперь вы можете грубо понять, почему отечественная нейронка от Яндекса или Т-Банка хуже чем тот же Chat-GPT. Просто слоев не так много и датасет не такой крутой, как у флагманов этого дела. Ну или почему, когда вы звоните в Сбербанк, вам приходится проходить 10 кругов ада общения с их тупой нейросетью.

Каждый новый слой добавляет способность видеть всё более глубокий смысл. Плюс память (контекстное окно). Чем оно больше, тем лучше нейросеть понимает разговор или пишет код.

Представьте, что вы читаете Властелин Колец Толкина. Маленькое контекстное окно (4к токенов) - это как будто вы читаете книгу, но можете помнить только последние 3 страницы. Вы читаете страницу 10 и уже забыли, кто такие хоббиты. Вам приходится постоянно перелистывать назад, чтобы вспомнить. Большое контекстное окно (1 миллион у Claude, например) - это как будто вы помните всю книгу целиком. Вы на странице 450, но отлично помните детали со страницы 10, имена всех персонажей, их мотивы, и можете связать их с финалом.

Это нам только визуально кажется, что нейронка помнит. На самом деле, приложение (текст в чате), просто хранит всю историю переписки у себя в интерфейсе. Но когда в переписке вы отправляете запрос к нейронке, то она не перечитывает весь диалог, а видит только то, что помещается в ее контекстом окне. Если что-то не поместилось (текст сверху), то она просто подхватывает то, что видит (большой хвост текста) и продолжает общение. Нейронка научена просто подхватывать и развивать на простых принципах автозаполнителя (просто сложного). Поэтому пользователю кажется, что модель «помнит» и «понимает».

Почему Клод лучше Qwen или Дипсика? Потому, что после того как модель выучила слова, её дообучают на оценках людей. Тысячи людей читают ответы и говорят: «О, это норм, а это не норм». Модель учится на этих оценках и становится приятнее, «умнее», понятнее. За это на момент тестировки даже платят. Anthropic (создатели Claude), например, вложили сотни миллионов долларов в то, чтобы Claude был не просто умным, но и понятным, логичным и дружелюбным. Отсюда весь этот вайб, будто нейронка общается, как человек.

Но, давайте не будем наводить панику с Терминаторами. Терминатор – это искусственный интеллект. То есть фантастика, которая может самостоятельно обучаться, принимать решения, мыслить и т.п. На сегодняшний день, то, что мы называем ИИ, это обычные нейросети. Не больше и не меньше. Да, иногда проскакивают новости о том, что планируется создание ИИ, но, таких мощностей пока еще ни у кого нет. Поэтому, можно смело выдыхать.

PS. Может, моим читателям не совсем обычно будет видеть пост на эту тему, но, мне стало интересно, как все устроено и я потратил более 4 месяцев на изучение и тестировку нейросетей. Поэтому, решил поделиться с вами этой информацией.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: