Пока нет праздника "День без нейросетей", мы решили разобраться, могут ли нейросети мыслить

Пока нет праздника "День без нейросетей", мы решили разобраться, могут ли нейросети мыслить. Разбирался в этом лично наш "главный по тарелочкам" Дмитрий Иванов. Делимся результатами.

МОГУТ ЛИ ВСЯКИЕ "ЧАТЫ GPT" МЫСЛИТЬ?

Краткий ответ: нет.

Полный ответ: 

Развитие больших языковых моделей идёт, можно сказать, семимильными шагами. Мы принципиально не используем зафорсенное журналистами словосочетание "искусственный интеллект" или "нейросети", которые, как морская свинка: она не свинка и не морская (то есть, там нет нейронов и нет их сетей :) ).

Чат-боты "пишут" диссертации, рекламные тексты, программы тренингов, стратегические планы для компаний и описывают системы ценностей ("клиентоориентированность", "ориентация на результат", "ответственность" и "командность", вот это всё).

Очевидно, что усреднять любые порождённые и осмысленные человеческой цивилизацией массивы слов алгоритмы умеют не хуже иных консультантов по смещению стратегического фокуса и СММ-менеджеров, но при этом ещё и бесплатно. Разные провидцы из мира ИИ-ориентированных компаний, нисколько не стесняясь явного конфликта интересов, обещают уже вот-вот, буквально через 3-5 лет, выдать всем на удивление "общий искусственный интеллект", который сможет думать как человек. Тут много всяких очень проблемных мест и тонкостей, начиная с того, что непонятно, что такое человеческий интеллект и мышление, и как оно устроено. Но всяких сэмов Альтманов это нисколько не смущает, главное — направить поток обещаний в правильном направлении — и, вуаля! — вам дают 500 миллиардов (!) долларов на инвестиции в "эц самое". Которое будет как человек, только лучше. Ну, думать, придумывать всякое новое, решит всякие сложные вопросы, типа холодного ядерного синтеза, вакцины от рака, бедности и прочих бед человечества.

А пока на вершине популярности наши китайские товарищи, которые взяли и выпустили мощный, красивый, многоязычный, бесплатный, без регистрации и СМС новый чат DeepSeek, который порвал все предыдущие. У него даже есть специальная кнопочка DeepThink, которая обещает, что алгоритм "порассуждает" прямо у вас на глазах и выдаст обоснованный ответ.

В связи с такими шокирующими новостями захотелось проверить, могут ли чаты решать задачи, а не просто служить "Википедией" для ленивых или генератором максимально продающих текстов (ирония).

У нас были следующие конкурсанты: 

1) DeepSeek 

2) ChatGPT-4 

3) YandexGPT 

4) Gigachat

Первая задача была на формальную логику, при решении которой люди обычно просто торопятся и ленятся, выбирая неверный ответ. DeepSeek и ChatGPT выдали верное рассуждение и правильный с точки зрения логики ответ. Yandex и Gigachat выдали неверные ответы. Итак, в логику смогли 2 чата из 4 — оба иностранных.

Вторая задача была на условно "творческое мышление", где нужно было придумать необычный, неочевидный ход для разрешения проблемной ситуации. При этом подразумевалось самое обоснованное и "элегантное", эффективное решение. И снова DeepSeek, ChatGPT и Gigachat привели корректное рассуждение и наиболее обоснованный ответ. Yandex снова мимо, с какими-то несуразными рассуждениями. Вообще, наиболее полно и развёрнуто "отвечал" DeepSeek. На русском, причём, а ведь это китайский бот. Третья задача была на вероятность. Многим такие задачи известны ещё по работам Канемана: даётся короткое описание человека, его навыков, увлечений, а затем приводится несколько вариантов утверждений о том, где и чем занимается этот человек. Ну, типа, условный Иван, который закончил финэк и увлекается критическим мышлением и волонтёрской деятельностью. Среди вариантов ответов были такие, где он просто работает в российской компании, в иностранной компании или совмещает это с какой-то дополнительной деятельностью. И тут "посыпались" все боты, но каждый по-своему. Причём в формулировке вопроса было слово "вероятность", но боты, видимо, не умеют компоновать слова, опираясь на иное понимание условий, заданных другим словом, в данном случае "вероятностью". Вот тут-то и начинается настоящее сложное мышление! (У человека)

DeepSeek проявил своё китайское происхождение, указав на неясность контекста, и выдал ответ: "Иван работает в российской компании", потому что "в биографической справке нет указаний на то, что Иван работает в иностранной компании". Крутое мышление! Ну это очень смешно, на мой взгляд.

ChatGPT тоже бросился в пространные рассуждения о том, где Иван учился и чем увлекается, и на основании данных о том, что Иван интересовался культурой дебатов и критическим мышлением, а также изучал английский и испанский языки, бот выдал ответ про иностранную компанию.

YandexGPT их поддержал и тоже связал иностранные языки и критическое мышление с работой в западной компании.

И только патриотично-сберовский GigaChat трудоустроил Ивана в российскую компанию, обосновав, что "большинство выпускников отечественных вузов начинают карьеру в российских компаниях". Ни один бот даже не заикнулся о том, что здесь всё решается через базовые аксиомы теории вероятностей. Полный провал "мышления".

Последней задачей было задание на понятийное мышление, где требуется определить связь между двумя предлагаемыми понятиями и выбрать подходящую пару из четырёх других пар. И тут началась настоящая красота! Дана пара понятий "Чуткий" — "Бдительный". Какая из предложенных пар понятий логически подходит больше всего под отношения в предложенной паре? 

Озеро — река 

Испуг — бегство 

Арбуз — ягода 

Товарищ — приятель.

DeepSeek сломался и выдал "Испуг — бегство" с обоснованием: пара "чуткий — бдительный" отражает причинно-следственную связь: чуткость (восприимчивость) ведёт к бдительности (готовности действовать). Простим ему, ибо он наш, не очень хорошо говорящий по-русски, китайский товарищ.

ChatGPT реабилитировался за Ивана и выдал ответ "товарищ — приятель", объяснив это сходством понятий. YandexGPT начал бредить и ответил, что наиболее логически подходящей парой является "бдительный" — "испуг". Что там у него в нейросетях происходило, никто сказать не сможет.

GigaChat тоже смог оправиться от поражения с Иваном и выдал вполне корректное рассуждение о смысле понятий и правильный ответ "товарищ — приятель".

Затем я добавил ещё один вопрос, который задал всем сетям: я попросил их найти ошибку в классическом силлогизме про Сократа. Все сети ответили, что там нет ошибки и это правильное дедуктивное рассуждение. Тогда я стал им указывать на скрытую ошибку в виде кругового рассуждения, на которую указывали скептики. Так вот все сети сопротивлялись до конца, отказываясь её признать (круче всех была DeepSeek), но была одна, которая сразу сдалась и согласилась, что там ошибка, типа "ой, всё, не буду спорить" :)) Догадайтесь, какая! YandexGPT :))

Итак, подытоживая: боты не мыслят в том значении, которое применяется к людям. Они не "понимают" задачи на вероятность с описанием простых бытовых ситуаций. Так же у некоторых плохо с понятийным мышлением, что и не удивительно, учитывая, что они не мыслят никак, а лишь комбинаторно собирают из имеющегося массива данных. И у китайского бота база русских слов была недостаточно большой. Что у Yandex случилось, вообще непонятно. Человек, когда использует понятийное мышление, наделяет понятия реальным семантическим содержанием, происходящим из опыта, чего не может быть в принципе у машинных алгоритмов.

Тем временем Bank of China выделил на развитие "ИИ" 138 миллиардов долларов. Ну и ещё подтянулся Alibaba со своей Qwen2.5-1M, которая тоже опережает ChatGPT-4o.

Акции NVIDIA рухнули на 17% (-570 миллиардов долларов), потому что оказалось, что для работы крутых нейросетей не нужны их дорогие видеокарты и огромные зарплаты разработчикам, а обучение DeepSeek по слухам обошлось всего в 6 миллионов долларов. Посыпались акции и других технологических компаний (можно почитать у "Коммерсанта").

Страсти накаляются.

Источник: vk.com

Комментарии: