Убьёт ли ChatGPT экспертов и консультантов, включая лично Вас? – часть 3

В прошлый раз я написал, что неспособность ChatGPT давать индивидуальные рекомендации, а также его склонность к вранью, вызваны не мелкими огрехами обучения, которые можно исправить в следующей версии, а фундаментальной проблемой его архитектуры.

И обещал объяснить, что это за проблема.

Чтобы в этом разобраться, нужно понять, что представляет собой ChatGPT. А это всего лишь «T9 на стероидах», не более.

Как работает знакомый Вам по телефонам T9? Он пытается понять, какое слово Вы хотите набрать, исходя из тех букв, которые Вы уже нажали.

Поначалу он просто вытаскивал из словаря самое частотное слово, начинающееся с тех букв, которые Вы набрали до сих пор. Или, на смартфонах, три самых частотных слова.

Скажем, если Вы набрали буквы «за», он мог бы предложить Вам слова «закон», «заниматься» и «зачем» – поскольку они входят в число наиболее частотных слов, начинающихся с этих букв.

Потом создатели T9 освоили технологию «цепей Маркова» – и стали выбирать не просто «самое частое слово», а слово, которое чаще встречается в сочетании с предыдущим словом, которое Вы уже набрали.

Скажем, если Вы писали «Давай встретимся за», то эта версия T9 уже учитывала, что вряд ли Вы хотели написать «встретимся закон» или «встретимся зачем». И сразу предлагала слово «завтра» – как самое вероятное именно в этом контексте.

А следующая версия T9 уже начала вести статистику того, как пишет владелец устройства. И начинала предлагать то слово, которое в данном контексте используете чаще именно Вы – а к частотному словарю русского языка обращалась только в том случае, если статистики по Вашим текстам было недостаточно.

А следующая версия уже принимает во внимание, каким приложением Вы сейчас пользуетесь – и пытается угадать следующее слово ещё и с поправкой на то, пишете ли Вы SMS или текст для соцсети.

Так вот, технология GPT работает примерно так же. Она берёт текст запроса – и пытается прикинуть, какое слово должно стоять следующим. Потом берёт получившийся текст – и пытается предсказать следующее слово. И так – много раз.

Как же она делает это предсказание? На основании статистики для той огромной базы текстов, которую ей скормили в процессе обучения.

Поэтому на те вопросы, для которых существует типовой ответ, много раз повторённый в этой базе текстов, GPT умеет отвечать хорошо.

Если в разговоре о политике ей встречается слово «Дональд», она продолжит «Трамп», а если разговор был о мультфильмах, то она продолжит «Дак» – потому что оба сочетания встречались достаточно часто.

Но если каких-то смысловых сочетаний в учебных текстах не было, система начнёт буксовать – из-за отсутствия статистики, на которую она могла бы опереться. И начнёт выдавать что-то случайное.

Как двоечник на экзамене пытается загрузить преподавателя бессмысленным потоком слов, вставляя в него профессиональные термины, большей частью невпопад.

Если Вы зададите роботу вопрос «Может ли крокодил пробежать стометровку с барьерами?» – который, как Вы понимаете, у человека ни малейших сложностей не вызовет – то робот сможет что-то ответить о крокодилах, и что-то о спорте, но не сумеет сделать логический вывод, которого в базе текстов не было.

И точно так же, если Вы задали вопрос, ответ на который требует понимания предмета и экспертных знаний, а в базе текстов готового ответа не было – программа не может построить логические связи, не может сделать выводы, не может подогнать типовое решение под Вашу задачу...

Она всего лишь будет пытаться вычислить, какое слово в типовом тексте могло бы стоять следующим.

И если мы понимаем, как устроен ChatGPT, это позволяет нам заранее сказать, чего можно ожидать от этой архитектуры даже в версии 5.0 или 7.0 – потому что основные ограничения модели останутся теми же.

Если Вас в принципе устроят типовые рекомендации – такие, которые многократно публиковались в книгах и статьях, и которые можно было бы дать кому угодно – ChatGPT уже неплохо умеет выдавать такие рекомендации, и в будущем научится формулировать их ещё лучше.

Если же Вам нужны рекомендации, сформированные специально для Вас – этого от ChatGPT и подобных ему систем в ближайшие годы ожидать не стоит.

А к решению каких своих задач, деловых или бытовых, Вы уже успели приспособить ChatGPT или другую нейросеть

Источник: vk.com

Комментарии: