Что в основе планируемого OpenAI квантового скачка интеллекта GPT-5

Специнфодиета для подготовки бомжа-интеллектуала показать уровень чемпионов.

Утечки из OpenAI [1] раскрывают двухэтапный план компании по осуществлению в 2025 квантового скачка интеллекта их новой модели GPT-5.

1. Весьма вероятно, что до конца 2024 планируется выпустить, в качестве радикального обновления ChatGPT, новый ИИ под кодовым названием Strawberry (ранее обозначался Q*, что произносилось Q Star).

Скорее всего, будут объявлены три кардинальных улучшения нового ИИ по сравнению с GPT-4:

- достижение чемпионского уровня при решение задач математических олимпиад (при результатах 90%++ на тесте MATH);

- скачок в улучшении логических и дедуктивных способностей (решение алгоритмических головоломок), а также сложности решаемых задач программирования (оптимизация кода);

- появление специальных механизмов долгосрочного планирования и имитации стратегического мышления.

2. Вышеназванные кардинальные улучшения нового ИИ призваны обеспечить достижение двухчастной цели:

А) Переключение на себя пользователей конкурирующих моделей.

Б) Формирование обширного нового корпуса качественных синтетических данных, на которых пройдет дообучение модель нового поколения, разрабатываемая в рамках проекта Orion. Именно эта дообученная на качественных данных модель может быть представлена в 2025 широкой аудитории под маркой GPT-5.

Сей двухэтапный план мог быть разработан для решения самой критичной проблемы больших языковых моделей – их галлюцинаций.

• Решающим фактором для минимизации галлюцинаций, является качество обучающих данных.

• Почти все существующие модели обучаются на смеси данных, в которых значительную часть составляют данные со всевозможных интернет-помоек. Эта проблема разбирается мною в 1й части только что опубликованного лонгрида «Бомж-интеллектуал – как ИИ превращает мусор в золото знаний» [2].

• Проблема замены мусора в обучающих корпусах данных на ценную информацию сейчас первоочередная для повышения интеллекта моделей. Для ее решения IBM, например, идет путем генерации спецданных под класс задач [3]. Но в OpenAI, похоже, решили сорвать банк, используя для генерации синтетических данных мировое сообщество «любителей клубнички» - их новой модели Strawberry.

Получится это у OpenAI или нет – увидим в 2025.

Но идея хитрая и, скорее всего, продуктивная – заставить сотни миллионов пользователей генерировать океаны данных, из которых, путем очистки и обогащения, будет готовиться синтетический инфокорм для новой супер-модели.

А почему нет? Ведь у спортсменов это работает: высокоуглеводные диеты для марафонцев, высокобелковые диеты для бодибилдеров, кетогенные диеты для улучшения выносливости, а также вегетарианские или веганские диеты, адаптированные под высокие физические нагрузки.

Так зачем же продолжать скармливать ИИ обучающие данные с инфо-помоек, если можно посадить модель на высокоинтеллектуальную инфо-диету синтетических данных?

Видеоподробности [4]

Картинка https://telegra.ph/file/ea63f99104dfaee5866d5.jpg

1 https://www.theinformation.com/articles/openai-shows-strawberry-ai-to-the-feds-and-uses-it-to-develop-orion

2 https://t.me/theworldisnoteasy/1997

3 https://www.ibm.com/granite

4 https://www.youtube.com/watch?v=XFrj0lCODzY

Источник: www.youtube.com

Комментарии: