OpenAi: теперь вы можете тренировать свою сверхумную модель Chatgpt на основе o1!

Анонс второго дня OpenAi: теперь вы можете тренировать свою сверхумную модель на основе o1!

Для превращения модели в эксперта в определенной области достаточно предоставить ей около 20 примеров задач с их решением. Впечатляет, правда?

Уже начали выдавать доступ различным университетам, чтобы они смогли заменить своих преподавателей 

Сегодня на стриме OpenAI представили reinforcement finetuning для o1 (RFT).

Этот метод отличается от обычного файнтюнинга (или файнтюнинга с учителем) тем, что он позволяет обучать модель думать определённым образом в конкретной области, важной для пользователя. Разработчики утверждают, что таким способом можно довести модель до экспертного уровня в нужной сфере, используя значительно меньший объём данных, чем требуется для стандартного файнтюнинга.

Файнтюнинг будет доступен непосредственно на платформе OpenAI: необходимо лишь выбрать режим “reinforcement” и загрузить набор данных (в ходе демонстрации использовался датасет всего из 100 образцов, что оказалось достаточным для получения хороших результатов, судя по графикам оценки качества).

Обычным пользователям эта функция станет доступна не раньше следующего года – сейчас она проходит закрытое тестирование среди университетов и бизнес-клиентов. Вероятно, стоимость этой услуги будет довольно высокой, однако результат обещает оправдывать затраты.