Продолжаем знакомить вас с аналогами ChatGPT — чат-ботами, основанными на опенсорных нейросетевых моделях

Продолжаем знакомить вас с аналогами ChatGPT — чат-ботами, основанными на опенсорных нейросетевых моделях. Они отвечают на вопросы, пишут посты для социальных сетей, решают математические задачи и делают многое другое. Изучим их возможности и, конечно, опробуем на практике.

Сегодня рассмотрим DeepSeek.

Ещё одна опенсорсная разработка из Китая, созданная стартапом DeepSeek в 2023 году. Команда из 14 человек презентует себя как «китайскую компанию, стремящуюся сделать AGI реальностью».

DeepSeek предоставляет доступ к двум чат-ботам: один — для бесед на произвольные темы, второй — для решения задач, связанных с программированием. На данный момент они оба находятся на стадии альфа-тестирования. Поэтому могут работать нестабильно.

Основными языками бота являются английский и китайский. С последним он справляется даже лучше, чем GPT-3.5. Но чат-бот поддерживает и другие языки, включая русский.

Создатели DeepSeek утверждают, что их модель в ряде тестов работает лучше LLaMA 2 70B, на базе которой она была создана, в таких областях, как написание кода, решение математических задач и работа с китайским языком.

Что у DeepSeek под капотом?

Семейство языковых моделей DeepSeek представлено нейронками в трёх типоразмерах: 7, 33 и 67 миллиардов параметров. За чат с пользователем отвечает самая крупная из них — DeepSeek Chat. Все LLM являются переделанными и дообученными вариантами LLaMA 2.

Исследователи отмечают, что для тренировки моделей был использован датасет состоящий из двух триллионов токенов на английском и китайском языках. Часть из них включала информацию о математических действиях.

Нейронки на 7 и 33 миллиарда параметров получили название DeepSeek Coder и предназначены для разработчиков. Их обучающий датасет состоял на 87% из программного кода и на 13% — из текстов на естественном языке. Во время обучения нейросетей их создатели подавали на вход дополнительные задачи заполнения пустых полей. Благодаря этому чат-бот умеет завершать программный код за разработчика.

Пользователь в интерфейсе может переключаться между двумя вариантами нейросети — Chat и Coder. В последней используется версия на 33 миллиарда параметров.

Для доступа к чат-боту необходимо зарегистрироваться. Проще всего это сделать при помощи существующего Google-аккаунта. Однако можно воспользоваться и вариантом регистрации с указанием электронной почты.

Источник: vk.com

Комментарии: