Яндекс разработал языковую модель для генерации текстов |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2021-06-04 19:22 Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях. В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной. Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать на вопросы и переводить тексты. Российские разработчики тоже работают над созданием нейросетей на архитектуре Transformer, но обученных для работы с русскоязычными текстами. В конце 2020 года разработчики из Сбера опубликовали русскоязычную версию GPT-3 с 760 миллионами параметров, а теперь русскоязычную языковую Transformer-модель представил Яндекс. Как и GPT-3, алгоритм YaLM (Yet another Language Model) от Яндекса обучен предсказывать следующее слово в текстовой последовательности. Совмещая предсказанные слова, модель может дополнять предложенное ей слово или предложение еще несколькими словами или предложениями. Для демонстрации работы алгоритма разработчики создали сервис «Зелибоба». В нем пользователь может ввести текст и получить от алгоритма продолжение. Также в «Зелибобе» можно выбрать стиль дополненного текста, например, тосты, подписи к постам в Instagram или пацанские цитаты. Авторы алгоритма создали несколько моделей, отличающихся количеством параметров — от 1 до 13 миллиардов (в «Зелибобе» используется версия с 3 миллиардами параметров). Все они обучались на разнообразных образцах русскоязычных текстов, среди которых были статьи из Википедии, книги, посты в социальных сетях и новостные заметки. Разработчики использовали как свои, так и общедоступные датасеты, в том числе Taiga и RDT. Представитель Яндекса сообщил N + 1, что в ближайшее время компания расскажет, в каких других сервисах планируется использовать новый алгоритм генерации текстов, других подробностей о возможном применении семейства YaLM не сообщается. В последние месяцы стали появляться нейросети с архитектоурой Transformer, использующие триллионы параметров. Первую такую сеть представили разработчики из Google, а на днях о создании такого алгоритма в Китае рассказали местные СМИ. Григорий Копиев Источник: nplus1.ru Комментарии: |
|