Нейросеть подражает текстам в интернете. Не относитесь к написанному серьёзно

Внутри Балабобы — разработанная командой Яндекса языковая модель YaLM (Yet another Language Model), вдохновленная GPT-3 от компании OpenAI и другими языковыми моделями на архитектуре Transformer. У такой модели ровно одна задача — генерировать каждое последующее слово в предложении. Чтобы текст получился связным и грамматически правильным, во время обучения модель оценивает каждое предсказанное слово: например, решает может ли после «Мама мыла...» идти слово «бегать» или слово «раму».

Запоминать все правила языка и подбирать подходящие слова Балабобе помогают заложенные внутри языковой модели YaLM параметры, которые меняются в зависимости от того, правильно или неправильно предсказывается слово. Сравнить их можно с маленькими рычажками, каждый из которых нужно повернуть в разные стороны, чтобы запустить механизм. В семействе языковых моделей YaLM таких рычажков — от 1 до 13 миллиардов, а в Балабобе используется модель с 3 миллиардами.

Чтобы написанные Балабобой тексты были не только грамматически правильными, но и лексически разнообразными, мы использовали терабайты данных. YaLM обучена на части индексируемых Яндексом страниц рунета, включая не только Википедию, новостные статьи и книги, но и открытые записи пользователей социальных сетей и форумов. Чтобы не перегружать модель, из выборки вычистили повторяющиеся, незаконченные и неестественные тексты.

Но главная особенность YaLM — умение учиться новому всего на нескольких примерах: чтобы языковая модель написала осмысленные отзывы на фильмы, тосты для застолья или теории заговора, ей хватит от пяти до нескольких десятков примеров того, как такие тексты надо писать. Именно это вы можете наблюдать при выборе стилизации: например, чтобы научить Балабобу генерировать простые рекламные слоганы для любых объектов, мы «скормили» ему несколько известных примеров, среди которых, конечно, — наше знаменитое «Найдется всё».

Источник: yandex.ru

Комментарии: