Как искусственный интеллект написал «Тотальный диктант»

Ученые НГУ проанализировали ошибки, полученные искусственным интеллектом в «Тотальном диктанте». Результат превзошёл ожидания разработчиков.

Искусственный интеллект «Писец» был разработан научным сотрудником Лаборатории прикладных цифровых технологий Международного научно-образовательного математического центра НГУ и сооснователем стартапа «Сибирские нейросети» Иваном Бондаренко. Впервые искусственный интеллект соревновался в грамотности с человеческим в рамках задачи диктанта, и создатель «Писца» предполагал, что положительной оценки тот не получит — скорее всего, система допустит минимум орфографических ошибок, однако с расставлением знаков препинания вряд ли справится.

Разработчикам «Писца» было важно собрать статистику о разнообразии совершаемых им ошибок и неточностей, чтобы в дальнейшем усовершенствовать систему. Результаты оказались неожиданными, но закономерными – «Писец» вполне удовлетворительно расставил запятые и разбил текст на абзацы. Для этого его специально научили улавливать в речи «кодовые фразы» вроде «пишем с красной строки» или «переходим на новый абзац». В этих целях использовалась отдельная нейросеть, обученная на базе Longformer выделять такие «внесюжетные» вставки.

Проверяла диктант, написанный искусственным интеллектом, старший преподаватель кафедры источниковедения литературы и древних языков Гуманитарного Института НГУ Людмила Буднева.

— «Писцу» вполне можно было бы поставить твердую «тройку», если бы не несколько обстоятельств. Из 276 слов диктанта он пропустил 6. 5 из которых стояли в конце предложения, причем в этих случаях он не ставил точку, но следующее предложение начинал с заглавной буквы. В одном месте пропустил предлог «в», шедший предпоследним в предложении. Еще 7 слов им было услышано неверно. Например, вместо «наивысшего» искусственный интеллект написал «наявившего». Другой пример словотворчества — «кальиончатых» вместо «клеенчатых». Встретилось и неверно услышанное выражение «Читай — не хочу». Вместо него написано «Считай, не хотите», свидетельствующее и о проблемах с грамматикой. С грамматикой обнаружились еще проблемы в написании окончаний — «синями» (вместо «синими») и «портрет ... гимназисткЕ» (правильно: «портрет … гимназистки»), что уже засчитывается за орфографическую ошибку. Еще одна «ослышка» привела к искажению смысла предложения, но в итоге было все же написано правильно. Это последнее предложение предпоследнего абзаца. «Писец» вместо «так» написал «та». Получилось сложносочиненное предложение, где он поставил запятую, в итоге возникла речевая ошибка. Аналогичная грамматическая ошибка: вместо слова «способны» написано «способный» и вышло «как способный лишь немногие», — разобрала ошибки «Писца» Людмила Буднева.

Был сделал вывод: в тех местах, где «Писец» все слова услышал верно, он написал диктант хорошо — на границе между «тройкой» и «четверкой». Такого результата его разработчики не ожидали.

— Результаты работы «Писца» оказались выше, чем прогнозировалось. Изначально он разрабатывался год назад для автоматического стенографирования звукозаписей интервью или защит диссертаций. Соответственно, даже 20-30 % ошибок в расшифрованных текстах — это уже тот уровень, который позволяет человеку гораздо быстрее подготовить чистовой текст стенограммы, чем если бы он писал его «с нуля», прослушивая запись полностью самостоятельно. Но для диктанта 20 % ошибок — это неприемлемо, это «двойка». Поэтому в последнюю неделю перед «Тотальным диктантом» мы занимались адаптацией «Писца» к специфике диктанта, а также вносили в него принципиальные улучшения, основанные на результатах наших исследований за последний год. Результаты новой версии на «Тотальном диктанте» подтверждают, что «Писец» стал инвариантнее и умнее, — объяснил Иван Бондаренко.

Источник: vk.com

Комментарии: