Группа российских ученых из Московского физико-технического института, Института искусственного интеллекта AIRI и Лондонского института математических наук предложила новаторский метод для обработки больших данных. Он позволяет искусственному интеллекту генерировать ответы на вопросы объемом до 2 млн токенов. На текущий момент это — мировой рекорд.
Исследование опубликовано в сборнике трудов конференции AAAI-24, которая ежегодно проходит в Ванкувере (Канада). Это одно из крупнейших глобальных событий в сфере изучения искусственного интеллекта.
Предложенный метод основан на особом механизме использования языковых моделей (алгоритмов для предсказания слова, знака или фразы на основе контекста). Такие модели лежат в основе современных диалоговых систем, поисковых сервисов и голосовых помощников.
При этом их программную часть составляют трансформеры — универсальные архитектуры, которые помогают выстроить правильный порядок действий при обработке запроса и генерации ответа. В частности, трансформеры позволяют нейросетям выполнять множество задач одновременно, что ускоряет их работу.
«Однако модели, которые используют стандартные трансформеры, не могут обрабатывать длинные тексты. Их скорость быстро падает, когда размер текста увеличивается. В результате нейросети приходят к пределам возможностей, выдают «галлюцинации» или ошибочные ответы», — сказал проблему один из авторов научной работы, программист-разработчик лаборатории нейронных систем и глубокого обучения МФТИ Айдар Булатов.
По его словам, чтобы обойти преграду, команда исследователей предложила добавить трансформерам «механизм памяти». Суть идеи в том, чтобы разделить длинные входные последовательности на сегменты и снабдить их дополнительными алгоритмами для резервирования информации. Эти элементы служат как бы «мостиками», по которым важные данные переносятся с предыдущего сегмента на следующий. Это позволяет языковой модели держать в «памяти» весь длинный текст на всем его протяжении. На следующем этапе программа уже может выполнять с «усвоенным» текстом различные операции, обрабатывая информацию в соответствии с запросами пользователей.
«Сначала мы проводили эксперименты на небольших последовательностях — от 7 до 15 сегментов, в каждом из которых по 500 токенов (базовых единиц информации в языковых моделях), но заметили, что качество обработки данных при увеличении длины не падает. Тогда мы продолжили тестирование модели и дошли до миллиона, а затем — и до двух миллионов токенов. Для сравнения это объем всех книг о Гарри Поттере», — сказал соавтор работы, научный сотрудник AIRI Юрий Куратов.
В ходе работы ученые также исследовали «интеллектуальные» способности модели, задавая ей задачи на обнаружение в длинных текстах нужных данных, на их запоминание и на «рассуждения» на основе усвоенного. При этом программа продемонстрировала не только способности удерживать в «памяти» массивы информации, но и навыки «критического мышления» и «писательского мастерства».
В дальнейшем, по мнению авторов работы, предложенный метод будет востребован для разработки технологий обработки больших баз данных. Например, для быстрого перевода книг, чтения программного кода, изучения геномных последовательностей или предсказания новых материалов.