Золотые публикации о проблемах языковых моделей

Меня зовут Татьяна Шаврина, я — лид команды NLP в Институте AIRI. Мы исследуем большие языковые модели и развиваем методы на стыке ИИ и лингвистики. В этом посте я собрала золотые, на мой взгляд, публикации, которые рассказывают о проблемах языковых моделей.

Интересная статья про масштабирование языковых моделей и закон Мура (https://bit.ly/43brLdw). Нейросети требуют больших вычислительных мощностей. Что будет дальше, если отмасштабировать наш прогресс? В статье классно описаны три расхожих утверждения об ИИ. Перед прочтением рекомендую посмотреть это видео (https://bit.ly/3BXh6Hb), так как по тексту автор пытается разобраться, что из сказанного там правда.

Проблемы современного машинного обучения — системное описание, позволяющее быстро понять, какие ограничения встречаются на пути разработки моделей сейчас (https://bit.ly/43bi12M). Для NLP можно придумать ещё много всего, зато тут масса актуального для LLM.

Подробная статья про обучение самой большой модели для русского языка — YaLM на 100 млрд параметров (https://bit.ly/3OGRANX). Хорошо написано о том, как модель обучалась и ускорилась в два раза. Хотя, конечно, хочется увидеть бенчмарк-метрики на прикладных задачах.

С командой в прошлом году поучаствовали в создании самой большой open-source языковой модели на 176 млрд параметров и 59 языков мира, BLOOM. Как исследователи мы занимаемся оценкой и интерпретацией LLM. Именно многоязычная аналитика результатов BLOOM — наша часть в международном проекте на 400+ авторов.

Мы работаем и над тем, чтобы масштабировать языковые модели на все языки мира, ведь сейчас они обучаются, в основном, на самых популярных. На Хабре постараемся больше рассказывать о малых языках России, с которыми работаем.

Сам себя не похвалишь… Хочу тут поделиться и своей статьёй про подходы zero-shot и few-shot в генерации, а также о том, как готовить генеративные модели, чтобы без обучения решать различные прикладные задачи (https://bit.ly/3WECg6r). В институте мы используем zero-shot- и few-shot-методы для фундаментальных исследований. Нам интересно, как сделать определённую технологию с применением этих методов для малых языков России и какие задачи вообще можно решать с их помощью.

А ещё статья — пересказ работы Франсуа Шолле: как оценивать самые разные интеллектуальные системы и почему мы всё ещё не можем адекватно измерить интеллект (https://bit.ly/45tVYWx). Рекомендую главу о том, что ожидать от идеального теста ИИ, и про первую попытку сделать такой тест. В прошлом году проводили с коллегами воркшоп по этой же теме (https://bit.ly/3MxlIc5). Надеемся сделать ещё мероприятия, посвящённые нашим направлениям исследований, — будем держать в курсе!

В AIRI мы часто работаем с «мышлением» нейросетей: исследуем логику моделей и смотрим, противоречит ли она теоретическому представлению о языке. Наши исследования позволяют понять, как учёные структурируют понимание о мире. Скоро расскажем об этом на Хабре, а также о том, как нейросети ищут информацию и обрабатывают данные. Подписывайтесь и следите за обновлениями ? https://bit.ly/3ID7SUs

Источник: habr.com

Комментарии: