«Слаженная работа команды, чёткое понимание задач и коллективный разум»: как прошел первый совместный хакатон по ИИ НИУ ВШЭ и «Школы 21»

Нижегородский кампус НИУ ВШЭ и «Школа 21» провели первое совместное мероприятие – хакатон по искусственному интеллекту. В течение двух дней команды студентов и молодых ИТ-специалистов работали над разработкой решений для чат-бота. Виртуальный собеседник создается в рамках стратегического проекта «ИИ-сотрудник учебного офиса» в НИУ ВШЭ – Нижний Новгород.

Старт хакатону был дан после подписания соглашения между нижегородской Вышкой и «Школой 21» в Нижнем Новгороде – школой цифровых технологий от Сбера. Документ подписали директор нижегородского кампуса «Школы 21» Александр Пересыпкин и директор НИУ ВШЭ – Нижний Новгород Анна Бляхман.

Партнерство направлено на развитие образовательных и научных инициатив в сфере цифровых технологий.

Анна Бляхман, директор НИУ ВШЭ – Нижний Новгород

Опираясь на передовые знания ведущих исследователей, мы учим студентов применять и разрабатывать технологии, а затем на основе этих технологий создавать продукты и сервисы. Объединение усилий со «Школой 21» позволит совместно готовить высококвалифицированных специалистов в сфере информационных технологий в соответствии с концепцией Long Life Learning – независимо от возраста, статуса и базового образования.

Идея первого совместного мероприятия – хакатона по искусственному интеллекту –принадлежит нижегородской Вышке. Уже второй год в НИУ ВШЭ существует старегический проект программы «Приоритет 2030» по созданию ИИ-помощника для сотрудников учебного офиса – чат-бота, отвечающего на вопросы студентов. И основная задача хакатона – привлечь к этому проекту активных и креативных студентов, чтобы развивать чат-бот и сделать его интереснее и полезнее для целевой аудитории.

Александр Пересыпкин, директор «Школы 21» в Нижнем Новгороде

Мы объединяем усилия по подготовке ИТ-специалистов с лучшими вузами страны. В кампусе НИУ ВШЭ в Нижнем Новгороде студенты изучают цифровую трансформацию промышленных предприятий и других сфер бизнеса. Уверен, что опыт коллег поможет нам найти новые подходы к обучению, сделать его еще более практико-ориентированным. Например, совместный хакатон уже привлек внимание студентов НИУ ВШЭ и участников «Школы 21». Мы продолжим проводить подобные мероприятия, чтобы давать больше возможностей для развития ИТ-навыков будущих цифровых инженеров.

Наталья Асеева, декан факультета информатики, математики и компьютерных наук

Мы рады, что «Школа 21» поддержала эту инициативу, ведь тема ИИ-помощников сейчас актуальна во многих сферах. Мы можем предложить студенческие разработки, а наши партнеры – свою замечательную инфраструктуру для проведения хакатонов и экспертизу.

Наши цели со «Школой 21» во многом совпадают, и мы видим друг друга как взаимодополняющие организации: Вышка дает фундаментальное образование, а «Школа 21» сильна в практико-ориентированных методиках. Это сотрудничество позволит нам обогатить учебный процесс, предлагая студентам больше интересных и разнообразных форматов, ориентированных на практику.

В зависимости от трека задачи для участников были сформулированы следующим образом:

1. Создать сервис, который собирает метрики качества работы чат-бота (в т.ч. корректность, релевантность, точность контекста), анализирует пользовательскую удовлетворённость (лайк/дизлайк) и отображает результаты в виде интерактивного дашборда (Streamlit/Dash)
2. Провести fine-tuning чат-бота, чтобы он автоматически следовал инструкциям, прописанным в системном промпте без дополнительных указаний.

Из ограничений при решении этих задач организаторы назвали только авторские права и фантазию.

Победителями Хакатона и обладателями гран-при стала команда «MadDev»: Мария Спасюк, Даниил Холяк, Денис Степанов, студенты 3 курса программы«Прикладная математика и информатика».

Ребята выиграли оплачиваемую стажировку в команде Стратегического проекта по ИИ НИУ ВШЭ – Нижний Новгород.

Мария Спасюк, студентка 3 курса программы «Прикладная математика и информатика»

Наша команда реализовала дашборд (графический интерфейс), который предназначен для анализа качества ответов, которые модель выдаёт пользователям чат-бота. На дашборде приведена различная статистика запросов студентов по кампусам, уровням обучения, темам вопросов. Также на дашборде представлены посчитанные метрики качества ответов, которые позволяют выявить проблемы в работе модели. Например, узнать, на какие вопросы модель в чат-боте отвечает полноценно и правильно, а с какими у неё возникают проблемы, сколько времени занимает подготовка ответа и т.д.

Помимо мониторинга качества модели через дашборд мы ещё разработали свою метрику для отслеживания галлюцинаций модели. Например, когда ответ кажется правдивым и полным, а по факту там есть неверная информация.

Наша метрика учитывает различные составляющие ответа модели и контекста документов вуза, на основе которого и строится этот ответ. Мы учитывали, насколько полный ответ модели в сравнении с контекстом, соответствует ли ответ тем темам вопроса, которые выбрал пользователь, согласуется ли ответ модели по смыслу с контекстом и является ли ответ модели следствием/опровержением информации в контексте. Учитывая все эти моменты, в зависимости от полученного значения метрики, ответ модели оценивается как надёжный или рискованный.

Наш дашборд позволяет в реальном времени отслеживать качество ответов модели в чат-боте. Диаграммы постоянно обновляются, показывая актуальную статистику. Также есть возможность выбрать по фильтрам кампус, уровень обучения и категорию вопроса, чтобы было удобно отслеживать различные показатели (количество вопросов, среднее время ответа, качество ответа и др.) и выявлять проблемы в работе модели.

Что касается придуманной метрики, она поможет фиксировать те случаи, когда модель даёт убедительный ответ, который на самом деле является неверным, тем самым путая пользователя, не знакомого с правилами вуза. Отслеживание и исправление таких ситуаций поможет улучшить работу чат-бота.

Победить нам помогла слаженная работа нашей команды, чёткое понимание своих задач и коллективный разум.

Призерами хакатона стали:

Трек «Автоматический мониторинг качества ИИ-модели через дашборд» – команда «Wind Blows»: Кирилл Воронин, Эдгар Ахтямов, Илья Эсаулов, Матвей Комаров, Александр Удовенко, Павел Старостин (студенты 3 курса программы «Бизнес-информатика»).

Трек «Fine-Tuning ИИ-модели для системного промта» – команда «Промт программисты»: Лев Пестов, Руслан Мухаметшин, Артем Тартаковский, Семён Бакулев, Вадим Береснев, Владислав Ли (студенты 2 курса программы «Компьютерные науки и технологии»).

Кирилл Воронин, студент 3 курса программы «Бизнес-информатика»

Наша команда разработала сервис-дашборд, на котором наглядно можно отслеживать ключевые показатели работы чат-бота, например, качество ответа ИИ модели и значимость отдельных переменных в итоговой удовлетворенности пользователя.

Победить в этом хакатоне нам помогла слаженная работа в команде, когда мы прислушивались к мнению и идеям каждого участника, а также наши ключевые навыки, которые дополняли друг друга.

Специальный приз от Школы-21 получила команда «Wiwin»: Анастасия Шепшелюк, Ирина Кукушкина, Тимофей Макаров, Артём Юрьев, Александр Меньков, студенты 2 курса программы «Компьютерные науки и технологии».

И еще одна команда получила поощрение от Школы-21 за самую милую презентацию – «KINDER BUENO»: Константин Виноградов, Софья Субботина, студенты 2 курса программы «Компьютерные науки и технологии».

В планах у НИУ ВШЭ – Нижний Новгород и «Школы 21» – проведение совместных исследований, семинаров, конференций, круглых столов, а также организация стажировок для студентов вуза.

Борис Улитин, академический руководитель программы «Компьютерные науки и технологии»

Участники хакатона были с разных направлений и программ обучения. Но такое разнообразие бэкграунда участников позволило получить более разнообразные и в чем-то даже нестандартные решения в обоих треках.

По итогам хакатона мы планируем привлечь команды победителей и призеров к работе над ИИ-помощником для студентов НИУ ВШЭ и уже в этом году внедрить получившиеся решения.