Соревнование алгоритмов классификации лесных пожаров

Задача

Необходимо по информации о точке температурной аномалии, классифицировать тип пожара (по классификации МЧС). Решение должно быть реализовано в виде программы, которая принимает на вход CSV таблицу с точками (координаты latitude, longitude и дата получения точки date). На выход необходимо формировать таблицу с вероятностями по каждому из 11 классов (колонки fire_1_prob, fire_11_prob).

Критерий качества

Решение представляет собой архив с кодом, который запускается в контейнерном окружении Docker. Валидация решений происходит на новых точках, поступающих из автоматизированной системы. Качество решения оценивается по набору точек за определенный заранее оговоренный период времени. Метрика качества — Micro-averaged Multi-Class ROC-AUC посчитанный по всем типам пожаров (11 классов).

Призы

Призовой фонд - 700 000 ?.
Команда-победитель получит 300 000 ?, второе место получит 200 000 ?, команда, занявшее третье место, получит 100 000 ?. Кроме того, лучшее публичное решение, опубликованных на github, получит дополнительный приз жюри в 100 000 ?.

Данные для соревнования

Для построения решений, участникам доступна историческая выгрузка из базы МЧС, а также наборы открытых данных:

• NCEP Reanalysis 2 - исторические погодные данные;
• FIRMS - данные о температурных аномалиях NASA;
• ESRL PDF - климатические данные NOAA Earth System Research Laboratory (ESRL).

В процессе обучения моделей и подготовки решений участники могут использовать любые доступные открытые источники данных. Однако, только данные 3 источника будут иметь доступные актуальные данные во время тестирования решений, включая финальной тестирование в реальном времени для определения победителей соревнования.

Формат решений

В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. Участнику нет необходимости разбираться с технологией Docker.

В корне архива обязательно должен быть файл metadata.json следующего содержания:

 {
"image": "<docker image>",
"entrypoint": "python classify_thermopoints.py $PATH_INPUT/input.csv $PATH_OUTPUT/output.csv"
}

Здесь image — поле с названием docker-образа, в котором будет запускаться решение, entry_point — команда, при помощи которой запускается решение. Для решения текущей директорией будет являться корень архива.

Во время запуска, в переменной окружения DATASETS_PATH расположен путь к актуальным открытым наборам данных, которые доступны из контейнера с решением.

Участникам предоставляется пример корректного baseline решения от организаторов. Дополнительные материалы для участников доступны на github странице соревнования.

Процесс проверки решений

1. Check-фаза
Решение запускается на малом наборе исторических данных. Этот запуск необходим для того, чтобы протестировать решение на наличие ошибок в коде и во взаимодействии с проверяющей системой. Вывод stdout/stderr и результат проверки полностью доступны участнику.

2. Public Test
Решение запускается на скрытой части исторических данных, доступных только организаторам. В случае, если отправленное решение отработало некорректно, участник получает только итоговое сообщение о причине. сбоя в работе решения. Результаты на Public test отражают успешность решений на закрытых данных по ходу соревнования и используются для отслеживания прогресса самими участниками.

3. Live Test
Финальные решения участников на протяжении 14 дней ежедневно запускаются на новых точках температурных аномалий. В результате работы решения в реальной обстановке на новых данных, на основе результатов формируется финальный рейтинг, по которому подводится итог соревнования.

FAQ

Как поучаствовать в соревновании?

Пройти регистрацию, заполнив форму. Разработать свое решение. Загрузить решение. Посмотреть, как ваше решение выглядит на фоне других. Решения можно улучшать и загружать снова.

Какие будут призы?

Первое место — 300 000 рублей, второе место 200 000 рублей, третье место 100 000 рублей. Также доступна специальная номинация за лучшее публичное решение, выложденное на github, победитель в которой получит 100 000 рублей.

Участие бесплатно?

Да, регистрация и участие бесплатны.

Соревнование индивидуальное, или разрешены команды?

Участники могут организовывать команды до 4 человек. Все участники команды должны быть зарегистрированы и быть отражены в команде на платформе.

Можно присоединиться к участию позже?

Да. Загрузка решений будет доступна до 23:59:59 1 декабря по московскому времени включительно.

Организован ли для участников выбор финальных решений?

Да. Участникам необходимо в своем кабинете выбрать до 2 финальных решений, по которым пройдет итоговая оценка решений. Результат лучшего из двух выбранных будет итоговым результатом конкурса.

Как будут оцениваться решения?

Решения оцениваются автоматически, на основе запуска на закрытых тестовых данных, и их сопоставления с истинными ответами, доступными только организаторам.

Как происходит определение победителя соревнования?

После завершения приема решений, выбранные участниками финальные решения будут ежедневно, на протяжении 14 дней, запускаться на новых поступающих данных с автоматизированных систем слежения. Итоговый рейтинг будет строиться на основе проверки решений на новых данных.

Когда будут определены победители?

Итоговый рейтинг решений, включая призовые места и специальную номинацию, будет определен и размещен на сайте до 23:59 16 декабря.

Будет ли церемония награждения победителей?

Да. Церемония награждения победителей пройдет в Москве 20 декабря на специальном мероприятии в ПАО Сбербанк. Информация о мероприятии и регистрации на него появится позже.

Кто может претендовать на денежный приз?

В соревновании с правом получения денежного приза могут участвовать дееспособные граждане РФ, достигшие 18 лет и не являющиеся сотрудниками ПАО Сбербанк, дочерних и зависимых обществ. Участники соревнования, попадающие под эти ограничения, могут отправлять решения, но без права претендовать на денежный приз.

Если ли другие ограничения на участие в соревновании?

К участию в соревновании не допускаются лица, прямо или косвенно участвующие в подготовке задач, данных, а также организации проведения данного Конкурса. Согласные с правилами участники соревнования, подпадающие под это ограничение, могут отправлять решения, однако они не могут претендовать на денежный приз.

Источник: wildfire.sberbank.ai

Комментарии: