MineralImage5k: эталон для визуального распознавания и описания необработанного минерального сырья.

Коротко

Распознавание изображений минералов является сложной задачей компьютерного зрения. Без внешних инструментов даже эксперт-человек не может точно различить некоторые виды минералов. Предыдущие исследования были в основном сосредоточены на распознавании обработанных минералов. Это считается упрощенной постановкой задачи, поскольку обработанные минералы визуально более выразительны. Наоборот, в сырьевом образце целевой минерал может проявляться в виде слабопредставленных включений. В реальной жизни необработанные образцы обычно требуют автоматической идентификации видов минералов.

Еще одной трудностью в распознавании минерального сырья является нехватка общедоступных данных для обучения и проверки. Невозможно сравнивать разные подходы к глубокому обучению, когда результаты оцениваются на разнородных данных.

Основным вкладом этой статьи является предоставление открытого эталона для визуального распознавания необработанного минерального сырья. Помимо набора данных для нулевой классификации, предназначенного только для оценки, мы публикуем подмножества для сегментации, оценки размера минералов и классификации с несколькими выбросами. Для всех предоставленных проблем компьютерного зрения мы публикуем базовые решения, которые мы предлагаем сообществу для улучшения.

Введение

В природе известно около 6000 минералов и их разновидностей. Только пара сотен из них являются породообразующими, и еще несколько сотен представляют интерес для промышленности. Остальные минералы настолько редки, что пока встречаются только в единичных зернах. Большинство минералогов никогда не видели эти редкие минералы или видели их только на фотографиях.

Диагностика полезных ископаемых является неотъемлемой частью геологических работ. С его помощью возможно геологическое картирование и поиск месторождений. Однако точная идентификация минерала — сложная и трудоемкая задача, требующая высокого мастерства. На пробоподготовку и различные виды анализов геологи тратят от 30 минут до нескольких дней на пункт. При огромном объеме геологических образцов любая оптимизация этого процесса кажется привлекательной. В геологии очень распространена визуальная диагностика минералов и горных пород с последующей выборочной инструментальной проверкой. Такой подход обеспечивает значительную экономию времени. Однако простая визуальная диагностика содержит 10-20% ошибок даже при проведении опытными минералогами. Привлечение искусственного интеллекта к визуальной диагностике может помочь решить две задачи: (1) высвободить время профессиональных минералогов на решение рутинных задач и (2) помочь выявить явные ошибки в визуальной диагностике. Для этих целей наиболее актуальна диагностика минералов в пробах сырья, так как она не требует дополнительных трудозатрат на их подготовку. Если удастся решить такую задачу и создать алгоритм, позволяющий проводить визуальную диагностику полезных ископаемых на уровне рядового геолога, то это позволит в будущем создать поисковых роботов, которые могли бы автоматически исследовать труднодоступные места на Земле и, возможно, на других планетах. Методы ИК-спектроскопии, рамановской спектроскопии и дистанционного химического анализа горных пород и минералов активно используются для изучения других планет. Добавление возможности визуальной диагностики минералов поможет в выборе объектов для анализа и значительно расширит возможности исследовательских программ.

Вклад этой статьи заключается в следующем: мы предоставляем открытый эталон для визуального распознавания необработанных минералов; мы публикуем подмножества для сегментации, оценки размера минералов и классификации нескольких выстрелов; для всех предоставленных задач компьютерного зрения мы публикуем базовые решения.

Новинка заключается в крупномасштабном многозадачном наборе данных, сопровождаемом базовыми решениями. Насколько нам известно, мы первыми применили методы нулевого выстрела для распознавания минералов. В работе показано, что для корректного сравнения методов распознавания минералов необходимо иметь унифицированные данные для экспериментов. Знания плохо переносятся между наборами данных о полезных ископаемых из-за смещения домена.

При этом в большинстве статей используются разные подмножества с разными размерами. Одна из причин этого кроется в ограниченных вычислительных ресурсах исследователей. Наш набор данных позволяет выбрать подмножество разного размера и сложности. Таким образом, за стоимость экспериментов по распознаванию минералов исследователи могут найти подмножество нашего набора данных, которое соответствует их потребностям.

Оставшаяся часть теста организована следующим образом. Раздел 2 содержит всесторонний обзор существующих наборов данных изображений минералов и методов визуального распознавания минералов. Раздел 3 описывает представленный набор данных, включая сбор данных, фильтрацию данных, предварительную обработку изображений и доступные аннотации. В разделе 4 представлены результаты классификации минералов с малой и нулевой фракциями. В разделе 5 показана базовая линия для оценки размера минералов при нулевом выбросе. Раздел 6 содержит результаты сегментации минералов нулевой пробой.

Фрагменты раздела

Литературный обзор

Методы глубокого обучения доказывают свою эффективность для автоматического распознавания объектов. В общей области нейронные сети обычно легче применять, чем в предметно-ориентированных случаях (Илларионова и др., 2022b). Основным ограничением для их успешного применения является нехватка обучающих данных для конкретных задач (Nesteruk et al., 2022). Доступность наборов данных по конкретным предметным областям очень важна (Илларионова и др., 2023). Для многих задач компьютерного зрения перенос обучения из связанного набора данных является более

Сбор набора данных

Использовали набор данных Минералогического музея им. Ферсмана (http://www.fmm.ru). Фонды музея содержат более 170 тысяч образцов (около 5000 видов минералов). Это одна из крупнейших минералогических коллекций в мире. Первая электронная база данных, содержащая описания образцов, была создана в 1996 году. В течение нескольких лет в нее переносились записи из старых картотек. В 2017 г. в Музее создана новая информационная система на основе семантической сети (Плехов и др., 2019). Новый

Классификация малорудных минералов

В таблице 3 мы приводим результаты классификации для наборов данных 10, 98 и 360 классов. Мы сравниваем различные типы моделей и различные входные разрешения. Сообщаемая метрика — это топ-N точности с

. Обычные модели классификации сортируют возможные ответы в соответствии с их достоверностью. Показатели Top-N для данной выборки учитывают, находится ли правильный ответ в пределах первых прогнозов модели, и в противном случае.

Мы сравниваем следующие модели классификации: ResNet50 (He et

Оценка размера минералов с нулевым выбросом

Помимо классификации, мы изучаем оценку размера минералов нулевой пробой. Автоматическая оценка размера образца важна для процедур хранения музейных образцов. По фотографии мы можем получить примерную длину и ширину образца, что соответствует минимальному размеру коробки, в которой этот образец может храниться. Имея эти данные по всем образцам, мы можем продумать оптимальную систему хранения, а также закупить или изготовить ящики нужного размера в нужном количестве. Теперь, измеряя

Сегментация минералов с нулевым выстрелом

В Лю и соавт. (2021) и Jia et al. (2021) они уже предлагали применять методы на основе GradCAM для визуализации моделей классификации минералов. Однако, насколько нам известно, мы первыми предложили сегментацию полезных ископаемых с помощью GradCAM.

GradCAM — это метод, который пытается объяснить предсказание модели классификатора для конкретного изображения. Идея заключается в том, чтобы определить пиксели, которые сильно влияют на решение классификатора. Мы предполагаем, что важные пиксели больше

Заключение

Распознавание полезных ископаемых в реальных условиях остается сложной проблемой. Чтобы помочь геологу или непрофессионалу с его автоматизацией, нам нужен надежный и неинвазивный метод. Самый доступный подход — применить компьютерное зрение. Обычной камеры, имеющейся в любом смартфоне, достаточно, чтобы рассмотреть образец без разрушения.

Однако многие сложности не позволяют получить высший балл. Они включают высокую межклассовую изменчивость в сочетании с низкой разницей между некоторыми

Заявление об авторском вкладе CRediT

Сергей Нестерук: Администрирование проекта, Концептуализация, Методология, Валидация, Курирование данных, Написание – первоначальный вариант, Визуализация. Юлия Агафонова: Программное обеспечение, Формальный анализ, Исследование, Визуализация. Игорь Павлов: Курирование данных, Программное обеспечение, Формальный анализ, Исследование. Максим Герасимов: Программное обеспечение, Формальный анализ, Исследование, Визуализация. Николай Латышев: ресурсы, валидация. Денис Димитров: Надзор, Валидация. Андрей Кузнецов: Надзор, Валидация. Артур Кадурин:

Заявление о конкурирующих интересах

Авторы заявляют, что у них нет известных конкурирующих финансовых интересов или личных отношений, которые могли бы повлиять на работу, представленную в этой статье.

Раздел доступности кода

Название кода: Zero-Shot Raw Mineral, визуальное распознавание и описание.

Источник: www.sciencedirect.com

Комментарии: