ProductNet: датасет изображений товаров от Amazon

Исследователи из Amazon опубликовали аналог датасета ImageNet для товаров. Изображения товаров систематизированы и представлены в высоком разрешении. ProductNet создан с целью улучшить обучение представлений товаров.

Помимо датасета, исследователи опубликовали модель, которая автоматически размечает товары. Это позволяет сократить материальные затраты на разметку. Нейросетевой подход в 20 раз быстрее ручной разметки.

ProductNet включает в себя 3900 категорий товаров, каждая из которых представлена на 40-60 изображениях. Всего продуктов в выборке около 178 тысяч. Исследователи постарались максимально диверсифицировать продукты для каждой из категорий, чтобы представления товаров, обученные на данных, были наиболее информативные.

Способ построения датасета

Классическим способом разметки данных является ручная разметка аннотаторами. Аннотаторы сами называют объект на изображении, затем выбирается наиболее соответствующий реальности лейбл для товара. Это крайне дорогостоящий способ разметки, в особенности в случае, когда количество уникальных товаров превышает 3 тысячи. Amazon предложил модель для автоматической разметки товаров на изображениях.

ProductNet предполагает первичную ручную разметку на подвыборке данных, результаты которой используется для других неразмеченных данных.

Пайплан работает следующим образом:

• Сначала используется базовая система, которая среди неразмеченных данных находит похожие (состоит из Inception-v4, обученной на ImageNet, и FastText, обученной на описаниях товаров);
• Эти картинки отправляются аннотатору, который размечает их;
• Размеченные данные поступают в главную систему, которая занимается автоматической разметкой

Результаты

Amazon удалось в 20 раз сократить время, которое тратится на разметку. Модель за полчаса размечает 100 товаров, в то время как человек способен на разметку 5 товаров в указанный срок.