Google опубликовали 25 миллионов открытых датасетов

Google запустили поисковый сервис датасетов для машинного обучения. Google Dataset Search позволяет искать данные из 25 миллионов открытых датасетов. Поисковая система отличается от аналогов тем, что Dataset Search не собирает их вручную и не хранит датасеты у себя. Dataset Search индексирует открытые датасеты с помощью стандартного формата описания структуры данных. 

Новый функционал в Dataset Search 

Пользователи теперь могут фильтровать результаты поиска на основании типа датасета и наличия публичного доступа к датасету. Тип датасета определяется по типу данных, которые он содержит: изображения, текст или табличные данные. Кроме того, система теперь адаптирована под мобильные устройства. Создатели сделали описания датасетов более полными. Чтобы опубликовать датасет в Dataset Search, пользователь должен описать его структуру с помощью стандартного Schema.org.

Dataset Search нацеливается на широкую аудиторию: исследователи, студенты, бизнес-аналитики и дата сайентисты. Наиболее популярными запросами к системе являются «education», «weather», «cancer», «crime», «soccer» и «dogs».

Какие датасеты содержатся в поисковой системе

Dataset Search дает представление об открытых данных в сети. Больше всего покрыты данными такие темы, как геонауки, биология и сельское хозяйство. Большинство правительств стран публикуют свои данные и описывают их с помощью Schema.org. США лидируют по количеству открытых государственных баз данных. Их количество насчитывает более двух миллионов. Наиболее популярным форматом данных являются таблицы — более 6 миллионов в Dataset Search.