Большие данные (big data), методы анализа, алгоритмы 2017

МЕНЮ


Искусственный интеллект. Новости
Поиск
Регистрация на сайте
Сбор средств на аренду сервера для ai-news

ТЕМЫ


Новости ИИРазработка ИИРабота разума и сознаниеВнедрение ИИРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информации

Авторизация



RSS


RSS новости

Новостная лента форума ailab.ru

Последние новости

 

Главные новости

2018-07-15 18:20

С точностью до сотых: топ-10 докладов SmartData 2017


Семинары, большие данные big data

Зрители конференции SmartData — люди, которые любят работать с данными. Надо полагать, что и оценки докладам после прошлогодней конференции они выставляли очень вдумчиво.
А теперь по этим оценкам мы составили топ-10 видеозаписей. И заодно, чтобы порадовать любителей данных, указали по каждому из десяти докладов все сопутствующие числа: место

2018-06-29 09:21

Использование ML.NET - Введение в машинное обучение и ML.NET.


методы машинного обучения, анализ больших данных

Код к этой статье можно скачать здесь.

В прошлом месяце, в их построения, корпорация Microsoft поделилась с нами планами .Чистая сердечник 3. Wile акцент был преобразование настольных приложений и поддержка Windows Forms и WPF, ML.NET -была также внедрена система машинного обучения. Если вы посмотрите на картину, которая была вокруг интерн

2018-06-25 15:09

AI, практический курс. Предобработка и дополнение данных с изображениями


анализ больших данных

Предобработка — это общий термин для всех манипуляций, производимых с данными перед передачей их модели, включая центрирование, нормализацию, сдвиг, вращение, обрезку и т. п. Как правило, предобработка требуется в двух случаях.

Очистка данных. Предположим, что на изображениях присутствуют некоторые артефакты. Чтобы облегчить обучение модел

2018-06-22 19:12

Почти миллион снимков натуралистов-любителей поможет компьютеру опознать тысячи видов


распознавание образов, большие данные big data

Американские разработчики представили iNat2017 — датасет для распознавания отдельных видов животных и растений, состоящих из 859 тысяч фотографий, сделанных любителями с помощью приложения iNaturalist. Обученная с помощью такого датасета нейросеть умеет распознавать как отдельные виды, так и более высокие иерархические ранги. Точность распознав

2018-06-21 18:08

Efficient Interactive Annotation of Segmentation Datasets with Polygon-RNN++


архитектура нейронных сетей, анализ больших данных

Как мы говорили ранее, сотрудник CVisionLab отправился в Солт-Лейк-Сити на международную конференцию CVPR. Одной из самых интересных работ стала презентация команды из университета Торонто. Она представила рекуррентную сеть PolygonRNN++, предсказывающую точки полигона.

Начальной инициализацией служит bounding box нарисованный пользоват

2018-06-12 18:33

Кластеризация BigData на примере подарков в ОК / Артур Кадурин (Mail ru Group)


большие данные big data

HighLoad++ 2014, 1 ноября

Презентация и тезисы:
http://www.highload.ru/2014/abstracts...На основе модели вычислений MapReduce производится обработка логов дарения подарков ОК, хранящихся на Hadoop-кластере для фильтрации и расчета меры схожести подарков. Подготовленные данные кластеризуются на суперкомпьют

2018-06-09 19:37

Американцы создали самый большой датасет для обучения беспилотных автомобилей


Беспилотный автомобили, большие данные big data, распознавание образов

Darrell et al. / arXiv 2018

Ученые из Калифорнийского института в Беркли собрали DeepDrive — самую большую на сегодняшний день базу данных изображений для обучения беспилотных автомобилей. Она состоит из 100 тысяч снятых автомобилями видео, на которых размечены люди, автомобили, а также дорожные объекты и зоны. Датасет,

2018-06-07 17:48

Data Fest Minsk 2018:Дмитрий Щегрикович, Как сегментировать 150 млн человек


анализ больших данных

Как сегментировать 150 млн человек

Варианты применения методов кластеризации для нужд описания пользователей от идеи до финального решения на примере реальных задач команды Data Science компании Wargaming.О тонкостях продажи бизнесу идей проектов, подходах к решению непосредственно аналитических задач, проверке устойчивости решений, ви

2018-06-07 14:18

Как создать свой датасет с Киркоровым и Фейсом на Яндекс Толоке


нейросеть пример, большие данные big data, примеры ии

Нейронными сетями уже никого не удивишь. Практически каждый человек знает, что такое машинное обучение, линейная регрессия, random forest. Каждый год тысячи людей проходят курсы по машинному обучению на ODS и Coursera. Любой школьник за пару недель теперь может освоить keras и клепать нейроночки. Но в нейронных сетях, как и во всем машинном об

2018-06-01 14:27

Классификация больших объемов данных на Apache Spark с использованием произвольных моделей машинного обучения


методы машинного обучения, анализ больших данных, алгоритмы кластеризации

Часть 2: Решение

И снова здравствуйте! Сегодня я продолжу свой рассказ о том, как мы классифицируем большие объёмы данных на Apache Spark, используя произвольные модели машинного обучения. В первой части статьи мы рассмотрели саму постановку задачи, а также основные проблемы, которые возникают при организации взаимодействия между

2018-06-01 14:25

Классификация больших объемов данных на Apache Spark с использованием произвольных моделей машинного обучения


алгоритмы машинного обучения, большие данные big data

Классификация больших объемов данных на Apache Spark с использованием произвольных моделей машинного обучения

Часть 1: Постановка задачи

Привет, Хабр! Я архитектор решений в компании CleverData. Сегодня я расскажу про то, как мы классифицируем большие объемы данных с использованием моделей, постр

2018-05-30 18:00

Curaizon использует большие данные, чтобы полностью изменить фармацевтическую индустрию


большие данные big data, искусственный интеллект в медицине

Высокая стоимость некоторых востребованных лекарств зачастую становится проблемой для национальных служб здравоохранения, которые не горят желанием оплачивать их заказ. Эта ситуация напрямую бьет по пациентам: им выписывают более дешевые, но менее эффективные препараты, которые лишь частично борются с болезнями и при этом вызываю

2018-05-25 23:28

Bigdata, машинное обучение и нейросети – для руководителей


искусственные нейронные сети, большие данные big data, алгоритмы машинного обучения

Если менеджеру попытаться разобраться в этой области и получить конкретные бизнес-ответы, то, скорее всего, страшно заболит голова и екнет сердце от ощущения ежеминутно упускаемой выгоды.

"AlphaGo обыграл чемпиона по Go" впервые за всю историю человечества, скоро наши улицы заполонят беспилотные автомобили, распознавание лиц и голоса

2018-04-30 08:01

Ложные корреляции: как Николас Кейдж влияет на смерть в бассейне


анализ больших данных

Шутливая пастафарианская церковь боготворит Летающего макаронного монстра,а первыми приверженцами своего культа называет пиратов,считая их «абсолютно божественными». В доказательство этого приводится график,«демонстрирующий», что снижение числа морских бродяг и разбойников за последние 200 лет при

2018-04-17 11:37

Data Mining In Action. Рекомендательные системы


большие данные big data

Открытый курс по машинному обучению и анализу данных "Data Mining In Action"

Илья Ирхин

Группа ВК: https://vk.com/data_mining_in_action Репозиторий курса на гитхабе: https://github.com/applied-data-scien...

2018-04-09 12:56

ЧТО ТАКОЕ БОЛЬШИЕ ДАННЫЕ. АНАЛИЗ БОЛЬШИХ ДАННЫХ.


большие данные big data

Из названия можно предположить, что термин `большие данные` относится просто к управлению и анализу больших объемов данных. Согласно отчету McKinsey Institute `Большие данные: новый рубеж для инноваций, конкуренции и производительности` ( Big data: The next frontier for innovation, competition and productivity), термин `большие данные` относит

2018-04-08 19:27

Анализ данных — основы и терминология


большие данные big data

В этой статье я бы хотел обсудить базовые принципы построения практического проекта по (т. н. «интеллектуальному») анализу данных, а также зафиксировать необходимую терминологию, в том числе русскоязычную.

Согласно википедии, Анализ данных — это область математики и информатики, занимающаяся построением и исследованием наиболее общих матем

2018-04-08 11:38

Олимпиада «ИТМО ВКонтакте»


анализ больших данных, методы машинного обучения

Прямо сейчас ведем прямую трансляцию лекции , директора по росту и исследованиям о Big Data и машинном обучении.

После этого сразу подводим результаты олимпиады «ИТМО ВКонтакте»

2018-03-25 19:14

Анализ данных в спорте: взаимодействие учёных, клубов и федераций. Лекция в Яндексе


большие данные big data

Мы проводим мероприятия не только по темам, которыми занимаемся сами. В феврале мы собрали специалистов по использованию машинного обучения в спорте. Удивительно, как много процессов связывают эти две сферы — анализ данных и спорт — и какое количество нерешенных проблем возникает на стыке между ними. Перед вами доклад Дмитрия Дагаева — заместителя

2018-03-17 16:00

Майнинг данных. Специалист по Computer Science Алексей Незнанов о проблемах искусственного интеллекта, видах майнинга данных и обработке данных в корпорациях.


искусственный интеллект, компьютерная лингвистика, большие данные big data

Майнинг данных.

Специалист по Computer Science Алексей Незнанов о проблемах искусственного интеллекта, видах майнинга данных и обработке данных в корпорациях.

Майнинг данных (калька с английского Data mining) — это термин, который сейчас в России, с одной стороны, считается не очень удачным, а с другой — становится все более р

2018-03-14 11:57

Samara JS #4 Владимир Малик. Современные Big Data и Machine Learning для чайников.


анализ больших данных, методы машинного обучения

1. Ирина Шилина, Web accessibility

2. Алексей Гурьянов, CerebralJS, A declarative state and side effects management

3. Владимир Малик, Современные Big Data и Machine Learning для чайников

2018-03-12 10:30

Big Data. Занятие 1.1 и 1.2 Что такое большие данные, их виды и как их получить.


анализ больших данных

Видеоуроки по BIG DATA. Основы работы с массивами больших данных.

Презентации: yadi.sk/d/NRCupnST3LNR5d

Дополнительные материалы и книги: yadi.sk/d/F2xBwxce3LNR5b

2018-03-04 16:58

Google открыла доступ к самой большой базе мировых достопримечательностей Google-Landmarks


ИТ-гиганты, большие данные big data, распознавание образов

1 марта Google открыла доступ к большой базе данных для распознавания мировых памятников искусственного и природного происхождения. Набор «знаний» получил название Google-Landmarks и представлен в рамках соревнований от Kaggle на лучшие системы по распознаванию и поиску достопримечательностей.

2018-02-24 03:06

Победа по расчету


алгоритмы машинного обучения, ИИ проекты, большие данные big data

В командных играх спорта на тренерский штаб, особенно во время крупных соревнований, ложится большая аналитическая нагрузка. Специалистам приходится на ходу вести статистику ударов, промахов, сейвов, удачных и неудачных действий защитников и нападающих, чтобы выбрать оптимальную тактику и состав на следующую игру. Учитывая современный уровень ра

2018-02-17 18:00

Информационно-измерительная система «ИНФОТРАНС-Ласточка»


IoT, анализ больших данных

Видели ли вы "особенную Ласточку" на МЦК с синей подсветкой ходовой части одного из вагонов? Если да, то наверняка было интересно узнать, что же это такое? Ну а если нет, то мы так и так вам расскажем. Информационно-измерительная система «ИНФОТРАНС-Ласточка» - наша сегодняшняя тема.

Система «ИНФОТРАНС-Ласточка» - часть инновационного п

 

2018-06-23 21:29

Нейросеть научили распознавать качественно отфотошопленные фотографии


искусственные нейронные сети, большие данные big data

Peng Zhou et al., / CVPR 2018

Американские исследователи научили нейросеть распознавать фотографии, модифицированные в графических редакторах. В частности, нейросеть умеет распознавать качественно выполненное удаление объектов и клонирование, а также совмещение изображений с разных снимков. Доклад был представ

2018-06-05 11:30

Как машины анализируют большие данные: введение в алгоритмы кластеризации


большие данные big data, кластеризация данных

Перевод How Machines Make Sense of Big Data: an Introduction to Clustering Algorithms.

Взгляните на картинку ниже. Это коллекция насекомых (улитки не насекомые, но не будем придираться) разных форм и размеров. А теперь разделите их на несколько групп по степени похожести. Никакого подвоха. Начните с группирования пауков.

Закончил

2018-05-10 10:21

Выявление преступных группировок, ворующих из магазинов – Data Mining


анализ больших данных

Группа из 3–4 лиц по предварительному сговору способна вынести из большого магазина типа «Ашана» или «Перекрёстка» товара до 400 тысяч рублей в месяц. Если обычные шоплифтеры просто мирно воруют колбасу, протаскивая её под одеждой или ещё где, то эти парни оказываются в разы наглее и деструктивнее.
Разница вот в чём. Во-первых, они имеют возм

2018-05-03 16:00

Математика больших данных тензоры, неи?росети, баи?есовскии? вывод - Ветров Д.П.


анализ больших данных

Математика больших данных: тензоры, нейросети, байесовский вывод

2018-05-01 17:51

Разрабатываем простую модель глубокого обучения для прогнозирования цен акций с помощью TensorFlow


разработка по, реализация нейронной сети, большие данные big data

Эксперт в области data science и руководитель компании STATWORX Себастьян Хайнц опубликовал на Medium руководство по созданию модели глубокого обучения для прогнозирования цен акций на бирже с использованием фреймворка TensorFlow. Мы подготовили адаптированную версию этого полезного материала. Автор разместил итоговый Python-скрипт и сжатый датасе

2018-01-28 17:19

052. ML в киберспорте – Пётр Ромов


большие данные big data

Подборка русскоязычных выступлений с конференции «Data Ёлка 2017», объединяющей специалистов в области Data Science для подведения итогов года:

1. ML в киберспорте.

2. Алиса: что внутри?

3. Соревнования по анализу данных.

4. Технологии беспилотных автомобилей.

5. NIPS, будущее и хайп.

2018-01-18 16:59

Feature Engineering, о чём молчат online-курсы


методы машинного обучения, анализ больших данных

Sherlock by ThatsWhatSheSayd

Чтобы стать великим сыщиком, Шерлоку Холмсу было достаточно замечать то, чего не видели остальные, в вещах, которые находились у всех на виду. Мне кажется, что этим качеством должен обладать и каждый специалист по машинному обучению. Но тема Feature Engineering’а зачастую изучается в курсах по машинному об

2017-10-25 14:20

Артур Хачуян- «Настоящая Big Data в рекламе»


анализ больших данных, Семинары

Артур Хачуян ушел из рекламного агентства «Апостол» Тины Канделаки — и весь отдел кибернетики ушел вместе с ним.

Сегодня они круглосуточно скачивают открытую информацию из соцсетей, блогов, форумов и медиа. Бесконечные массивы данных связывают и анализируют по заказу клиентов: бренды хотят прицельно таргетировать рекламу и угадывать ж

2017-10-22 13:00

Математика больших данных: тензоры, нейросети, байесовский вывод - Ветров Д.П.


большие данные big data

Математика больших данных.

Как можно хранить и обрабатывать многомерные массивы в линейных по памяти структурах? Что дает обучение нейронных сетей из триллионов триллионов нейронов и как можно осуществить его без переобучения? Можно ли обрабатывать информацию "на лету", не сохраняя поступающие последовательно данные? Как оптимизировать

2017-10-06 15:35

Топливо для ИИ: подборка открытых датасетов для машинного обучения


большие данные big data


Связанные проекты сообщества Open Data (проект Linked Open Data Cloud). Многие датасеты на этой диаграмме могут включать в себя данные, защищенные авторским правом, и они не упоминаются в данной статье

Если вы прямо сейчас не делаете свой ИИ, то другие будут делать его вместо вас для себя. Ничто более не мешает вам создать си

2017-08-17 10:07

Основы нейронных сетей и Deep Learning


большие данные big data

Подборка выступлений с Moscow Data Science Meetup — русскоязычного мероприятия для интересующихся Data Science, анализом, майнингом и визуализацией структурированных и неструктурированных данных.

Прикрепленные видео:

1. Основы нейронных сетей и Deep Learning — Алексей Озерин.

2–3. Обработка больших данных при помощи A

2017-08-16 17:08

#1 Большие данные в большой компании | Включайся!


большие данные big data

Что такое Big Data и как это на самом деле влияет на мир вокруг нас?

Прямо сейчас в прямом эфире Екатерина Линкевич – директор по аналитике больших данных большой компании МегаФон.

2017-08-10 19:07

Лекция 1: Общее понятие о больших данных


большие данные big data

Видеокурс «Введение в аналитику больших массивов данных».

Русскоязычный курс, знакомящий слушателей с основными понятиями в области аналитической обработки больших данных. В курсе изложены основы машинного обучения, визуализации и хранения больших данных.

В данном видеокурсе:

1. Общее понятие о больших данных.

2017-08-05 13:10

37 причин, почему ваша нейросеть не работает


большие данные big data, реализация нейронной сети

Сеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.

Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально

2017-07-22 19:07

Методы и системы обработки больших данных | Иван Пузыревский


анализ больших данных

Видеокурс «Методы и системы обработки больших данных».

Русскоязычный курс, посвященный методам построения систем обработки больших данных и существующим инструментам в этой области. Цель курса — дать понимание внутреннего устройства, механики работы, области применимости существующих решений, осветить сильные и слабые стороны, научить

2017-07-14 11:07

Big Data — всё по этой теме для программистов


алгоритмы машинного обучения, большие данные big data

Всё для изучения Python: 181 бесплатный материал + бонус

В данном списке вы сможете найти материалы для изучения языка Python с целью применения его в анализе данных и не только. Последний раздел — это бонус: если этой подборки вам оказалось...
Читать дальше

Уникальное событие: эксперт по Big Data Кристал Валентайн приедет с единс

2017-07-09 10:33

011. Neural conversational models: как научить нейронную сеть светской беседе — Борис Янгель


анализ больших данных

Подборка лекций с Data & Science — конференции, на которой ведущие учёные и эксперты рассказывают о применении больших данных в фундаментальной и прикладной науке.

Прикрепленные к посту видео:

1. Neural conversational models: как научить нейронную сеть светской беседе — Борис Янгель.

2. Goal-Oriented диалоговые дв

2017-06-28 10:33

Автоматическое извлечение семантической информации из текста - Иван Титов


изучение социальных сетей, системы технического зрения, лингвистика, большие данные big data

Подборка лекций от ведущих исследователей анализа данных, информационного поиска и других областей.

Прикрепленные видео:

1. Автоматическое извлечение семантической информации из текста — Иван Титов.

2. Квантовое хеширование — Фарид Аблаев.

3. Будущее нейрокомпьютерных интерфейсов — Nathan Intrator.

4

2017-05-15 22:31

Введение в обработку Больших Данных


анализ больших данных

Фразы «Большие данные», «искусственный интеллект» мы слышим сегодня буквально каждый день. Для многих они ассоциируются с фильмами Матрица / Терминатор, а вовсе не с реальной жизнью. И уж тем более не с реальными профессиями в области IT.

На мастер-классе я расскажу, почему IT-специалистам (особенно будущим) крайне важно понимать эти термины се

2017-04-30 07:28

Весь мир — BIG DATA


алгоритмы машинного обучения, большие данные big data

Практически любой близкий к IT-индустрии человек хоть раз да слышал эти загадочные два слова — «BIG DATA». Что за ними скрывается, где применяются технологии обработки больших объемов данных и с чего можно начать при их изучении, рассказал Евгений Чернов — преподаватель образовательного проекта «Техносфера» и создатель онлайн курсов по Hadoop —

2017-04-23 20:46

Артур Хачуян: «Настоящая Big Data в рекламе»


анализ больших данных

Познавательная лекция о том, как действительно работает Big Data в рекламе сегодня. Можно извлечь кучу идей для своих проектов! ?

2017-03-21 06:43

Открытый курс машинного обучения. Тема 4. Линейные модели классификации и регрессии


анализ больших данных, методы машинного обучения, пример нейронной сети

Сегодня мы детально обсудим очень важный класс моделей машинного обучения – линейных.

Ключевое отличие нашей подачи материала от аналогичного в курсах эконометрики и статистики – это акцент на практическом применении линейных моделей в реальных задачах (хотя и математики тоже будет немало).

Пример двух таких задач – это соревнования

2017-03-19 16:06

Лекция 1: Задачи Data Mining


алгоритмы кластеризации данных, большие данные big data

Алгоритмы интеллектуальной обработки больших объемов данных

1. Задачи Data Mining

2. Задача кластеризации и ЕМ-алгоритм

3. Различные алгоритмы кластеризации

4. Задача классификации

5. Обработка текстов, Naive Bayes

6. Линейные модели для классификации и регрессии

7. Машина опорных в

2017-01-11 13:12

Машинное обучение — это легко


алгоритмы машинного обучения, большие данные big data

В данной статье речь пойдёт о машинном обучении в целом и взаимодействии с датасетами. Если вы начинающий, не знаете с чего начать изучение и вам интересно узнать, что такое «датасет», а также зачем вообще нужен Machine Learning и почему в последнее время он набирает все большую популярность, прошу под кат. Мы будем использовать Python 3, так это к

2016-09-11 21:03

"Опыт участия в Microsoft Malware Classification Challenge" Михаил Трофимов (Machine Learning Works)


большие данные big data, распознавание образов, алгоритмы машинного обучения, искусственные нейронные сети, реализация нейронной сети

Несколько докладов по анализу данных и машинному обучению с недавнего Python Data Science meetup

1. О том, как проанализировать 200 Гб данных на ноутбуке, какие проблемы могут возникнуть в процессе и как автор с ними боролся.

2. Об опыте построения алгоритма классификации изображений автомобилей.

3. Как научить прилож