Большие данные (big data), методы анализа, алгоритмы 2017

Код к этой статье можно скачать здесь.

В прошлом месяце, в их построения, корпорация Microsoft поделилась с нами планами .Чистая сердечник 3. Wile акцент был преобразование настольных приложений и поддержка Windows Forms и WPF, ML.NET -была также внедрена система машинного обучения. Если вы посмотрите на картину, которая была вокруг интернета в последнее время мы можем ожидать, что этот модуль является неотъемлемой частью .NET Core 3. Пока, ML.NET только в зачаточном состоянии, и мы мож

Американские разработчики представили iNat2017 — датасет для распознавания отдельных видов животных и растений, состоящих из 859 тысяч фотографий, сделанных любителями с помощью приложения iNaturalist. Обученная с помощью такого датасета нейросеть умеет распознавать как отдельные виды, так и более высокие иерархические ранги. Точность распознавания отдельных видов, как сообщается в статье, опубликованной на сайте IEEE Explore, пока что не превышает 67 процентов.

Современные компьюте

Как мы говорили ранее, сотрудник CVisionLab отправился в Солт-Лейк-Сити на международную конференцию CVPR. Одной из самых интересных работ стала презентация команды из университета Торонто. Она представила рекуррентную сеть PolygonRNN++, предсказывающую точки полигона.

Начальной инициализацией служит bounding box нарисованный пользователем вокруг объекта. После этого сеть предсказывает точки полигона. При этом сеть быстро работает даже на не самых сильных устройствах: на презентаци

HighLoad++ 2014, 1 ноября

Презентация и тезисы:
http://www.highload.ru/2014/abstracts...На основе модели вычислений MapReduce производится обработка логов дарения подарков ОК, хранящихся на Hadoop-кластере для фильтрации и расчета меры схожести подарков. Подготовленные данные кластеризуются на суперкомпьютере с использованием библиотеки MCL.

Darrell et al. / arXiv 2018

Как сегментировать 150 млн человек

Варианты применения методов кластеризации для нужд описания пользователей от идеи до финального решения на примере реальных задач команды Data Science компании Wargaming.О тонкостях продажи бизнесу идей проектов, подходах к решению непосредственно аналитических задач, проверке устойчивости решений, виде автоматизированного решения.

Нейронными сетями уже никого не удивишь. Практически каждый человек знает, что такое машинное обучение, линейная регрессия, random forest. Каждый год тысячи людей проходят курсы по машинному обучению на ODS и Coursera. Любой школьник за пару недель теперь может освоить keras и клепать нейроночки. Но в нейронных сетях, как и во всем машинном обучении, помимо создания хорошего алгоритма, необходимы данные, на которых алгоритм будет обучаться.

Разрешите представиться, меня зовут Куце

Часть 2: Решение

И снова здравствуйте! Сегодня я продолжу свой рассказ о том, как мы классифицируем большие объёмы данных на Apache Spark, используя произвольные модели машинного обучения. В первой части статьи мы рассмотрели саму постановку задачи, а также основные проблемы, которые возникают при организации взаимодействия между кластером, на котором хранятся и обрабатываются исходные данные, и внешним сервисом классификации. Во второй части мы рассмотрим один из вариан

Классификация больших объемов данных на Apache Spark с использованием произвольных моделей машинного обучения

Часть 1: Постановка задачи

Привет, Хабр! Я архитектор решений в компании CleverData. Сегодня я расскажу про то, как мы классифицируем большие объемы данных с использованием моделей, построенных с применением практически любой доступной библиотеки машинного обучения. В этой серии из двух статей мы ра

Высокая стоимость некоторых востребованных лекарств зачастую становится проблемой для национальных служб здравоохранения, которые не горят желанием оплачивать их заказ. Эта ситуация напрямую бьет по пациентам: им выписывают более дешевые, но менее эффективные препараты, которые лишь частично борются с болезнями и при этом вызывают массу побочных эффектов. Все это приводит к увеличению количества случаев несоблюдения врачебных предписаний. Фармацевтические компании объясняют вы

Если менеджеру попытаться разобраться в этой области и получить конкретные бизнес-ответы, то, скорее всего, страшно заболит голова и екнет сердце от ощущения ежеминутно упускаемой выгоды.

"AlphaGo обыграл чемпиона по Go" впервые за всю историю человечества, скоро наши улицы заполонят беспилотные автомобили, распознавание лиц и голоса теперь в порядке вещей, а в квартиру к нам завтра постучатся AI-секс-куклы с грудью наивысшего размера с шампанским под мышкой и настраиваемым уровне

Шутливая пастафарианская церковь боготворит Летающего макаронного монстра,а первыми приверженцами своего культа называет пиратов,считая их «абсолютно божественными». В доказательство этого приводится график,«демонстрирующий», что снижение числа морских бродяг и разбойников за последние 200 лет привело к… глобальному потеплению.

Впервые на эту «связь» указал основатель пастафарианства Роберт Хендерсон

Открытый курс по машинному обучению и анализу данных "Data Mining In Action"

Илья Ирхин

Группа ВК: https://vk.com/data_mining_in_action Репозиторий курса на гитхабе: https://github.com/applied-data-scien...

Из названия можно предположить, что термин `большие данные` относится просто к управлению и анализу больших объемов данных. Согласно отчету McKinsey Institute `Большие данные: новый рубеж для инноваций, конкуренции и производительности` ( Big data: The next frontier for innovation, competition and productivity), термин `большие данные` относится к наборам данных, размер которых превосходит возможности типичных баз данных (БД) по занесению, хранению, управлению и анализу информации. И мировы

Прямо сейчас ведем прямую трансляцию лекции , директора по росту и исследованиям о Big Data и машинном обучении.

После этого сразу подводим результаты олимпиады «ИТМО ВКонтакте»

— Сегодня я постараюсь коротко рассказать о задачах, которые уже решаются с помощью анализа данных в спо

Майнинг данных.

Специалист по Computer Science Алексей Незнанов о проблемах искусственного интеллекта, видах майнинга данных и обработке данных в корпорациях.

Майнинг данных (калька с английского Data mining) — это термин, который сейчас в России, с одной стороны, считается не очень удачным, а с другой — становится все более распространенным. Почему так происходит? Все прочие синонимы, например «разработка данных» (от «разработки месторождений»), смешиваются с «разработкой

1. Ирина Шилина, Web accessibility

2. Алексей Гурьянов, CerebralJS, A declarative state and side effects management

3. Владимир Малик, Современные Big Data и Machine Learning для чайников

Видеоуроки по BIG DATA. Основы работы с массивами больших данных.

Презентации: yadi.sk/d/NRCupnST3LNR5d

Дополнительные материалы и книги: yadi.sk/d/F2xBwxce3LNR5b

1 марта Google открыла доступ к большой базе данных для распознавания мировых памятников искусственного и природного происхождения. Набор «знаний» получил название Google-Landmarks и представлен в рамках соревнований от Kaggle на лучшие системы по распознаванию и поиску достопримечательностей.

Особенности Google-Landmarks

Набор данных содержит более 2 миллионов изображений, описывающих около 30 тысяч уникальных культурн

В командных играх спорта на тренерский штаб, особенно во время крупных соревнований, ложится большая аналитическая нагрузка. Специалистам приходится на ходу вести статистику ударов, промахов, сейвов, удачных и неудачных действий защитников и нападающих, чтобы выбрать оптимальную тактику и состав на следующую игру. Учитывая современный уровень развития компьютерных алгоритмов, естественно предположить, что искусственный интеллект справится с этими задачами быстрее и лучше людей. Чтобы узнать о

Видели ли вы "особенную Ласточку" на МЦК с синей подсветкой ходовой части одного из вагонов? Если да, то наверняка было интересно узнать, что же это такое? Ну а если нет, то мы так и так вам расскажем. Информационно-измерительная система «ИНФОТРАНС-Ласточка» - наша сегодняшняя тема.

Система «ИНФОТРАНС-Ласточка» - часть инновационного проекта «Цифровая железная дорога» компании «РЖД». В основе программы лежат современные IT-технологии, например, интернет вещей (Internet of Things, I

Peng Zhou et al., / CVPR 2018

Математика больших данных: тензоры, нейросети, байесовский вывод

Импорт и подготовка данных

Хайнц экспортировал биржевые данных в csv-файл. Его датасе

Подборка русскоязычных выступлений с конференции «Data Ёлка 2017», объединяющей специалистов в области Data Science для подведения итогов года:

1. ML в киберспорте.

2. Алиса: что внутри?

3. Соревнования по анализу данных.

4. Технологии беспилотных автомобилей.

5. NIPS, будущее и хайп.

Sherlock by ThatsWhatSheSayd

Чтобы стать великим сыщиком, Шерлоку Холмсу было достаточно замечать то, чего не видели остальные, в вещах, которые находились у всех на виду. Мне кажется, что этим качеством должен обладать и каждый специалист по машинному обучению. Но тема Feature Engineering’а зачастую изучается в курсах по машинному обучению и анализу данных вскользь. В этом материале я хочу поделиться своим опытом обработки признаков с начинающими датасаентистами. Надеюсь, это п

Артур Хачуян ушел из рекламного агентства «Апостол» Тины Канделаки — и весь отдел кибернетики ушел вместе с ним.

Сегодня они круглосуточно скачивают открытую информацию из соцсетей, блогов, форумов и медиа. Бесконечные массивы данных связывают и анализируют по заказу клиентов: бренды хотят прицельно таргетировать рекламу и угадывать желания клиентов, журналисты — проводить расследования, госорганы — находить преступников.

Ребятам есть что интересного показать и рассказать.

Математика больших данных.

Как можно хранить и обрабатывать многомерные массивы в линейных по памяти структурах? Что дает обучение нейронных сетей из триллионов триллионов нейронов и как можно осуществить его без переобучения? Можно ли обрабатывать информацию "на лету", не сохраняя поступающие последовательно данные? Как оптимизировать функцию за время меньшее чем уходит на ее вычисление в одной точке? Что дает обучение по слаборазмеченным данным? И почему для решения всех перечисле

Связанные проекты сообщества Open Data (проект Linked Open Data Cloud). Многие датасеты на этой диаграмме могут включать в себя данные, защищенные авторским правом, и они не упоминаются в данной статье

Если вы прямо сейчас не делаете свой ИИ, то другие будут делать его вместо вас для себя. Ничто более не мешает вам создать систему на основе машинного обучения. Есть открытая библиотека глубинного обучения TensorFlow, большое количество алгоритмов для обучения в библиотеке

Подборка выступлений с Moscow Data Science Meetup — русскоязычного мероприятия для интересующихся Data Science, анализом, майнингом и визуализацией структурированных и неструктурированных данных.

Прикрепленные видео:

1. Основы нейронных сетей и Deep Learning — Алексей Озерин.

2–3. Обработка больших данных при помощи Apache Spark — Виталий Худобахшов.

4. Как перестать бояться и начать решать convai.io — Валентин Малых.

5. Градиентный бустинг: воз

Что такое Big Data и как это на самом деле влияет на мир вокруг нас?

Прямо сейчас в прямом эфире Екатерина Линкевич – директор по аналитике больших данных большой компании МегаФон.

Видеокурс «Введение в аналитику больших массивов данных».

Русскоязычный курс, знакомящий слушателей с основными понятиями в области аналитической обработки больших данных. В курсе изложены основы машинного обучения, визуализации и хранения больших данных.

В данном видеокурсе:

1. Общее понятие о больших данных.

2. Основные вызовы больших данных.

3. Определение термина «большие данные».

4. Процесс аналитики.

5. Введение в когнити

Сеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.

Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально слабая точность)? С чего начать проверку?

Сеть может не обучаться по ряду причин. По итогу многих отладочных сессий я заметил, что часто

Видеокурс «Методы и системы обработки больших данных».

Русскоязычный курс, посвященный методам построения систем обработки больших данных и существующим инструментам в этой области. Цель курса — дать понимание внутреннего устройства, механики работы, области применимости существующих решений, осветить сильные и слабые стороны, научить практическим навыкам анализа больших массивов информации.

В данном видеокурсе:

1. HDFS.

2. MapReduce.

3. HBase.

Всё для изучения Python: 181 бесплатный материал + бонус

В данном списке вы сможете найти материалы для изучения языка Python с целью применения его в анализе данных и не только. Последний раздел — это бонус: если этой подборки вам оказалось...
Читать дальше

Уникальное событие: эксперт по Big Data Кристал Валентайн приедет с единственным выступлением в Россию

Информация подтвердилась, на крупнейшей конференции программистов России «Разработка ПО» Кристал Валентайн расска

Подборка лекций с Data & Science — конференции, на которой ведущие учёные и эксперты рассказывают о применении больших данных в фундаментальной и прикладной науке.

Прикрепленные к посту видео:

1. Neural conversational models: как научить нейронную сеть светской беседе — Борис Янгель.

2. Goal-Oriented диалоговые движки — Евгений Волков.

3. What’s hot in bioinformatics? From data to implementations — Андрей Афанасьев.

4. Алгоритмические задачи

Подборка лекций от ведущих исследователей анализа данных, информационного поиска и других областей.

Прикрепленные видео:

1. Автоматическое извлечение семантической информации из текста — Иван Титов.

2. Квантовое хеширование — Фарид Аблаев.

3. Будущее нейрокомпьютерных интерфейсов — Nathan Intrator.

4. Компьютерное зрение — Andrea Vedaldi.

5. Экстремальные свойства графов, возникающие из социальных сетей — Konstantin Avrachenkov.

На мастер-классе я расскажу, почему IT-специалистам (особенно будущим) крайне важно понимать эти термины сейчас. Мы обсудим базовые понятия и инструменты в области обработки Больших Данных и где этому научиться.

Дополнительные материалы по теме:

Практически любой близкий к IT-индустрии человек хоть раз да слышал эти загадочные два слова — «BIG DATA». Что за ними скрывается, где применяются технологии обработки больших объемов данных и с чего можно начать при их изучении, рассказал Евгений Чернов — преподаватель образовательного проекта «Техносфера» и создатель онлайн курсов по Hadoop — системе обработки больших объемов данных.

В первую очередь с большими объемами данных столкнулись, конечно же, большие компании, такие как Googl

Познавательная лекция о том, как действительно работает Big Data в рекламе сегодня. Можно извлечь кучу идей для своих проектов! ?

Ключевое отличие нашей подачи материала от аналогичного в курсах эконометрики и статистики – это акцент на практическом применении линейных моделей в реальных задачах (хотя и математики тоже будет немало).

Пример двух таких задач – это соревнования Kaggle Inclass по прогнозированию популярности статьи на Хабре и по идентификации взломщика в Интернете по его последовательности переходов по сайта

Алгоритмы интеллектуальной обработки больших объемов данных

1. Задачи Data Mining

2. Задача кластеризации и ЕМ-алгоритм

3. Различные алгоритмы кластеризации

4. Задача классификации

5. Обработка текстов, Naive Bayes

6. Линейные модели для классификации и регрессии

7. Машина опорных векторов

8. Методы снижения размерности пространства

9. Алгоритмические композиции

Все 13 лекций доступны по ссыл

Для кого эта статья?

Несколько докладов по анализу данных и машинному обучению с недавнего Python Data Science meetup

1. О том, как проанализировать 200 Гб данных на ноутбуке, какие проблемы могут возникнуть в процессе и как автор с ними боролся.

2. Об опыте построения алгоритма классификации изображений автомобилей.

3. Как научить приложение распознавать категории объявлений по изображениям.