Большие данные (big data), методы анализа, алгоритмы 2017

Код к этой статье можно скачать здесь.

В прошлом месяце, в их построения, корпорация Microsoft поделилась с нами планами .Чистая сердечник 3. Wile акцент был преобразование настольных приложений и поддержка Windows Forms и WPF, ML.NET -была также внедрена система машинного обучения. Если вы посмотрите на картину, которая была вокруг интерн

Американские разработчики представили iNat2017 — датасет для распознавания отдельных видов животных и растений, состоящих из 859 тысяч фотографий, сделанных любителями с помощью приложения iNaturalist. Обученная с помощью такого датасета нейросеть умеет распознавать как отдельные виды, так и более высокие иерархические ранги. Точность распознав

Как мы говорили ранее, сотрудник CVisionLab отправился в Солт-Лейк-Сити на международную конференцию CVPR. Одной из самых интересных работ стала презентация команды из университета Торонто. Она представила рекуррентную сеть PolygonRNN++, предсказывающую точки полигона.

Начальной инициализацией служит bounding box нарисованный пользоват

HighLoad++ 2014, 1 ноября

Презентация и тезисы:
http://www.highload.ru/2014/abstracts...На основе модели вычислений MapReduce производится обработка логов дарения подарков ОК, хранящихся на Hadoop-кластере для фильтрации и расчета меры схожести подарков. Подготовленные данные кластеризуются на суперкомпьют

Darrell et al. / arXiv 2018

Ученые из Калифорнийского института в Беркли собрали DeepDrive — самую большую на сегодняшний день базу данных изображений для обучения беспилотных автомобилей. Она состоит из 100 тысяч снятых автомобилями видео, на которых размечены люди, автомобили, а также дорожные объекты и зоны. Датасет,

Как сегментировать 150 млн человек

Варианты применения методов кластеризации для нужд описания пользователей от идеи до финального решения на примере реальных задач команды Data Science компании Wargaming.О тонкостях продажи бизнесу идей проектов, подходах к решению непосредственно аналитических задач, проверке устойчивости решений, ви

Нейронными сетями уже никого не удивишь. Практически каждый человек знает, что такое машинное обучение, линейная регрессия, random forest. Каждый год тысячи людей проходят курсы по машинному обучению на ODS и Coursera. Любой школьник за пару недель теперь может освоить keras и клепать нейроночки. Но в нейронных сетях, как и во всем машинном об

Часть 2: Решение

И снова здравствуйте! Сегодня я продолжу свой рассказ о том, как мы классифицируем большие объёмы данных на Apache Spark, используя произвольные модели машинного обучения. В первой части статьи мы рассмотрели саму постановку задачи, а также основные проблемы, которые возникают при организации взаимодействия между

Классификация больших объемов данных на Apache Spark с использованием произвольных моделей машинного обучения

Часть 1: Постановка задачи

Привет, Хабр! Я архитектор решений в компании CleverData. Сегодня я расскажу про то, как мы классифицируем большие объемы данных с использованием моделей, постр

Высокая стоимость некоторых востребованных лекарств зачастую становится проблемой для национальных служб здравоохранения, которые не горят желанием оплачивать их заказ. Эта ситуация напрямую бьет по пациентам: им выписывают более дешевые, но менее эффективные препараты, которые лишь частично борются с болезнями и при этом вызываю

Если менеджеру попытаться разобраться в этой области и получить конкретные бизнес-ответы, то, скорее всего, страшно заболит голова и екнет сердце от ощущения ежеминутно упускаемой выгоды.

"AlphaGo обыграл чемпиона по Go" впервые за всю историю человечества, скоро наши улицы заполонят беспилотные автомобили, распознавание лиц и голоса

Шутливая пастафарианская церковь боготворит Летающего макаронного монстра,а первыми приверженцами своего культа называет пиратов,считая их «абсолютно божественными». В доказательство этого приводится график,«демонстрирующий», что снижение числа морских бродяг и разбойников за последние 200 лет при

Открытый курс по машинному обучению и анализу данных "Data Mining In Action"

Илья Ирхин

Группа ВК: https://vk.com/data_mining_in_action Репозиторий курса на гитхабе: https://github.com/applied-data-scien...

Из названия можно предположить, что термин `большие данные` относится просто к управлению и анализу больших объемов данных. Согласно отчету McKinsey Institute `Большие данные: новый рубеж для инноваций, конкуренции и производительности` ( Big data: The next frontier for innovation, competition and productivity), термин `большие данные` относит

Прямо сейчас ведем прямую трансляцию лекции , директора по росту и исследованиям о Big Data и машинном обучении.

После этого сразу подводим результаты олимпиады «ИТМО ВКонтакте»

Майнинг данных.

Специалист по Computer Science Алексей Незнанов о проблемах искусственного интеллекта, видах майнинга данных и обработке данных в корпорациях.

Майнинг данных (калька с английского Data mining) — это термин, который сейчас в России, с одной стороны, считается не очень удачным, а с другой — становится все более р

1. Ирина Шилина, Web accessibility

2. Алексей Гурьянов, CerebralJS, A declarative state and side effects management

3. Владимир Малик, Современные Big Data и Machine Learning для чайников

Видеоуроки по BIG DATA. Основы работы с массивами больших данных.

Презентации: yadi.sk/d/NRCupnST3LNR5d

Дополнительные материалы и книги: yadi.sk/d/F2xBwxce3LNR5b

1 марта Google открыла доступ к большой базе данных для распознавания мировых памятников искусственного и природного происхождения. Набор «знаний» получил название Google-Landmarks и представлен в рамках соревнований от Kaggle на лучшие системы по распознаванию и поиску достопримечательностей.

В командных играх спорта на тренерский штаб, особенно во время крупных соревнований, ложится большая аналитическая нагрузка. Специалистам приходится на ходу вести статистику ударов, промахов, сейвов, удачных и неудачных действий защитников и нападающих, чтобы выбрать оптимальную тактику и состав на следующую игру. Учитывая современный уровень ра

Видели ли вы "особенную Ласточку" на МЦК с синей подсветкой ходовой части одного из вагонов? Если да, то наверняка было интересно узнать, что же это такое? Ну а если нет, то мы так и так вам расскажем. Информационно-измерительная система «ИНФОТРАНС-Ласточка» - наша сегодняшняя тема.

Система «ИНФОТРАНС-Ласточка» - часть инновационного п

Peng Zhou et al., / CVPR 2018

Американские исследователи научили нейросеть распознавать фотографии, модифицированные в графических редакторах. В частности, нейросеть умеет распознавать качественно выполненное удаление объектов и клонирование, а также совмещение изображений с разных снимков. Доклад был представ

Математика больших данных: тензоры, нейросети, байесовский вывод

Подборка русскоязычных выступлений с конференции «Data Ёлка 2017», объединяющей специалистов в области Data Science для подведения итогов года:

1. ML в киберспорте.

2. Алиса: что внутри?

3. Соревнования по анализу данных.

4. Технологии беспилотных автомобилей.

5. NIPS, будущее и хайп.

Sherlock by ThatsWhatSheSayd

Чтобы стать великим сыщиком, Шерлоку Холмсу было достаточно замечать то, чего не видели остальные, в вещах, которые находились у всех на виду. Мне кажется, что этим качеством должен обладать и каждый специалист по машинному обучению. Но тема Feature Engineering’а зачастую изучается в курсах по машинному об

Артур Хачуян ушел из рекламного агентства «Апостол» Тины Канделаки — и весь отдел кибернетики ушел вместе с ним.

Сегодня они круглосуточно скачивают открытую информацию из соцсетей, блогов, форумов и медиа. Бесконечные массивы данных связывают и анализируют по заказу клиентов: бренды хотят прицельно таргетировать рекламу и угадывать ж

Математика больших данных.

Как можно хранить и обрабатывать многомерные массивы в линейных по памяти структурах? Что дает обучение нейронных сетей из триллионов триллионов нейронов и как можно осуществить его без переобучения? Можно ли обрабатывать информацию "на лету", не сохраняя поступающие последовательно данные? Как оптимизировать

Связанные проекты сообщества Open Data (проект Linked Open Data Cloud). Многие датасеты на этой диаграмме могут включать в себя данные, защищенные авторским правом, и они не упоминаются в данной статье

Если вы прямо сейчас не делаете свой ИИ, то другие будут делать его вместо вас для себя. Ничто более не мешает вам создать си

Подборка выступлений с Moscow Data Science Meetup — русскоязычного мероприятия для интересующихся Data Science, анализом, майнингом и визуализацией структурированных и неструктурированных данных.

Прикрепленные видео:

1. Основы нейронных сетей и Deep Learning — Алексей Озерин.

2–3. Обработка больших данных при помощи A

Что такое Big Data и как это на самом деле влияет на мир вокруг нас?

Прямо сейчас в прямом эфире Екатерина Линкевич – директор по аналитике больших данных большой компании МегаФон.

Видеокурс «Введение в аналитику больших массивов данных».

Русскоязычный курс, знакомящий слушателей с основными понятиями в области аналитической обработки больших данных. В курсе изложены основы машинного обучения, визуализации и хранения больших данных.

В данном видеокурсе:

1. Общее понятие о больших данных.

Сеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.

Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально

Видеокурс «Методы и системы обработки больших данных».

Русскоязычный курс, посвященный методам построения систем обработки больших данных и существующим инструментам в этой области. Цель курса — дать понимание внутреннего устройства, механики работы, области применимости существующих решений, осветить сильные и слабые стороны, научить

Всё для изучения Python: 181 бесплатный материал + бонус

В данном списке вы сможете найти материалы для изучения языка Python с целью применения его в анализе данных и не только. Последний раздел — это бонус: если этой подборки вам оказалось...
Читать дальше

Уникальное событие: эксперт по Big Data Кристал Валентайн приедет с единс

Подборка лекций с Data & Science — конференции, на которой ведущие учёные и эксперты рассказывают о применении больших данных в фундаментальной и прикладной науке.

Прикрепленные к посту видео:

1. Neural conversational models: как научить нейронную сеть светской беседе — Борис Янгель.

2. Goal-Oriented диалоговые дв

Подборка лекций от ведущих исследователей анализа данных, информационного поиска и других областей.

Прикрепленные видео:

1. Автоматическое извлечение семантической информации из текста — Иван Титов.

2. Квантовое хеширование — Фарид Аблаев.

3. Будущее нейрокомпьютерных интерфейсов — Nathan Intrator.

4

На мастер-классе я расскажу, почему IT-специалистам (особенно будущим) крайне важно понимать эти термины се

Практически любой близкий к IT-индустрии человек хоть раз да слышал эти загадочные два слова — «BIG DATA». Что за ними скрывается, где применяются технологии обработки больших объемов данных и с чего можно начать при их изучении, рассказал Евгений Чернов — преподаватель образовательного проекта «Техносфера» и создатель онлайн курсов по Hadoop —

Познавательная лекция о том, как действительно работает Big Data в рекламе сегодня. Можно извлечь кучу идей для своих проектов! ?

Ключевое отличие нашей подачи материала от аналогичного в курсах эконометрики и статистики – это акцент на практическом применении линейных моделей в реальных задачах (хотя и математики тоже будет немало).

Пример двух таких задач – это соревнования

Алгоритмы интеллектуальной обработки больших объемов данных

1. Задачи Data Mining

2. Задача кластеризации и ЕМ-алгоритм

3. Различные алгоритмы кластеризации

4. Задача классификации

5. Обработка текстов, Naive Bayes

6. Линейные модели для классификации и регрессии

7. Машина опорных в

Несколько докладов по анализу данных и машинному обучению с недавнего Python Data Science meetup

1. О том, как проанализировать 200 Гб данных на ноутбуке, какие проблемы могут возникнуть в процессе и как автор с ними боролся.

2. Об опыте построения алгоритма классификации изображений автомобилей.

3. Как научить прилож