Большие данные (big data), методы анализа, алгоритмы 2017

МЕНЮ


Искусственный интеллект. Новости
Поиск

ТЕМЫ


Внедрение ИИНовости ИИРобототехника, БПЛАПсихологияТрансгуманизмЛингвистика, обработка текстаБиология, теория эволюцииВиртулаьная и дополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информации

RSS


RSS новости

Авторизация



Новостная лента форума ailab.ru

Последние новости

 

Главные новости

2017-12-11 12:04

Борис Миркин — Анализ данных и искусственный интеллект


анализ больших данных, искусственный интеллект

Как анализ данных повлиял на развитие машинного обучения и в чем состоят основные проблемы в развитии искусственного интеллекта

— Для начала стоит поговорить о том, что мы вообще понимаем под искусственным интеллектом.

— Под искусственным интеллектом понимают несколько разных вещей. Первоначально имелось в виду, что машина должна будет себя вести как человек. Эту идею, возможно, в шутку предложил Алан Тьюринг сразу после Второй мировой войны, еще до проникновения компьютеров в

2017-12-10 20:00

Подборка видео о machine learning и data science


машинное обучение, big data

1. Рекуррентные нейронные сети (RNN) и длинная краткосрочная память (LSTM)

2. Как работают нейронные сети

3. Как работают сверточные нейронные сети

4. Что такое Data Science

5. Что такое Deep Learning

6. Becca 7 и обучение с подкреплением

7. Роботы, умные дома и IoT

8. Turning Machine Learning в Data Science

9. Data Science для всех

10. Как работает теорема Байеса

2017-12-03 14:05

Математики смоделировали рост меланомы


искусственный интеллект в медицине, большие данные

Численная модель распространения меланомы. Черным цветом обозначены раковые клетки, желтым — здоровые

Penn State

Ученые из Бразилии и США разработали математическую модель, которая позволяет точно описывать рост меланомы. Предложенная модель показала, что одним из основных механизмов при росте злокачественной опухоли является преодоление контактного торможения, пишут авторы исследования, результаты которого опубликованы в Scientific Reports. Кратко

2017-11-28 09:10

Большие данные vs бизнес-аналитика


большие данные

Что такое бизнес-аналитика и большие данные? Этот вопрос мы адресовали 20 руководителям из различных компаний. Результат оказался достаточно предсказуемым: большинство респондентов имеют четкое представление о бизнес-аналитике и совершенно по-разному толкуют «бигдату». Поэтому прежде чем искать разницу, разберемся в терминологии.

BI vs Big Data: Суть понятий С Business Intelligence многие ассоциируют ПО с простым и интуитивно понятным интерфейсом, позволяющее проводить несложный анализ

2017-11-23 11:11

Анализ больших данных в физике элементарных частиц — Денис Деркач


большие данные, искусственный интеллект

Физик Денис Деркач о фотографиях, нейронных сетях и машинном обучении в обработке данных экспериментов Большого адронного коллайдера

В разных газетах и журналах мы часто видим утверждения, что искусственный интеллект по мере развития будет вытеснять людей из их профессий. И фактически целые отрасли, целые профессии будут не нужны в будущем. Примерно четыре года назад вышла статья, которая оценивала вероятность автоматизации той или иной профессии, и получилось, что одни ученые оценили, что

2017-11-22 00:41

Sberbank Data Science Day


big data

Три части прямого эфира с Sberbank Data Science Day — однодневной конференции по Data Science, Machine Learning и AI, которая проходит в Москве.

2017-11-20 16:10

Big Data от А до Я. Часть 1: Принципы работы с большими данными, парадигма MapReduce


big data

Привет, Хабр! Этой статьёй я открываю цикл материалов, посвящённых работе с большими данными. Зачем? Хочется сохранить накопленный опыт, свой и команды, так скажем, в энциклопедическом формате – наверняка кому-то он будет полезен.

Проблематику больших данных постараемся описывать с разных сторон: основные принципы работы с данными, инструменты, примеры решения практических задач. Отдельное внимание окажем теме машинного обучения.

Начинать надо от простого к сложному, поэтому первая

2017-11-16 12:00

Основы BIG DATA для начинающих иммунологов


ии в медицине, big data

Joachim L Schultze

Сейчас, кажется, что все и вся сводится к «большим данным». Перед нами стоит задача обучить молодое поколение иммунологов формулировать осмысленные гипотезы с помощью ресурсов больших данных.

Представьте себе двух иммунологов – Билла и Стива, которые встретились в 2030 году. Стив спрашивает: «Билл, как продвигается твоя научная работа?» на что Билл отвечает: «У нас есть доступ к 500 петабайтам хранилища, вычислительный кластер с 100000 узлами ядерных процессоров (GPU) c

2017-11-15 17:00

«Ваша работа уже не будет прежней»: как использовать HR-аналитику


большие данные

Цифровизация бизнеса принесла в сферу управления персоналом магические слова big data, slice&dice, speed&scale, dashboards, drill down, а вместе с ними немалое количество иллюзий. Например, что можно внедрить некое универсальное «решение для big data», которое сделает все за вас и поднимет HR-аналитику в компании на новый уровень. Это не совсем так: важную подготовительную работу вам предстоит проделать самостоятельно. 

Сейчас в большинстве HR-служб используется простая аналитика

2017-11-11 09:02

Sberbank Data Science Day — однодневной конференции по Data Science


большие данные, Семинары

Смотрите трансляцию с Sberbank Data Science Day — однодневной конференции по Data Science, Machine Learning и AI, которая проходит сегодня в Москве

2017-10-28 19:18

Хронология уровня CO в атмосфере США (решение задачи Kaggle с помощью Python+Feature Engineering)


большие данные, машинное обучение Python

Хочу поделиться опытом решения задачи по машинному обучению и анализу данных от Kaggle. Данная статья позиционируется как руководство для начинающих пользователей на примере не совсем простой задачи.

Выборка данных

Выборка данных содержит порядка 8,5 млн строк и 29 столбцов.Вот некоторые из параметров:

Широта-latitude Долгота-longitude Способ взятия пробы-method_name Дата и время взятия пробы-date_local Задача

Найти параметры максимально влияющие на уровень CO в атмосфере. Создание

2017-10-26 21:00

Process Mining: знакомство


большие данные

В этой статье я постараюсь приоткрыть завесу над интересной технологией из области управления бизнес-процессами ( BPM). Интеллектуальный анализ процессов ( Process Mining) фокусируется на обнаружении, анализе и оптимизации бизнес-процессов на основе данных из журналов событий (англ. event logs), представляя недостающее звено между классическим анализом бизнес-процессов с использованием их моделей и интеллектуальным анализом данных ( Data Mining).

DisclaimerСтатья подготовлена на основе

2017-10-24 02:55

Беседа с Евгением Соколовым


big data, машинное обучение

В рамках открытого курса машинного обучения пообщались с Евгением Соколовым, узнали пару инсайдов про специализацию "Advanced Machine Learning" на Coursera и работу Yandex Data Factory, поспрашивали, каково это руководить проектами по анализу данных и что может пойти не так, а еще кого сложнее обучать – школьников или гуманитариев.

2017-10-23 10:25

«4 свадьбы и одни похороны» или линейная регрессия для анализа открытых данных правительства Москвы


машинное обучение и анализ данных, анализ больших данных

Несмотря на множество замечательных материалов по Data Science например, от Open Data Science, я продолжаю собирать объедки с пиршества разума и продолжаю делится с вами, своим опытом по освоению навыков машинного обучения и анализа данных с нуля.

В последних статьях мы рассмотрели пару задачек по классификации, в процессе потом и кровью добывая себе данные, теперь пришло время регрессии. Поскольку ничего светотехнического в этот раз под рукой не оказалось, я решил поскрести по другим

2017-10-14 11:00

«Город завтрашнего дня» — рецензия


большие данные

ПостНаука рассказывает о современных технологиях в проекте «Банк знаний», созданном вместе с Корпоративным университетом Сбербанка.

Книга архитектора Карло Ратти и дизайнера Мэтью Клодела, выпущенная в прошлом году издательством Йельского университета, представляет собой, по мнению ряда экспертов, прекрасное описание таких современных подходов к городскому проектированию, которые основаны на широком применении результатов аналитики больших данных и технологий «интернета вещей». «Если вам

2017-10-13 15:07

Лекция Константина Воронцова «Машинное обучение: шаг в цифровую экономику»


анализ больших данных, искусственный интеллект

запускает цикл онлайн-трансляций самых интересных научных лекций от ведущих университетов страны на платформе ВКонтакте.

Этот цикл откроют семинары по искусственному интеллекту. Они будут интересны тем, кто хочет заглянуть в будущее и узнать о передовых исследованиях в этой области.

16 октября 18:30 (МСК)

Тема первой встречи: «Машинное обучение: шаг в цифровую экономику». Ведущий — Константин Вячеславович Воронцов, профессор РАН, заведующий лабораторией машинного интеллекта МФТИ.

2017-10-05 13:51

Создатель Open Data Science о Slack, xgboost и GPU


машинное обучение, big data, поисковые алгоритмы, искусственные нейронные сети, реализация нейронной сети

Сообщество Open Data Science (ODS) уже известно на Хабре по открытому курсу машинного обучения (OpenML). Сегодня мы поговорим с его создателем об истории ODS, людях и наиболее популярных методах машинного обучения (по версии Кaggle и проектам индустрии). За интересными фактами и технической экспертизой — прошу под кат.

Алексей Натекин natekin . Основатель ряда проектов, связанных с машинным обучением и анализом данных. Диктатор и координатор Open Data Science — крупнейшего в Восточной Европе

2017-10-05 12:11

Беседа с Константином Воронцовым


большие данные

Беседа с Константином Вячеславовичем Воронцовым про то, как у него дела, что нужно делать, чтоб не заржаветь, как нам догонять Запад и Восток, нужно ли в Data Science делать упор на математику, что нового еще принесут в нашу жизнь соревнования по анализу данных и почему деревья решений так хорошо работают.

2017-09-30 12:07

Игорь Балк (Global Innovation Labs) – об анализе данных для оценки расходования средств на Big Data Conference


big data, Семинары

По итогам прошедшей 15 сентября 2017 года Big Data Conference, организованной Rusbase и Global Innovation Labs, публикуем подробные отчеты с выступлений всех спикеров.

В рамках конференции в трёх залах были представлены кейсы в «Бизнес-треке», технологические решения в «Техническом треке» и доклады на «Научном семинаре». Общий отчет с мероприятия можно найти по ссылке.

Игорь Балк, представляющий Global Innovation Labs, рассказал об использовании анализа данных для оценки

2017-09-29 16:00

Big Data. Знакомство с одной из самых сексапильных IT специальностей 21 века


анализ больших данных

Начни карьеру с бесплатного курса "Основы программирования" https://geekbrains.ru/basics_intensiv...< br>На вебинаре мы в увлекательной и доступной форме познакомимся с невероятной Вселенной анализа данных и искусственного интеллекта.

Мы увидим, что происходит, когда в пространствах огромной размерности компьютер оказывается сильнее человека, когда эксперты пасуют перед машиной.

Попытаемся разобраться, почему журналисты иногда называют анализ данных одной из самых сексапильных специальностей

2017-09-27 13:00

Интервью создателя компании Полиматика Рус о компании и будущем Business Intelligence


машинное обучение и анализ данных, анализ больших данных

Компания «Полиматика Рус» – российский разработчик аналитической платформы для обработки больших объемов информации с использованием алгоритмов интеллектуального анализа данных и машинного обучения.

Встретиться с сотрудниками компании и узнать подробнее о системах Data Mining, OLAP-серверов и интерактивных визуализаторов можно на GPU TECHNOLOGY CONFERENCE - единственной конференции в Европе, посвященной технологиям глубокого и машинного обучения, VR и беспилотным автомобилям. Принять участие

2017-09-23 23:52

Кто, как и зачем собирается регулировать Big Data в России?


большие данные

Сегодня утром получил очередное PR-письмо с таким очередным предложением: Готовы предоставить комментарий с анализом и прогнозом по законопроекту о регулировании Big Data будет, который будет готов к концу 2017 года. Тема («регулирование Big Data») меня сразу заинтересовала (я был у ее истоков ), и я спросил в ответ: «О каком именно законопроекте спич?»

«Вот об этом, ria.ru/technology/20170919/1505085765.html», — оперативно ответила мой контрагент по переписке:

Медиа-Коммуникационный союз

2017-09-18 10:40

«Используй Силу машинного обучения, Люк!» или автоматическая классификация светильников по КСС


большие данные, машинное обучение Python

«Сила машинного обучения среди нас, методы её окружают нас и связывают. Сила вокруг меня, везде, между мной, тобой, решающим деревом, лассо, гребнем и вектором опорным» Так бы, наверное, мне сказал Йода если бы он учил меня пути Data Science.

К сожалению, пока среди моих знакомых зеленокожие морщинистые личности не наблюдаются, поэтому просто продолжим вместе с вами наш совместный путь обучения науке о данных от уровня абсолютного новика до … настоящего джедая того, что в итоге получиться.

В

2017-09-17 15:00

О чем говорили «технари» на Big Data Conference 2017


искусственные нейронные сети, большие данные

О чем говорили «технари» на Big Data Conference 2017Международная конференция Big Data Conference объединяет создателей новых технологий в области больших данных, представителей бизнеса и молодых ученых. В этом году мероприятие прошло 15 сентября в Москве.

За время существования конференция стала дискуссионной площадкой для отслеживания трендов в области анализа больших данных и встреч лидеров Data Science. Три трека конференции Big Data Conference позволили участникам услышать самые свежие

2017-09-14 19:20

Большие данные и законодательство о конкуренции


анализ больших данных

Большие данные и законодательство о конкуренции

ЕЗЗ К.С. Ючинсон

преподаватель Департамента правового регулирования экономической деятельности Финансового университета при Правительстве Российской Федерации. Адрес: 125993 Российская Федерация, Москва, Ленинградский пр., 49. E-mail: Kyychinson@fa.ru

*'—I—I Аннотация

Расширение доступа к сети Интернет в глобальном масштабе и кратный рост вычислительных мощностей привели к распространению бизнес-моделей, строящихся на сборе и обработке
 

2017-10-30 14:00

Где взять большие данные, если они доступны всем


большие данные

Каждая секунда и доля секунды несёт в себе миллионы данных. Но не стоит думать, что собирать их могут только такие гиганты, как Google или Amazon.

Еркин Бердалин, соучредитель компании BAK International, уверен, что большие данные доступны всем тем, кто смог найти способ их хранить, обрабатывать и подвергать различным способам анализа. 

Зачем нужны большие данные, когда многие маркетологи уверены, что могут обойтись своими силами в привлечении новых клиентов. Ведь таких

2017-10-25 14:20

Артур Хачуян- «Настоящая Big Data в рекламе»


большие данные, Семинары

Артур Хачуян ушел из рекламного агентства «Апостол» Тины Канделаки — и весь отдел кибернетики ушел вместе с ним.

Сегодня они круглосуточно скачивают открытую информацию из соцсетей, блогов, форумов и медиа. Бесконечные массивы данных связывают и анализируют по заказу клиентов: бренды хотят прицельно таргетировать рекламу и угадывать желания клиентов, журналисты — проводить расследования, госорганы — находить преступников.

Ребятам есть что интересного показать и рассказать. Обязательно

2017-10-22 13:00

Математика больших данных: тензоры, нейросети, байесовский вывод - Ветров Д.П.


big data

Математика больших данных.

Как можно хранить и обрабатывать многомерные массивы в линейных по памяти структурах? Что дает обучение нейронных сетей из триллионов триллионов нейронов и как можно осуществить его без переобучения? Можно ли обрабатывать информацию "на лету", не сохраняя поступающие последовательно данные? Как оптимизировать функцию за время меньшее чем уходит на ее вычисление в одной точке? Что дает обучение по слаборазмеченным данным? И почему для решения всех перечисленных

2017-10-06 15:35

Топливо для ИИ: подборка открытых датасетов для машинного обучения


большие данные

Связанные проекты сообщества Open Data (проект Linked Open Data Cloud). Многие датасеты на этой диаграмме могут включать в себя данные, защищенные авторским правом, и они не упоминаются в данной статье

Если вы прямо сейчас не делаете свой ИИ, то другие будут делать его вместо вас для себя. Ничто более не мешает вам создать систему на основе машинного обучения. Есть открытая библиотека глубинного обучения TensorFlow, большое количество алгоритмов для обучения в библиотеке Torch,

2017-08-21 19:33

Лекция 1. Анализ данных на R в примерах и задачах


big data, теория программирования, машинное обучение

Русскоязычный курс от Computer Science Center, посвященный базовым элементам программирования на языке R, а также кластерному анализу, проверке статистических гипотез, линейному регрессионному анализу, прогнозированию и машинному обучению.

В данном видеокурсе:

1. Анализ данных на R в примерах и задачах.

2. Элементы программирования в R. Описательные статистики.

3. Кластерный анализ.

4. Метод к-средних. Проверка гипотез.

5. Проверка статистических гипотез.

6. Проверка

2017-08-17 10:07

Основы нейронных сетей и Deep Learning


большие данные

Подборка выступлений с Moscow Data Science Meetup — русскоязычного мероприятия для интересующихся Data Science, анализом, майнингом и визуализацией структурированных и неструктурированных данных.

Прикрепленные видео:

1. Основы нейронных сетей и Deep Learning — Алексей Озерин.

2–3. Обработка больших данных при помощи Apache Spark — Виталий Худобахшов.

4. Как перестать бояться и начать решать convai.io — Валентин Малых.

5. Градиентный бустинг: возможности, особенности и фишки

2017-08-16 17:08

#1 Большие данные в большой компании | Включайся!


анализ больших данных

Что такое Big Data и как это на самом деле влияет на мир вокруг нас?

Прямо сейчас в прямом эфире Екатерина Линкевич – директор по аналитике больших данных большой компании МегаФон.

2017-08-10 19:07

Лекция 1: Общее понятие о больших данных


big data

Видеокурс «Введение в аналитику больших массивов данных».

Русскоязычный курс, знакомящий слушателей с основными понятиями в области аналитической обработки больших данных. В курсе изложены основы машинного обучения, визуализации и хранения больших данных.

В данном видеокурсе:

1. Общее понятие о больших данных.

2. Основные вызовы больших данных.

3. Определение термина «большие данные».

4. Процесс аналитики.

5. Введение в когнитивный анализ данных.

6.

2017-08-05 13:10

37 причин, почему ваша нейросеть не работает


big data, пример нейронной сети

Сеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.

Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально слабая точность)? С чего начать проверку?

Сеть может не обучаться по ряду причин. По итогу многих отладочных сессий я заметил, что часто делаю одни и те же

2017-07-27 12:50

Нестандартная кластеризация, часть 3: приёмы и метрики для кластеризации временных рядов


алгоритмы кластеризации, big data

Пока другие специалисты по машинному обучению и анализу данных выясняют, как прикрутить побольше слоёв к нейронной сети, чтобы она ещё лучше играла в Марио, давайте обратимся к чему-нибудь более приземлённому и применимому на практике.

Кластеризация временных рядов — неблагодарное дело. Даже при группировке статических данных часто получаются сомнительные результаты, что уж говорить про информацию, рассеянную во времени. Однако нельзя игнорировать задачу, только потому что она сложна.

2017-07-22 19:07

Методы и системы обработки больших данных | Иван Пузыревский


анализ больших данных

Видеокурс «Методы и системы обработки больших данных».

Русскоязычный курс, посвященный методам построения систем обработки больших данных и существующим инструментам в этой области. Цель курса — дать понимание внутреннего устройства, механики работы, области применимости существующих решений, осветить сильные и слабые стороны, научить практическим навыкам анализа больших массивов информации.

В данном видеокурсе:

1. HDFS.

2. MapReduce.

3. HBase.

4. Cassandra.

5.

2017-07-14 11:07

Big Data — всё по этой теме для программистов


машинное обучение и анализ данных, анализ больших данных

Всё для изучения Python: 181 бесплатный материал + бонус

В данном списке вы сможете найти материалы для изучения языка Python с целью применения его в анализе данных и не только. Последний раздел — это бонус: если этой подборки вам оказалось... Читать дальше

Уникальное событие: эксперт по Big Data Кристал Валентайн приедет с единственным выступлением в Россию

Информация подтвердилась, на крупнейшей конференции программистов России «Разработка ПО» Кристал Валентайн расскажет, как технологии

2017-07-09 10:33

011. Neural conversational models: как научить нейронную сеть светской беседе — Борис Янгель


анализ больших данных

Подборка лекций с Data & Science — конференции, на которой ведущие учёные и эксперты рассказывают о применении больших данных в фундаментальной и прикладной науке.

Прикрепленные к посту видео:

1. Neural conversational models: как научить нейронную сеть светской беседе — Борис Янгель.

2. Goal-Oriented диалоговые движки — Евгений Волков.

3. What’s hot in bioinformatics? From data to implementations — Андрей Афанасьев.

4. Алгоритмические задачи в биоинформатике — Игнатий

2017-07-06 14:12

Отжиг и вымораживание: две свежие идеи, как ускорить обучение глубоких сетей


архитектура нейронных сетей, большие данные, машинное обучение Python

В этом посте изложены две недавно опубликованные идеи, как ускорить процесс обучения глубоких нейронных сетей при увеличении точности предсказания. Предложенные (разными авторами) способы ортогональны друг другу, и могут использоваться совместно и по отдельности. Предложенные здесь способы просты для понимания и реализации. Собственно, ссылки на оригиналы публикаций:Snapshot ensembles (апрель 2017)FreezeOut (июнь 2017)

1. Ансамбль снимков: много моделей по цене одной

Обычные ансамбли

2017-06-28 10:33

Автоматическое извлечение семантической информации из текста - Иван Титов


изучение социальных сетей, системы технического зрения, лингвистика, большие данные

Подборка лекций от ведущих исследователей анализа данных, информационного поиска и других областей.

Прикрепленные видео:

1. Автоматическое извлечение семантической информации из текста — Иван Титов.

2. Квантовое хеширование — Фарид Аблаев.

3. Будущее нейрокомпьютерных интерфейсов — Nathan Intrator.

4. Компьютерное зрение — Andrea Vedaldi.

5. Экстремальные свойства графов, возникающие из социальных сетей — Konstantin Avrachenkov.

6. Торги в реальном времени — Jun

2017-06-19 06:02

Ловись Data большая и маленькая! (Краткий обзор курсов по Data Science от Cognitive Class)


big data

В последнее время все чаще натыкаюсь на упоминание о «Data Science» или по-нашему «Наука о данных». Не являюсь специалистом в области IT и на протяжении всей жизни не дружу с мат. анализом и статистикой, поэтому я достаточно долго проходил мимо этого вопроса и наверное, продолжал бы проходить стороной, но в какой-то момент любопытство взяло верх.

Итак, Cognitive Class, он же Big Data University от IBM (иногда сокращенно BDU) – портал с бесплатными курсами по тематике близкой к BIG Data и

2017-06-15 11:07

Подборка лекций с «Data & Science» — конференции


большие данные

Подборка лекций с «Data & Science» — конференции, на которой ведущие учёные и эксперты рассказывают о применении больших данных в фундаментальной и прикладной науке.

Прикрепленные к посту видео:

1. Явления, измерения, результаты: размышления об анализе данных в физике — Владимир Шевченко.

2. Большие данные на Большом адронном коллайдере — Фёдор Ратников.

3. Оптимизация топологического триггера LHCb — Татьяна Лихоманенко.

4. Пример анализа данных в физике высоких энергий

2017-05-15 22:31

Введение в обработку Больших Данных


большие данные

Фразы «Большие данные», «искусственный интеллект» мы слышим сегодня буквально каждый день. Для многих они ассоциируются с фильмами Матрица / Терминатор, а вовсе не с реальной жизнью. И уж тем более не с реальными профессиями в области IT.

На мастер-классе я расскажу, почему IT-специалистам (особенно будущим) крайне важно понимать эти термины сейчас. Мы обсудим базовые понятия и инструменты в области обработки Больших Данных и где этому научиться.

Дополнительные материалы по теме:

2017-04-30 07:28

Весь мир — BIG DATA


машинное обучение и анализ данных, анализ больших данных

Практически любой близкий к IT-индустрии человек хоть раз да слышал эти загадочные два слова — «BIG DATA». Что за ними скрывается, где применяются технологии обработки больших объемов данных и с чего можно начать при их изучении, рассказал Евгений Чернов — преподаватель образовательного проекта «Техносфера» и создатель онлайн курсов по Hadoop — системе обработки больших объемов данных.

В первую очередь с большими объемами данных столкнулись, конечно же, большие компании, такие как Google.

2017-04-23 20:46

Артур Хачуян: «Настоящая Big Data в рекламе»


анализ больших данных

Познавательная лекция о том, как действительно работает Big Data в рекламе сегодня. Можно извлечь кучу идей для своих проектов! ?

2017-04-03 18:10

Открытый курс машинного обучения. Тема 6. Построение и отбор признаков


машинное обучение, алгоритмы кластеризации, пример нейронной сети, big data

Сообщество Open Data Science приветствует участников курса!

В рамках курса мы уже познакомились с несколькими ключевыми алгоритмами машинного обучения. Однако перед тем как переходить к более навороченным алгоритмам и подходам, хочется сделать шаг в сторону и поговорить о подготовке данных для обучения модели. Известный принцип garbage in – garbage out на 100% применим к любой задаче машинного обучения; любой опытный аналитик может вспомнить примеры из практики, когда простая модель,

2017-03-21 06:43

Открытый курс машинного обучения. Тема 4. Линейные модели классификации и регрессии


большие данные, машинное обучение Python, реализация нейронной сети

Сегодня мы детально обсудим очень важный класс моделей машинного обучения – линейных.

Ключевое отличие нашей подачи материала от аналогичного в курсах эконометрики и статистики – это акцент на практическом применении линейных моделей в реальных задачах (хотя и математики тоже будет немало).

Пример двух таких задач – это соревнования Kaggle Inclass по прогнозированию популярности статьи на Хабре и по идентификации взломщика в Интернете по его последовательности переходов по сайтам. Домашним

2017-03-19 16:06

Лекция 1: Задачи Data Mining


алгоритмы кластеризации данных, анализ больших данных

Алгоритмы интеллектуальной обработки больших объемов данных

1. Задачи Data Mining

2. Задача кластеризации и ЕМ-алгоритм

3. Различные алгоритмы кластеризации

4. Задача классификации

5. Обработка текстов, Naive Bayes

6. Линейные модели для классификации и регрессии

7. Машина опорных векторов

8. Методы снижения размерности пространства

9. Алгоритмические композиции

Все 13 лекций доступны по ссылке:

https://vk.com/videos-54530371?section=album_56085995

2017-01-11 13:12

Машинное обучение — это легко


машинное обучение Python, большие данные

В данной статье речь пойдёт о машинном обучении в целом и взаимодействии с датасетами. Если вы начинающий, не знаете с чего начать изучение и вам интересно узнать, что такое «датасет», а также зачем вообще нужен Machine Learning и почему в последнее время он набирает все большую популярность, прошу под кат. Мы будем использовать Python 3, так это как достаточно простой инструмент для изучения машинного обучения.

Для кого эта статья? Каждый, кому будет интересно затем покопаться в истории за

2016-09-11 21:03

"Опыт участия в Microsoft Malware Classification Challenge" Михаил Трофимов (Machine Learning Works)


большие данные, распознавание образов, машинное обучение Python, искусственные нейронные сети, реализация нейронной сети

Несколько докладов по анализу данных и машинному обучению с недавнего Python Data Science meetup

1. О том, как проанализировать 200 Гб данных на ноутбуке, какие проблемы могут возникнуть в процессе и как автор с ними боролся.

2. Об опыте построения алгоритма классификации изображений автомобилей.

3. Как научить приложение распознавать категории объявлений по изображениям.