Большие данные (big data), методы анализа, алгоритмы 2017

МЕНЮ


Искусственный интеллект. Новости
Поиск

ТЕМЫ


Новости ИИРабота разумаВнедрение ИИРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информации

RSS


RSS новости

Авторизация



Новостная лента форума ailab.ru

Последние новости

 

Главные новости

2018-01-09 13:00

Лучшие языки программирования для Data Science


большие данные, разработка по

Рассмотрим языки программирования для . Как они появились, их сильные и слабые стороны, а также отметим простые для старта.

R

Язык R появился на свет в 1995 году как прямой наследник более старого языка S. Созданный с использованием C, фортрана и себя самого, R поддерживается организацией R Foundation for Statistical Computing.

Лицензия

Бесплатный.

Плюсы Отличный ассортимент качественных специализированных пакетов с открытым исходным кодом. R имеет пакеты практически

2018-01-06 00:19

Машинное обучение в электронной коммерции – практика использования и подводные камни


машинное обучение, big data

Доклад позволит соориентироваться в плеяде современных алгоритмов машинного обучения в разрезе прикладного использования для электронной коммерции и выбрать необходимые бесплатные библиотеки для реализации задач. Мы поделимся практическим опытом и историями успеха использования данных технологий в продакшн-среде.

Также особое внимание уделим технике использования популярных платформ и библиотек: Apache Spark, Spark MLlib, Hadoop, Amazon Kinesis, deeplearning4j. Отдельно остановимся на

2018-01-03 03:18

Триггеры в аналитике данных на Большом адронном коллайдере


машинное обучение Python, большие данные

Для того чтобы принять решение, сохранять нам фотографию события, происходящего на коллайдере, или нет, нам необходима система триггеров. Дело в том, что события происходят очень часто. Пересечение двух встречных сгустков протонов происходит с частотой порядка нескольких десятков миллионов раз в секунду. К сожалению, каждая фотография события занимает несколько мегабайтов и у нас нет возможности сохранять все события. Да и, кроме того, большинство событий не являются интересными с точки зрения

2017-12-30 17:49

Мультимодальная кластеризация для анализа данных


большие данные, кластеризация данных

Мультимодальная кластеризация для анализа данных | Конференция: Машинное обучение и анализ алгоритмов | Лектор: Дмитрий Игнатов | Организатор: CSClub

2017-12-23 12:20

МТС для ритейла


машинное обучение Python, большие данные

Открывайте точки продаж там, где они нужны вашим клиентам, и повышайте доходность розничной сети! На основе технологии Big Data специалисты МТС анализируют множество параметров, которые позволяют определить наиболее актуальную и эффективную локацию для открытия розничного магазина, кафе или предприятия сферы услуг. К примеру, социально-демографические характеристики, пешеходный и автомобильный трафик, время нахождения абонентов в районе предполагаемого открытия, типы гаджетов, использование

2017-12-20 17:48

Все началось с фотографии


большие данные, Методы научного исследования

Однажды, смотря на Барселону с высоты гор, люди заметили не только красоту города, которая открылась с высоты птичьего полета, но и четкие, будто вычерченные, линии улиц. И сделали кадр того, что открылось их взору.

Размышляя над темой для сегодняшней статьи, по счастливому стечению обстоятельств, фотография солнечной Барселоны попалась нам на глаза – и вдохновила на статью о Математике Городов.

Любой путешественник скажет вам, что большинство городов уникальны. Но главный вопрос: что

2017-12-20 14:11

Как большие данные меняют парадигму бизнеса: подходы, инструменты, кейсы


big data

Искандер Шаймарданов из Nectarin рассказывает о двух подходах к big data и намекает, как большие данные помогут даже небольшому бизнесу.

Традиционный подход VS большие данные

Разберём основные преимущества использования big data над традиционным анализом небольших наборов данных.

При традиционном подходе анализируют только маленькие порции информации, тогда как big data позволяет исследовать весь доступный массив данных в поисках корреляций. Кроме того,

2017-12-18 15:00

Большая фарма делает ставку на анализ больших данных


анализ больших данных

В рамках конференции Big Data in Pharma, прошедшей 15 декабря, Большая фарма обсуждала роль цифровых технологий в разработке и продвижении лекарств. Применение больших данных (Big Data) с элементами искусственного интеллекта в фарме и биотехе перестало быть будущим.

Без компьютерного анализа, изучающего большое количество медицинских данных, невозможно противостоять резистентности, считает руководитель группы по поддержке бизнеса медицинского департамента «Р-Фарм» Александр Чернавин. Он

2017-12-17 17:50

Бизнес-разведка: Что выуживает Facebook у своих клиентов


big data, исследование социальных сетей

Валентин Катасонов о кредитных бюро и направлении «big data»

В российских и зарубежных СМИ время от времени встречается термин «электронно-банковский концлагерь». Может быть, он публицистический, но точно отражающий суть процессов, происходящих в современном мире. Он означает установление тотального контроля банков над обществом и над каждым человеком в отдельности.

Некоторые полагают, что такой контроль может устанавливаться лишь в том

2017-12-11 12:04

Борис Миркин — Анализ данных и искусственный интеллект


анализ больших данных, искусственный интеллект

Как анализ данных повлиял на развитие машинного обучения и в чем состоят основные проблемы в развитии искусственного интеллекта

— Для начала стоит поговорить о том, что мы вообще понимаем под искусственным интеллектом.

— Под искусственным интеллектом понимают несколько разных вещей. Первоначально имелось в виду, что машина должна будет себя вести как человек. Эту идею, возможно, в шутку предложил Алан Тьюринг сразу после Второй мировой войны, еще до проникновения компьютеров в

2017-12-10 20:00

Подборка видео о machine learning и data science


машинное обучение, big data

1. Рекуррентные нейронные сети (RNN) и длинная краткосрочная память (LSTM)

2. Как работают нейронные сети

3. Как работают сверточные нейронные сети

4. Что такое Data Science

5. Что такое Deep Learning

6. Becca 7 и обучение с подкреплением

7. Роботы, умные дома и IoT

8. Turning Machine Learning в Data Science

9. Data Science для всех

10. Как работает теорема Байеса

2017-12-03 14:05

Математики смоделировали рост меланомы


искусственный интеллект в медицине, большие данные

Численная модель распространения меланомы. Черным цветом обозначены раковые клетки, желтым — здоровые

Penn State

Ученые из Бразилии и США разработали математическую модель, которая позволяет точно описывать рост меланомы. Предложенная модель показала, что одним из основных механизмов при росте злокачественной опухоли является преодоление контактного торможения, пишут авторы исследования, результаты которого опубликованы в Scientific Reports. Кратко

2017-11-28 09:10

Большие данные vs бизнес-аналитика


большие данные

Что такое бизнес-аналитика и большие данные? Этот вопрос мы адресовали 20 руководителям из различных компаний. Результат оказался достаточно предсказуемым: большинство респондентов имеют четкое представление о бизнес-аналитике и совершенно по-разному толкуют «бигдату». Поэтому прежде чем искать разницу, разберемся в терминологии.

BI vs Big Data: Суть понятий С Business Intelligence многие ассоциируют ПО с простым и интуитивно понятным интерфейсом, позволяющее проводить несложный анализ

2017-11-23 11:11

Анализ больших данных в физике элементарных частиц — Денис Деркач


большие данные, искусственный интеллект

Физик Денис Деркач о фотографиях, нейронных сетях и машинном обучении в обработке данных экспериментов Большого адронного коллайдера

В разных газетах и журналах мы часто видим утверждения, что искусственный интеллект по мере развития будет вытеснять людей из их профессий. И фактически целые отрасли, целые профессии будут не нужны в будущем. Примерно четыре года назад вышла статья, которая оценивала вероятность автоматизации той или иной профессии, и получилось, что одни ученые оценили, что

2017-11-22 00:41

Sberbank Data Science Day


big data

Три части прямого эфира с Sberbank Data Science Day — однодневной конференции по Data Science, Machine Learning и AI, которая проходит в Москве.

2017-11-20 16:10

Big Data от А до Я. Часть 1: Принципы работы с большими данными, парадигма MapReduce


big data

Привет, Хабр! Этой статьёй я открываю цикл материалов, посвящённых работе с большими данными. Зачем? Хочется сохранить накопленный опыт, свой и команды, так скажем, в энциклопедическом формате – наверняка кому-то он будет полезен.

Проблематику больших данных постараемся описывать с разных сторон: основные принципы работы с данными, инструменты, примеры решения практических задач. Отдельное внимание окажем теме машинного обучения.

Начинать надо от простого к сложному, поэтому первая

2017-11-16 12:00

Основы BIG DATA для начинающих иммунологов


ии в медицине, big data

Joachim L Schultze

Сейчас, кажется, что все и вся сводится к «большим данным». Перед нами стоит задача обучить молодое поколение иммунологов формулировать осмысленные гипотезы с помощью ресурсов больших данных.

Представьте себе двух иммунологов – Билла и Стива, которые встретились в 2030 году. Стив спрашивает: «Билл, как продвигается твоя научная работа?» на что Билл отвечает: «У нас есть доступ к 500 петабайтам хранилища, вычислительный кластер с 100000 узлами ядерных процессоров (GPU) c

2017-11-15 17:00

«Ваша работа уже не будет прежней»: как использовать HR-аналитику


большие данные

Цифровизация бизнеса принесла в сферу управления персоналом магические слова big data, slice&dice, speed&scale, dashboards, drill down, а вместе с ними немалое количество иллюзий. Например, что можно внедрить некое универсальное «решение для big data», которое сделает все за вас и поднимет HR-аналитику в компании на новый уровень. Это не совсем так: важную подготовительную работу вам предстоит проделать самостоятельно. 

Сейчас в большинстве HR-служб используется простая аналитика

2017-11-11 09:02

Sberbank Data Science Day — однодневной конференции по Data Science


большие данные, Семинары

Смотрите трансляцию с Sberbank Data Science Day — однодневной конференции по Data Science, Machine Learning и AI, которая проходит сегодня в Москве

2017-10-28 19:18

Хронология уровня CO в атмосфере США (решение задачи Kaggle с помощью Python+Feature Engineering)


большие данные, машинное обучение Python

Хочу поделиться опытом решения задачи по машинному обучению и анализу данных от Kaggle. Данная статья позиционируется как руководство для начинающих пользователей на примере не совсем простой задачи.

Выборка данных

Выборка данных содержит порядка 8,5 млн строк и 29 столбцов.Вот некоторые из параметров:

Широта-latitude Долгота-longitude Способ взятия пробы-method_name Дата и время взятия пробы-date_local Задача

Найти параметры максимально влияющие на уровень CO в атмосфере. Создание

2017-10-26 21:00

Process Mining: знакомство


большие данные

В этой статье я постараюсь приоткрыть завесу над интересной технологией из области управления бизнес-процессами ( BPM). Интеллектуальный анализ процессов ( Process Mining) фокусируется на обнаружении, анализе и оптимизации бизнес-процессов на основе данных из журналов событий (англ. event logs), представляя недостающее звено между классическим анализом бизнес-процессов с использованием их моделей и интеллектуальным анализом данных ( Data Mining).

DisclaimerСтатья подготовлена на основе

2017-10-24 02:55

Беседа с Евгением Соколовым


big data, машинное обучение

В рамках открытого курса машинного обучения пообщались с Евгением Соколовым, узнали пару инсайдов про специализацию "Advanced Machine Learning" на Coursera и работу Yandex Data Factory, поспрашивали, каково это руководить проектами по анализу данных и что может пойти не так, а еще кого сложнее обучать – школьников или гуманитариев.

2017-10-23 10:25

«4 свадьбы и одни похороны» или линейная регрессия для анализа открытых данных правительства Москвы


машинное обучение и анализ данных, анализ больших данных

Несмотря на множество замечательных материалов по Data Science например, от Open Data Science, я продолжаю собирать объедки с пиршества разума и продолжаю делится с вами, своим опытом по освоению навыков машинного обучения и анализа данных с нуля.

В последних статьях мы рассмотрели пару задачек по классификации, в процессе потом и кровью добывая себе данные, теперь пришло время регрессии. Поскольку ничего светотехнического в этот раз под рукой не оказалось, я решил поскрести по другим

2017-10-14 11:00

«Город завтрашнего дня» — рецензия


большие данные

ПостНаука рассказывает о современных технологиях в проекте «Банк знаний», созданном вместе с Корпоративным университетом Сбербанка.

Книга архитектора Карло Ратти и дизайнера Мэтью Клодела, выпущенная в прошлом году издательством Йельского университета, представляет собой, по мнению ряда экспертов, прекрасное описание таких современных подходов к городскому проектированию, которые основаны на широком применении результатов аналитики больших данных и технологий «интернета вещей». «Если вам

2017-10-13 15:07

Лекция Константина Воронцова «Машинное обучение: шаг в цифровую экономику»


анализ больших данных, искусственный интеллект

запускает цикл онлайн-трансляций самых интересных научных лекций от ведущих университетов страны на платформе ВКонтакте.

Этот цикл откроют семинары по искусственному интеллекту. Они будут интересны тем, кто хочет заглянуть в будущее и узнать о передовых исследованиях в этой области.

16 октября 18:30 (МСК)

Тема первой встречи: «Машинное обучение: шаг в цифровую экономику». Ведущий — Константин Вячеславович Воронцов, профессор РАН, заведующий лабораторией машинного интеллекта МФТИ.
 

2018-01-03 14:00

Прикладные задачи анализа данных. Евгений Соколов


машинное обучение, big data

Интенсив для преподавателей НИУ ВШЭ в рамках проекта Data Culture. Как современные методы машинного обучения и искусственного интеллекта меняют подходы во многих научных областях? Почему владение основами этих методов становится частью общей научной культуры исследователя вне зависимости от конкретной предметной области? Ответы на эти и другие вопросы в рамках лекции даёт Евгений Соколов, Заместитель руководителя Департамент больших данных и информационного поиска Факультета компьютерных наук

2017-10-30 14:00

Где взять большие данные, если они доступны всем


большие данные

Каждая секунда и доля секунды несёт в себе миллионы данных. Но не стоит думать, что собирать их могут только такие гиганты, как Google или Amazon.

Еркин Бердалин, соучредитель компании BAK International, уверен, что большие данные доступны всем тем, кто смог найти способ их хранить, обрабатывать и подвергать различным способам анализа. 

Зачем нужны большие данные, когда многие маркетологи уверены, что могут обойтись своими силами в привлечении новых клиентов. Ведь таких

2017-10-25 14:20

Артур Хачуян- «Настоящая Big Data в рекламе»


большие данные, Семинары

Артур Хачуян ушел из рекламного агентства «Апостол» Тины Канделаки — и весь отдел кибернетики ушел вместе с ним.

Сегодня они круглосуточно скачивают открытую информацию из соцсетей, блогов, форумов и медиа. Бесконечные массивы данных связывают и анализируют по заказу клиентов: бренды хотят прицельно таргетировать рекламу и угадывать желания клиентов, журналисты — проводить расследования, госорганы — находить преступников.

Ребятам есть что интересного показать и рассказать. Обязательно

2017-10-22 13:00

Математика больших данных: тензоры, нейросети, байесовский вывод - Ветров Д.П.


big data

Математика больших данных.

Как можно хранить и обрабатывать многомерные массивы в линейных по памяти структурах? Что дает обучение нейронных сетей из триллионов триллионов нейронов и как можно осуществить его без переобучения? Можно ли обрабатывать информацию "на лету", не сохраняя поступающие последовательно данные? Как оптимизировать функцию за время меньшее чем уходит на ее вычисление в одной точке? Что дает обучение по слаборазмеченным данным? И почему для решения всех перечисленных

2017-10-06 15:35

Топливо для ИИ: подборка открытых датасетов для машинного обучения


большие данные

Связанные проекты сообщества Open Data (проект Linked Open Data Cloud). Многие датасеты на этой диаграмме могут включать в себя данные, защищенные авторским правом, и они не упоминаются в данной статье

Если вы прямо сейчас не делаете свой ИИ, то другие будут делать его вместо вас для себя. Ничто более не мешает вам создать систему на основе машинного обучения. Есть открытая библиотека глубинного обучения TensorFlow, большое количество алгоритмов для обучения в библиотеке Torch,

2017-08-21 19:33

Лекция 1. Анализ данных на R в примерах и задачах


big data, теория программирования, машинное обучение

Русскоязычный курс от Computer Science Center, посвященный базовым элементам программирования на языке R, а также кластерному анализу, проверке статистических гипотез, линейному регрессионному анализу, прогнозированию и машинному обучению.

В данном видеокурсе:

1. Анализ данных на R в примерах и задачах.

2. Элементы программирования в R. Описательные статистики.

3. Кластерный анализ.

4. Метод к-средних. Проверка гипотез.

5. Проверка статистических гипотез.

6. Проверка

2017-08-17 10:07

Основы нейронных сетей и Deep Learning


большие данные

Подборка выступлений с Moscow Data Science Meetup — русскоязычного мероприятия для интересующихся Data Science, анализом, майнингом и визуализацией структурированных и неструктурированных данных.

Прикрепленные видео:

1. Основы нейронных сетей и Deep Learning — Алексей Озерин.

2–3. Обработка больших данных при помощи Apache Spark — Виталий Худобахшов.

4. Как перестать бояться и начать решать convai.io — Валентин Малых.

5. Градиентный бустинг: возможности, особенности и фишки

2017-08-16 17:08

#1 Большие данные в большой компании | Включайся!


анализ больших данных

Что такое Big Data и как это на самом деле влияет на мир вокруг нас?

Прямо сейчас в прямом эфире Екатерина Линкевич – директор по аналитике больших данных большой компании МегаФон.

2017-08-10 19:07

Лекция 1: Общее понятие о больших данных


big data

Видеокурс «Введение в аналитику больших массивов данных».

Русскоязычный курс, знакомящий слушателей с основными понятиями в области аналитической обработки больших данных. В курсе изложены основы машинного обучения, визуализации и хранения больших данных.

В данном видеокурсе:

1. Общее понятие о больших данных.

2. Основные вызовы больших данных.

3. Определение термина «большие данные».

4. Процесс аналитики.

5. Введение в когнитивный анализ данных.

6.

2017-08-05 13:10

37 причин, почему ваша нейросеть не работает


big data, пример нейронной сети

Сеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.

Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально слабая точность)? С чего начать проверку?

Сеть может не обучаться по ряду причин. По итогу многих отладочных сессий я заметил, что часто делаю одни и те же

2017-07-22 19:07

Методы и системы обработки больших данных | Иван Пузыревский


анализ больших данных

Видеокурс «Методы и системы обработки больших данных».

Русскоязычный курс, посвященный методам построения систем обработки больших данных и существующим инструментам в этой области. Цель курса — дать понимание внутреннего устройства, механики работы, области применимости существующих решений, осветить сильные и слабые стороны, научить практическим навыкам анализа больших массивов информации.

В данном видеокурсе:

1. HDFS.

2. MapReduce.

3. HBase.

4. Cassandra.

5.

2017-07-14 11:07

Big Data — всё по этой теме для программистов


машинное обучение и анализ данных, анализ больших данных

Всё для изучения Python: 181 бесплатный материал + бонус

В данном списке вы сможете найти материалы для изучения языка Python с целью применения его в анализе данных и не только. Последний раздел — это бонус: если этой подборки вам оказалось... Читать дальше

Уникальное событие: эксперт по Big Data Кристал Валентайн приедет с единственным выступлением в Россию

Информация подтвердилась, на крупнейшей конференции программистов России «Разработка ПО» Кристал Валентайн расскажет, как технологии

2017-07-09 10:33

011. Neural conversational models: как научить нейронную сеть светской беседе — Борис Янгель


анализ больших данных

Подборка лекций с Data & Science — конференции, на которой ведущие учёные и эксперты рассказывают о применении больших данных в фундаментальной и прикладной науке.

Прикрепленные к посту видео:

1. Neural conversational models: как научить нейронную сеть светской беседе — Борис Янгель.

2. Goal-Oriented диалоговые движки — Евгений Волков.

3. What’s hot in bioinformatics? From data to implementations — Андрей Афанасьев.

4. Алгоритмические задачи в биоинформатике — Игнатий

2017-07-06 14:12

Отжиг и вымораживание: две свежие идеи, как ускорить обучение глубоких сетей


архитектура нейронных сетей, большие данные, машинное обучение Python

В этом посте изложены две недавно опубликованные идеи, как ускорить процесс обучения глубоких нейронных сетей при увеличении точности предсказания. Предложенные (разными авторами) способы ортогональны друг другу, и могут использоваться совместно и по отдельности. Предложенные здесь способы просты для понимания и реализации. Собственно, ссылки на оригиналы публикаций:Snapshot ensembles (апрель 2017)FreezeOut (июнь 2017)

1. Ансамбль снимков: много моделей по цене одной

Обычные ансамбли

2017-06-28 10:33

Автоматическое извлечение семантической информации из текста - Иван Титов


изучение социальных сетей, системы технического зрения, лингвистика, большие данные

Подборка лекций от ведущих исследователей анализа данных, информационного поиска и других областей.

Прикрепленные видео:

1. Автоматическое извлечение семантической информации из текста — Иван Титов.

2. Квантовое хеширование — Фарид Аблаев.

3. Будущее нейрокомпьютерных интерфейсов — Nathan Intrator.

4. Компьютерное зрение — Andrea Vedaldi.

5. Экстремальные свойства графов, возникающие из социальных сетей — Konstantin Avrachenkov.

6. Торги в реальном времени — Jun

2017-06-19 06:02

Ловись Data большая и маленькая! (Краткий обзор курсов по Data Science от Cognitive Class)


big data

В последнее время все чаще натыкаюсь на упоминание о «Data Science» или по-нашему «Наука о данных». Не являюсь специалистом в области IT и на протяжении всей жизни не дружу с мат. анализом и статистикой, поэтому я достаточно долго проходил мимо этого вопроса и наверное, продолжал бы проходить стороной, но в какой-то момент любопытство взяло верх.

Итак, Cognitive Class, он же Big Data University от IBM (иногда сокращенно BDU) – портал с бесплатными курсами по тематике близкой к BIG Data и

2017-06-15 11:07

Подборка лекций с «Data & Science» — конференции


большие данные

Подборка лекций с «Data & Science» — конференции, на которой ведущие учёные и эксперты рассказывают о применении больших данных в фундаментальной и прикладной науке.

Прикрепленные к посту видео:

1. Явления, измерения, результаты: размышления об анализе данных в физике — Владимир Шевченко.

2. Большие данные на Большом адронном коллайдере — Фёдор Ратников.

3. Оптимизация топологического триггера LHCb — Татьяна Лихоманенко.

4. Пример анализа данных в физике высоких энергий

2017-05-15 22:31

Введение в обработку Больших Данных


большие данные

Фразы «Большие данные», «искусственный интеллект» мы слышим сегодня буквально каждый день. Для многих они ассоциируются с фильмами Матрица / Терминатор, а вовсе не с реальной жизнью. И уж тем более не с реальными профессиями в области IT.

На мастер-классе я расскажу, почему IT-специалистам (особенно будущим) крайне важно понимать эти термины сейчас. Мы обсудим базовые понятия и инструменты в области обработки Больших Данных и где этому научиться.

Дополнительные материалы по теме:

2017-04-30 07:28

Весь мир — BIG DATA


машинное обучение и анализ данных, анализ больших данных

Практически любой близкий к IT-индустрии человек хоть раз да слышал эти загадочные два слова — «BIG DATA». Что за ними скрывается, где применяются технологии обработки больших объемов данных и с чего можно начать при их изучении, рассказал Евгений Чернов — преподаватель образовательного проекта «Техносфера» и создатель онлайн курсов по Hadoop — системе обработки больших объемов данных.

В первую очередь с большими объемами данных столкнулись, конечно же, большие компании, такие как Google.

2017-04-23 20:46

Артур Хачуян: «Настоящая Big Data в рекламе»


анализ больших данных

Познавательная лекция о том, как действительно работает Big Data в рекламе сегодня. Можно извлечь кучу идей для своих проектов! ?

2017-04-03 18:10

Открытый курс машинного обучения. Тема 6. Построение и отбор признаков


машинное обучение, алгоритмы кластеризации, пример нейронной сети, big data

Сообщество Open Data Science приветствует участников курса!

В рамках курса мы уже познакомились с несколькими ключевыми алгоритмами машинного обучения. Однако перед тем как переходить к более навороченным алгоритмам и подходам, хочется сделать шаг в сторону и поговорить о подготовке данных для обучения модели. Известный принцип garbage in – garbage out на 100% применим к любой задаче машинного обучения; любой опытный аналитик может вспомнить примеры из практики, когда простая модель,

2017-03-21 06:43

Открытый курс машинного обучения. Тема 4. Линейные модели классификации и регрессии


большие данные, машинное обучение Python, реализация нейронной сети

Сегодня мы детально обсудим очень важный класс моделей машинного обучения – линейных.

Ключевое отличие нашей подачи материала от аналогичного в курсах эконометрики и статистики – это акцент на практическом применении линейных моделей в реальных задачах (хотя и математики тоже будет немало).

Пример двух таких задач – это соревнования Kaggle Inclass по прогнозированию популярности статьи на Хабре и по идентификации взломщика в Интернете по его последовательности переходов по сайтам. Домашним

2017-03-19 16:06

Лекция 1: Задачи Data Mining


алгоритмы кластеризации данных, анализ больших данных

Алгоритмы интеллектуальной обработки больших объемов данных

1. Задачи Data Mining

2. Задача кластеризации и ЕМ-алгоритм

3. Различные алгоритмы кластеризации

4. Задача классификации

5. Обработка текстов, Naive Bayes

6. Линейные модели для классификации и регрессии

7. Машина опорных векторов

8. Методы снижения размерности пространства

9. Алгоритмические композиции

Все 13 лекций доступны по ссылке:

https://vk.com/videos-54530371?section=album_56085995

2017-01-11 13:12

Машинное обучение — это легко


машинное обучение Python, большие данные

В данной статье речь пойдёт о машинном обучении в целом и взаимодействии с датасетами. Если вы начинающий, не знаете с чего начать изучение и вам интересно узнать, что такое «датасет», а также зачем вообще нужен Machine Learning и почему в последнее время он набирает все большую популярность, прошу под кат. Мы будем использовать Python 3, так это как достаточно простой инструмент для изучения машинного обучения.

Для кого эта статья? Каждый, кому будет интересно затем покопаться в истории за

2016-09-11 21:03

"Опыт участия в Microsoft Malware Classification Challenge" Михаил Трофимов (Machine Learning Works)


большие данные, распознавание образов, машинное обучение Python, искусственные нейронные сети, реализация нейронной сети

Несколько докладов по анализу данных и машинному обучению с недавнего Python Data Science meetup

1. О том, как проанализировать 200 Гб данных на ноутбуке, какие проблемы могут возникнуть в процессе и как автор с ними боролся.

2. Об опыте построения алгоритма классификации изображений автомобилей.

3. Как научить приложение распознавать категории объявлений по изображениям.