Большие данные (big data), методы анализа, алгоритмы 2017

МЕНЮ


Искусственный интеллект. Новости
Поиск

ТЕМЫ


Внедрение ИИНовости ИИРобототехника, БПЛАТрансгуманизмЛингвистика, обработка текстаБиология, теория эволюцииВиртулаьная и дополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информации

RSS


RSS новости

Авторизация



Новостная лента форума ailab.ru

Последние новости

 

Главные новости

2017-10-14 11:00

«Город завтрашнего дня» — рецензия


большие данные

ПостНаука рассказывает о современных технологиях в проекте «Банк знаний», созданном вместе с Корпоративным университетом Сбербанка.

Книга архитектора Карло Ратти и дизайнера Мэтью Клодела, выпущенная в прошлом году издательством Йельского университета, представляет собой, по мнению ряда экспертов, прекрасное описание таких современных подходов к городскому проектированию, которые основаны на широком применении результатов аналитики больших данных и технологий «интернета вещей». «Если вам

2017-10-13 15:07

Лекция Константина Воронцова «Машинное обучение: шаг в цифровую экономику»


анализ больших данных, искусственный интеллект

запускает цикл онлайн-трансляций самых интересных научных лекций от ведущих университетов страны на платформе ВКонтакте.

Этот цикл откроют семинары по искусственному интеллекту. Они будут интересны тем, кто хочет заглянуть в будущее и узнать о передовых исследованиях в этой области.

16 октября 18:30 (МСК)

Тема первой встречи: «Машинное обучение: шаг в цифровую экономику». Ведущий — Константин Вячеславович Воронцов, профессор РАН, заведующий лабораторией машинного интеллекта МФТИ.

2017-10-05 13:51

Создатель Open Data Science о Slack, xgboost и GPU


машинное обучение, big data, поисковые алгоритмы, искусственные нейронные сети, реализация нейронной сети

Сообщество Open Data Science (ODS) уже известно на Хабре по открытому курсу машинного обучения (OpenML). Сегодня мы поговорим с его создателем об истории ODS, людях и наиболее популярных методах машинного обучения (по версии Кaggle и проектам индустрии). За интересными фактами и технической экспертизой — прошу под кат.

Алексей Натекин natekin . Основатель ряда проектов, связанных с машинным обучением и анализом данных. Диктатор и координатор Open Data Science — крупнейшего в Восточной Европе

2017-10-05 12:11

Беседа с Константином Воронцовым


большие данные

Беседа с Константином Вячеславовичем Воронцовым про то, как у него дела, что нужно делать, чтоб не заржаветь, как нам догонять Запад и Восток, нужно ли в Data Science делать упор на математику, что нового еще принесут в нашу жизнь соревнования по анализу данных и почему деревья решений так хорошо работают.

2017-09-30 12:07

Игорь Балк (Global Innovation Labs) – об анализе данных для оценки расходования средств на Big Data Conference


big data, Семинары

По итогам прошедшей 15 сентября 2017 года Big Data Conference, организованной Rusbase и Global Innovation Labs, публикуем подробные отчеты с выступлений всех спикеров.

В рамках конференции в трёх залах были представлены кейсы в «Бизнес-треке», технологические решения в «Техническом треке» и доклады на «Научном семинаре». Общий отчет с мероприятия можно найти по ссылке.

Игорь Балк, представляющий Global Innovation Labs, рассказал об использовании анализа данных для оценки

2017-09-29 16:00

Big Data. Знакомство с одной из самых сексапильных IT специальностей 21 века


анализ больших данных

Начни карьеру с бесплатного курса "Основы программирования" https://geekbrains.ru/basics_intensiv...< br>На вебинаре мы в увлекательной и доступной форме познакомимся с невероятной Вселенной анализа данных и искусственного интеллекта.

Мы увидим, что происходит, когда в пространствах огромной размерности компьютер оказывается сильнее человека, когда эксперты пасуют перед машиной.

Попытаемся разобраться, почему журналисты иногда называют анализ данных одной из самых сексапильных специальностей

2017-09-27 13:00

Интервью создателя компании Полиматика Рус о компании и будущем Business Intelligence


машинное обучение и анализ данных, анализ больших данных

Компания «Полиматика Рус» – российский разработчик аналитической платформы для обработки больших объемов информации с использованием алгоритмов интеллектуального анализа данных и машинного обучения.

Встретиться с сотрудниками компании и узнать подробнее о системах Data Mining, OLAP-серверов и интерактивных визуализаторов можно на GPU TECHNOLOGY CONFERENCE - единственной конференции в Европе, посвященной технологиям глубокого и машинного обучения, VR и беспилотным автомобилям. Принять участие

2017-09-23 23:52

Кто, как и зачем собирается регулировать Big Data в России?


большие данные

Сегодня утром получил очередное PR-письмо с таким очередным предложением: Готовы предоставить комментарий с анализом и прогнозом по законопроекту о регулировании Big Data будет, который будет готов к концу 2017 года. Тема («регулирование Big Data») меня сразу заинтересовала (я был у ее истоков ), и я спросил в ответ: «О каком именно законопроекте спич?»

«Вот об этом, ria.ru/technology/20170919/1505085765.html», — оперативно ответила мой контрагент по переписке:

Медиа-Коммуникационный союз

2017-09-18 10:40

«Используй Силу машинного обучения, Люк!» или автоматическая классификация светильников по КСС


большие данные, машинное обучение Python

«Сила машинного обучения среди нас, методы её окружают нас и связывают. Сила вокруг меня, везде, между мной, тобой, решающим деревом, лассо, гребнем и вектором опорным» Так бы, наверное, мне сказал Йода если бы он учил меня пути Data Science.

К сожалению, пока среди моих знакомых зеленокожие морщинистые личности не наблюдаются, поэтому просто продолжим вместе с вами наш совместный путь обучения науке о данных от уровня абсолютного новика до … настоящего джедая того, что в итоге получиться.

В

2017-09-17 15:00

О чем говорили «технари» на Big Data Conference 2017


искусственные нейронные сети, большие данные

О чем говорили «технари» на Big Data Conference 2017Международная конференция Big Data Conference объединяет создателей новых технологий в области больших данных, представителей бизнеса и молодых ученых. В этом году мероприятие прошло 15 сентября в Москве.

За время существования конференция стала дискуссионной площадкой для отслеживания трендов в области анализа больших данных и встреч лидеров Data Science. Три трека конференции Big Data Conference позволили участникам услышать самые свежие

2017-09-14 19:20

Большие данные и законодательство о конкуренции


анализ больших данных

Большие данные и законодательство о конкуренции

ЕЗЗ К.С. Ючинсон

преподаватель Департамента правового регулирования экономической деятельности Финансового университета при Правительстве Российской Федерации. Адрес: 125993 Российская Федерация, Москва, Ленинградский пр., 49. E-mail: Kyychinson@fa.ru

*'—I—I Аннотация

Расширение доступа к сети Интернет в глобальном масштабе и кратный рост вычислительных мощностей привели к распространению бизнес-моделей, строящихся на сборе и обработке

2017-09-11 17:48

Apache Ignite 2.1 — теперь со вкусом Persistence


машинное обучение Python, большие данные

В конце июля вышла версия Apache Ignite 2.1. Apache Ignite — распределенная свободная HTAP-платформа (HTAP — Hybrid Transactional and Analytical Processing, системы, которые могут обрабатывать как транзакционную, так и аналитическую нагрузку) для хранения данных в оперативной памяти и на диске, а также вычислений в реальном времени. Ignite написан на Java и может быть плотно интегрирован с .NET и C++.

Версия 2.1 очень богата на значимые, практически применимые функции, базирующиеся на

2017-09-08 08:47

«Как по нотам!» или Машинное обучение (Data science) на C# с помощью Accord.NET Framework


машинное обучение Python, большие данные, разработка по

Вчера после публикации статьи zarytskiy «Какой язык программирования выбрать для работы с данными?» я понял, что .net в целом и C# в частности не рассматривается, как инструмент для машинного обучения и анализа данных. Не то, чтобы для этого совсем не было объективных причин, но все же надо восстановить справедливость и потратить пару минут на рассказ о фреймворке Accord.NET.

Итак, в прошлой статье цикла, посвящённого обучению Data Science с нуля, мы с вами разбирали вопрос создания своего

2017-09-07 19:20

Урок 1 - Введение в Анализ Данных


большие данные

В этом видео Вы узнаете, что такое анализ данных, кластеризация и выделение признаков.Познакомитесь с основными методами анализа данных, стандартными задачами и алгоритмами.Поймете как применяется машинное обучение в анализе данных.

2017-09-06 18:57

Открытый курс OpenDataScience и Mail.ru Group по машинному обучению. Лекция 1. Pandas


big data, Семинары

В 1 лекции мы обсудим курс и попрактикуемся в первичном анализе данных с помощью библиотеки Pandas.

2017-09-05 15:10

Большие данные могут возродить плановую экономику


большие данные

Большие данные могут вернуть к жизни плановую экономику. В Китае считают, что океаны информации могут сделать централизованные системы более эффективными, пишет Джон Торнхолл в колонке Financial Times.

Cуществует несколько теорий о том, почему Советский Союз рухнул: имперское перенапряжение, экономическая неэффективность, идеологическое банкротство. Но в своей книге «Homo Deus» израильский историк Юваль Ноа Харари предлагает более прозаичную версию: плановые

2017-09-04 15:34

Data & Science


большие данные

Год назад Яндекс запустил цикл Data & Science, посвящённый анализу данных в прикладных и фундаментальных науках. Вы можете узнать, как машинное обучение решает задачи медицины, урбанистики, нейрофизиологии, физики высоких энергий и многие другие.

2017-09-04 09:05

“Восстание МашинLearning” или совмещаем хобби по Data Science и анализу спектров лампочек


машинное обучение, big data

В завершающей статье цикла, посвящённого обучению Data Science с нуля, я делился планами совместить мое старое и новое хобби и разместить результат на Хабре. Поскольку прошлые статьи нашли живой отклик у читателей, я решил не откладывать это надолго.

Итак, на протяжении уже нескольких лет я в свободное время копошусь в вопросах, связанных с освещением и больше всего мне интересны спектры разных источников света, как «пращуры» производных от них характеристик. Но не так давно у меня совершенно

2017-08-31 16:14

Big Data и Одноклассники: как поступают с данными во 2-й по посещаемости соцсети в России


большие данные, анализ социальных сетей

У Одноклассников не отнять главного — это вторая по посещаемости соцсеть в России (4-е место среди всех сайтов Рунета). А, например, в Армении и вовсе первая. Миллионы людей ежедневно заходят на сайт сети и оставляют там терабайты данных, которые можно анализировать. Какие данные соцсеть собирает с пользователей? На каком стеке можно влегкую обрабатывать десятки терабайт данных в сутки? И всегда ли больше данных — лучше?

Мы взяли интервью у Дмитрия Бугайченко, который рассказал нам про

2017-08-30 10:16

Обзор методов Data Mining » Интеллектуальный анализ данных


big data

Стремительное развитие информационных технологий, в частности, прогресс в методах сбора, хранения и обработки данных позволил многим организациям собирать огромные массивы данных, которые необходимо анализировать. Объемы этих данных настолько велики, что возможностей экспертов уже не хватает.На сегодняшний день интенсивно развивается направление, связанное с интеллектуализацией методов обработки и анализа данных. Интеллектуальные системы анализа данных (ИСАД) призваны минимизировать усилия

2017-08-27 17:01

Ашманов Игорь. Цифровая колонизация и закон Старджона


большие данные, кибербезопасность, блокчейн

«…Коллеги, есть крутые вакансии в сфере блокчейн (ICO) и банкинга. Ищем сильного PR-менеджера, копирайтера и 2-3 человека в product support. Желательно из банкинга….»

Мы видим в СМИ и соцсетях чудовищный хайп вокруг новых технологий, «нового технологического уклада». Ему уже с полгода. Не заметить его нельзя. Ну если уже на совещаниях у Путина повторяют эти модные шумовые слова, значит, коробочка уже заполнилась доверху.

Биткоин, блокчейн, ИИ, уберизация, Большие данные… Хватай мешки,

2017-08-27 16:54

«От больших данных к Большому Брату»


кибербезопасность, большие данные

Современные государства приобретают все большее число инструментов сбора и анализа данных о каждом гражданине. Эти данные могут использоваться не только для повышения качества жизни каждого из нас, но и для того чтобы отслеживать каждого человека, каждое малое и крупное событие.

Но является ли это чем-то уникальным? Государства следуют той же канвой, что и все крупнейшие корпорации последних лет. Интернет-технологии позволяют монетизировать слежку за гражданами, как минимум, в части

2017-08-21 22:45

Зачем изучать Spark?


анализ больших данных, машинное обучение и анализ данных

Зачем разработчикам изучать Spark? Как освоить технологию в домашних условиях? Что умеет, а чего не умеет Spark и что ждет его в будущем? Об этом – в интервью с тренером по Java и Big Data в ЕРАМ Алексеем Зиновьевым.

— Ты тренер по Java и Big Data – что это значит? Чем ты занимаешься?

— В EPAM я готовлю и провожу тренинги по запросу команд для старших и ведущих инженеров (или, как говорят у нас на Айтищщине, – синьоров и лидов). Копать все темы с буквой J на глубоком уровне не под силу

2017-08-21 14:20

«Большие данные» в экономических исследованиях: источники информации, направления анализа и требуемы


большие данные

«Большие данные» в экономических исследованиях:источники информации, направления анализа и требуемые компетенции

Революционные изменения в информационной среде, обусловленные ростом числа «интеллектуальных» устройств, числа интернет-пользователей, скорости передачи данных в широкополосных каналах открывают новые возможности в различных сферах человеческой деятельности. Не является исключением и научная сфера экономических исследований. Последние, как известно, требуют значительных

2017-08-20 14:43

К чему приведет объединение искусственного интеллекта и больших данных в бизнесе


большие данные, искусственный интеллект

Искусственный интеллект — одна из самых актуальных тенденций в мире технологий. Настоящим прорывом стало объединение AI с большими данными. О том, что этот прорыв значит для бизнеса и как его используют компании, пишет The Next Web.

Исследователи по всему миру ищут способы, которые помогут объединить искусственный интеллект и большие данные. Не проходит и дня без новостей о новых изобретениях в этой отрасли. Бизнес тоже заинтересован в этом: от того, удастся ли компании внедрить новые и самые
 

2017-10-22 13:00

Математика больших данных: тензоры, нейросети, байесовский вывод - Ветров Д.П.


big data

Математика больших данных.

Как можно хранить и обрабатывать многомерные массивы в линейных по памяти структурах? Что дает обучение нейронных сетей из триллионов триллионов нейронов и как можно осуществить его без переобучения? Можно ли обрабатывать информацию "на лету", не сохраняя поступающие последовательно данные? Как оптимизировать функцию за время меньшее чем уходит на ее вычисление в одной точке? Что дает обучение по слаборазмеченным данным? И почему для решения всех перечисленных

2017-10-06 15:35

Топливо для ИИ: подборка открытых датасетов для машинного обучения


большие данные

Связанные проекты сообщества Open Data (проект Linked Open Data Cloud). Многие датасеты на этой диаграмме могут включать в себя данные, защищенные авторским правом, и они не упоминаются в данной статье

Если вы прямо сейчас не делаете свой ИИ, то другие будут делать его вместо вас для себя. Ничто более не мешает вам создать систему на основе машинного обучения. Есть открытая библиотека глубинного обучения TensorFlow, большое количество алгоритмов для обучения в библиотеке Torch,

2017-08-21 19:33

Лекция 1. Анализ данных на R в примерах и задачах


big data, теория программирования, машинное обучение

Русскоязычный курс от Computer Science Center, посвященный базовым элементам программирования на языке R, а также кластерному анализу, проверке статистических гипотез, линейному регрессионному анализу, прогнозированию и машинному обучению.

В данном видеокурсе:

1. Анализ данных на R в примерах и задачах.

2. Элементы программирования в R. Описательные статистики.

3. Кластерный анализ.

4. Метод к-средних. Проверка гипотез.

5. Проверка статистических гипотез.

6. Проверка

2017-08-17 10:07

Основы нейронных сетей и Deep Learning


большие данные

Подборка выступлений с Moscow Data Science Meetup — русскоязычного мероприятия для интересующихся Data Science, анализом, майнингом и визуализацией структурированных и неструктурированных данных.

Прикрепленные видео:

1. Основы нейронных сетей и Deep Learning — Алексей Озерин.

2–3. Обработка больших данных при помощи Apache Spark — Виталий Худобахшов.

4. Как перестать бояться и начать решать convai.io — Валентин Малых.

5. Градиентный бустинг: возможности, особенности и фишки

2017-08-16 17:08

#1 Большие данные в большой компании | Включайся!


анализ больших данных

Что такое Big Data и как это на самом деле влияет на мир вокруг нас?

Прямо сейчас в прямом эфире Екатерина Линкевич – директор по аналитике больших данных большой компании МегаФон.

2017-08-10 19:07

Лекция 1: Общее понятие о больших данных


big data

Видеокурс «Введение в аналитику больших массивов данных».

Русскоязычный курс, знакомящий слушателей с основными понятиями в области аналитической обработки больших данных. В курсе изложены основы машинного обучения, визуализации и хранения больших данных.

В данном видеокурсе:

1. Общее понятие о больших данных.

2. Основные вызовы больших данных.

3. Определение термина «большие данные».

4. Процесс аналитики.

5. Введение в когнитивный анализ данных.

6.

2017-08-05 13:10

37 причин, почему ваша нейросеть не работает


big data, пример нейронной сети

Сеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.

Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально слабая точность)? С чего начать проверку?

Сеть может не обучаться по ряду причин. По итогу многих отладочных сессий я заметил, что часто делаю одни и те же

2017-07-27 12:50

Нестандартная кластеризация, часть 3: приёмы и метрики для кластеризации временных рядов


Кластеризация, большие данные

Пока другие специалисты по машинному обучению и анализу данных выясняют, как прикрутить побольше слоёв к нейронной сети, чтобы она ещё лучше играла в Марио, давайте обратимся к чему-нибудь более приземлённому и применимому на практике.

Кластеризация временных рядов — неблагодарное дело. Даже при группировке статических данных часто получаются сомнительные результаты, что уж говорить про информацию, рассеянную во времени. Однако нельзя игнорировать задачу, только потому что она сложна.

2017-07-22 19:07

Методы и системы обработки больших данных | Иван Пузыревский


анализ больших данных

Видеокурс «Методы и системы обработки больших данных».

Русскоязычный курс, посвященный методам построения систем обработки больших данных и существующим инструментам в этой области. Цель курса — дать понимание внутреннего устройства, механики работы, области применимости существующих решений, осветить сильные и слабые стороны, научить практическим навыкам анализа больших массивов информации.

В данном видеокурсе:

1. HDFS.

2. MapReduce.

3. HBase.

4. Cassandra.

5.

2017-07-14 11:07

Big Data — всё по этой теме для программистов


машинное обучение и анализ данных, анализ больших данных

Всё для изучения Python: 181 бесплатный материал + бонус

В данном списке вы сможете найти материалы для изучения языка Python с целью применения его в анализе данных и не только. Последний раздел — это бонус: если этой подборки вам оказалось... Читать дальше

Уникальное событие: эксперт по Big Data Кристал Валентайн приедет с единственным выступлением в Россию

Информация подтвердилась, на крупнейшей конференции программистов России «Разработка ПО» Кристал Валентайн расскажет, как технологии

2017-07-09 10:33

011. Neural conversational models: как научить нейронную сеть светской беседе — Борис Янгель


анализ больших данных

Подборка лекций с Data & Science — конференции, на которой ведущие учёные и эксперты рассказывают о применении больших данных в фундаментальной и прикладной науке.

Прикрепленные к посту видео:

1. Neural conversational models: как научить нейронную сеть светской беседе — Борис Янгель.

2. Goal-Oriented диалоговые движки — Евгений Волков.

3. What’s hot in bioinformatics? From data to implementations — Андрей Афанасьев.

4. Алгоритмические задачи в биоинформатике — Игнатий

2017-07-06 14:12

Отжиг и вымораживание: две свежие идеи, как ускорить обучение глубоких сетей


архитектура нейронных сетей, большие данные, машинное обучение Python

В этом посте изложены две недавно опубликованные идеи, как ускорить процесс обучения глубоких нейронных сетей при увеличении точности предсказания. Предложенные (разными авторами) способы ортогональны друг другу, и могут использоваться совместно и по отдельности. Предложенные здесь способы просты для понимания и реализации. Собственно, ссылки на оригиналы публикаций:Snapshot ensembles (апрель 2017)FreezeOut (июнь 2017)

1. Ансамбль снимков: много моделей по цене одной

Обычные ансамбли

2017-06-28 10:33

Автоматическое извлечение семантической информации из текста - Иван Титов


изучение социальных сетей, техническое зрение, лингвистика, большие данные

Подборка лекций от ведущих исследователей анализа данных, информационного поиска и других областей.

Прикрепленные видео:

1. Автоматическое извлечение семантической информации из текста — Иван Титов.

2. Квантовое хеширование — Фарид Аблаев.

3. Будущее нейрокомпьютерных интерфейсов — Nathan Intrator.

4. Компьютерное зрение — Andrea Vedaldi.

5. Экстремальные свойства графов, возникающие из социальных сетей — Konstantin Avrachenkov.

6. Торги в реальном времени — Jun

2017-06-19 06:02

Ловись Data большая и маленькая! (Краткий обзор курсов по Data Science от Cognitive Class)


big data

В последнее время все чаще натыкаюсь на упоминание о «Data Science» или по-нашему «Наука о данных». Не являюсь специалистом в области IT и на протяжении всей жизни не дружу с мат. анализом и статистикой, поэтому я достаточно долго проходил мимо этого вопроса и наверное, продолжал бы проходить стороной, но в какой-то момент любопытство взяло верх.

Итак, Cognitive Class, он же Big Data University от IBM (иногда сокращенно BDU) – портал с бесплатными курсами по тематике близкой к BIG Data и

2017-06-15 11:07

Подборка лекций с «Data & Science» — конференции


большие данные

Подборка лекций с «Data & Science» — конференции, на которой ведущие учёные и эксперты рассказывают о применении больших данных в фундаментальной и прикладной науке.

Прикрепленные к посту видео:

1. Явления, измерения, результаты: размышления об анализе данных в физике — Владимир Шевченко.

2. Большие данные на Большом адронном коллайдере — Фёдор Ратников.

3. Оптимизация топологического триггера LHCb — Татьяна Лихоманенко.

4. Пример анализа данных в физике высоких энергий

2017-05-15 22:31

Введение в обработку Больших Данных


большие данные

Фразы «Большие данные», «искусственный интеллект» мы слышим сегодня буквально каждый день. Для многих они ассоциируются с фильмами Матрица / Терминатор, а вовсе не с реальной жизнью. И уж тем более не с реальными профессиями в области IT.

На мастер-классе я расскажу, почему IT-специалистам (особенно будущим) крайне важно понимать эти термины сейчас. Мы обсудим базовые понятия и инструменты в области обработки Больших Данных и где этому научиться.

Дополнительные материалы по теме:

2017-04-30 07:28

Весь мир — BIG DATA


машинное обучение и анализ данных, анализ больших данных

Практически любой близкий к IT-индустрии человек хоть раз да слышал эти загадочные два слова — «BIG DATA». Что за ними скрывается, где применяются технологии обработки больших объемов данных и с чего можно начать при их изучении, рассказал Евгений Чернов — преподаватель образовательного проекта «Техносфера» и создатель онлайн курсов по Hadoop — системе обработки больших объемов данных.

В первую очередь с большими объемами данных столкнулись, конечно же, большие компании, такие как Google.

2017-04-23 20:46

Артур Хачуян: «Настоящая Big Data в рекламе»


анализ больших данных

Познавательная лекция о том, как действительно работает Big Data в рекламе сегодня. Можно извлечь кучу идей для своих проектов! ?

2017-04-03 18:10

Открытый курс машинного обучения. Тема 6. Построение и отбор признаков


машинное обучение, Кластеризация, пример нейронной сети, big data

Сообщество Open Data Science приветствует участников курса!

В рамках курса мы уже познакомились с несколькими ключевыми алгоритмами машинного обучения. Однако перед тем как переходить к более навороченным алгоритмам и подходам, хочется сделать шаг в сторону и поговорить о подготовке данных для обучения модели. Известный принцип garbage in – garbage out на 100% применим к любой задаче машинного обучения; любой опытный аналитик может вспомнить примеры из практики, когда простая модель,

2017-03-21 06:43

Открытый курс машинного обучения. Тема 4. Линейные модели классификации и регрессии


большие данные, машинное обучение Python, реализация нейронной сети

Сегодня мы детально обсудим очень важный класс моделей машинного обучения – линейных.

Ключевое отличие нашей подачи материала от аналогичного в курсах эконометрики и статистики – это акцент на практическом применении линейных моделей в реальных задачах (хотя и математики тоже будет немало).

Пример двух таких задач – это соревнования Kaggle Inclass по прогнозированию популярности статьи на Хабре и по идентификации взломщика в Интернете по его последовательности переходов по сайтам. Домашним

2017-03-19 16:06

Лекция 1: Задачи Data Mining


Кластеризация, big data

Алгоритмы интеллектуальной обработки больших объемов данных

1. Задачи Data Mining

2. Задача кластеризации и ЕМ-алгоритм

3. Различные алгоритмы кластеризации

4. Задача классификации

5. Обработка текстов, Naive Bayes

6. Линейные модели для классификации и регрессии

7. Машина опорных векторов

8. Методы снижения размерности пространства

9. Алгоритмические композиции

Все 13 лекций доступны по ссылке:

https://vk.com/videos-54530371?section=album_56085995

2017-01-11 13:12

Машинное обучение — это легко


машинное обучение Python, большие данные

В данной статье речь пойдёт о машинном обучении в целом и взаимодействии с датасетами. Если вы начинающий, не знаете с чего начать изучение и вам интересно узнать, что такое «датасет», а также зачем вообще нужен Machine Learning и почему в последнее время он набирает все большую популярность, прошу под кат. Мы будем использовать Python 3, так это как достаточно простой инструмент для изучения машинного обучения.

Для кого эта статья? Каждый, кому будет интересно затем покопаться в истории за

2016-11-16 17:25

Сотворение мира Опыт создания разумной жизни своими руками


машинное обучение, big data, Виртуальная реальность новости

Иногда проводишь день в попытках без использования терминов «рекурсивный вызов» и «идиоты» объяснить главному бухгалтеру, почему на самом деле простое изменение учетной системы затягивается почти на неделю из-за орфографической ошибки, допущенной кем-то в коде в 2009 году. В такие дни хочется пооборвать руки тому умнику, который сотворил этот мир, и переписать все с ноля.

Под катом история о том, как я в качестве практики для изучения Python разрабатываю свою библиотеку для агентного

2016-11-01 00:30

Статистика для математика


big data

В современных условиях интерес к анализу данных постоянно и интенсивно растет в совершенно различных областях, таких как биология, лингвистика, экономика, и, разумеется, IT. Основу этого анализа составляют статистические методы, и разбираться в них необходимо каждому уважающему себя специалисту в data mining.

К сожалению, действительно хорошая литература, такая что умела бы предоставить одновременно математически строгие доказательства и понятные интуитивные объяснения, встречается не очень

2016-09-11 21:03

"Опыт участия в Microsoft Malware Classification Challenge" Михаил Трофимов (Machine Learning Works)


большие данные, распознавание образов, машинное обучение Python, искусственные нейронные сети, реализация нейронной сети

Несколько докладов по анализу данных и машинному обучению с недавнего Python Data Science meetup

1. О том, как проанализировать 200 Гб данных на ноутбуке, какие проблемы могут возникнуть в процессе и как автор с ними боролся.

2. Об опыте построения алгоритма классификации изображений автомобилей.

3. Как научить приложение распознавать категории объявлений по изображениям.