Большие данные (big data), методы анализа, алгоритмы 2018

Одна из ключевых трудностей, связанных с современными технологиями, – разграничение сфер искусственного интеллекта, машинного обучения, больших данных, data science, глубинного обучения и др. Хотя все они тесно связаны, каждая отрасль имеет свою цель и решает различные задачи.

Все мы знакомы с онлайн-рекламой. Иногда она преследует нас в Интернете даже после покупки какого-то товара или услуги, основываясь на нашем поведении в Сети.

1- Распределённые файловые системы

2- Распределённая параллельная обработка данных технологией Map-Reduce

3- Полнотекстовый поиск

4- PageRank и распределённые вычисления на графах

5- NoSQL СУБД. Google Bigtable

6- NoSQL и согласованность. Percolator

Последние несколько лет в исторических науках наблюдается новый тренд – попытка объединить их с анализом данных и информатикой. Историки ищут новые способы извлекать информацию из старых источников при помощи искусственного интеллекта.

Итак, меньше слов, больше данных.

Подборка датасетов для машинного обучения

Подборка датасетов для машинного обучения:

00 - Data Science и ML. О курсе

01 - Data Science и ML. Детально о курсе

02 - Data Science и ML. Биг дэйта, дип машин лернинг, основные понятия

03 - Data Science и ML. Модель, нет, не супермодель, начнем с дерева

04 - Data Science и ML. Pandas, Dataframes, нет, панды тут ни при чем

Рассказывает Ирина Хомутова, эксперт и методолог курса SQL «Нетологии»

Что такое SQL?

Если коротко, это мощный инструмент для анализа и преобразования данных, который позволяет разработчикам обращаться к различным базам данных.

Исследователи из Amazon опубликовали аналог датасета ImageNet для товаров. Изображения товаров систематизированы и представлены в высоком разрешении. ProductNet создан с целью улучшить обучение представлений товаров.

Лекции по Big Data

1 - BigData. Введение в машинное обучение

2 - BigData. Python

3 - BigData. Что такое BigData

4 - BigData. OLAP. What and why

5 - BigData. IoT и BigData

6 - BigData. Сhallenges of classification

7 - BigData. Formal Context Analysis

В последнее время использование Python для Data Science стало популярным, и мы подготовили памятку с темами, которые полезно знать.

Затрагиваемые понятия и техники будут сопровождаться коротким описанием и по необходимости видеороликами для получения дополнительного опыта.

Евгений Бурнаев — об актуальных задачах машинного обучения, непристроенности российских больших данных и трудностях создания сообщества дата-сайентистов в России

Конспект материала сайта для предпринимателей, маркетологов, программистов и аналитиков Coriers.

Книги об анализе и обработке данных

Data Science за 3 месяца? В своем ли мы уме? Вполне. Расскажем, как стать аналитиком данных за 12 недель по курсам Microsoft и др.

SPSS — программа, которая используется для статистического анализа и обработки данных. Хотя многие считают R и Python более эффективными для анализа данных, SPSS все еще остается очень востребованной. Собрали полезные материалы, которые помогут вам освоить SPSS и статистические методы для проведения исследований

Математический анализ

Мысль о том, чтобы изучать Data Science, не даёт вам покоя? Возможно, не зря. В этой статье мы ответили на ряд популярных вопросов новичков.

В последнее время Data Science набирает популярность в IT-мире, и игнорировать эту технологию просто не получается. Так каково это ? изучать Data Science в 2019 году?

Как начать изучение Data Science? Что и где читать? Какие есть подводные камни, советы и уловки? Статья в помощь для Junior Data Scientist.

Область Data Science очень обширна, ее довольно сложно изучить всю сразу. Нужно определиться с направлением, выбрать его и «штудировать».

Собрали для вас самые интересные статьи по Data Science с нашего сайта https://proglib.io/

Общее

Актуальная математика: самый понятный курс по анализу данных

7 книг для начинающего специалиста по анализу данных

Автор: Лекс Кравецкий

Если вы где-то читаете фразу вида «оказалось, что у данных событий корреляция вот такая вот», то примерно в 99,99% случаев, если прямо не оговорено иного, речь идёт о коэффициенте корреляции Пирсона. «Дефолт-корреляция» — это он.

Подборка примечательных файлов формата Jupyter Notebook по Machine Learning, Data Science и другим сферам, связанным с анализом данных.

1. На первом уроке курса "Инструментарий" мы поговорим об интерпретаторах Python и IPython, тетрадках IPython как средства воспроизводимых исследований, среде разработки PyCharm, системе контроля версий Git и сборке библиотек Anaconda.

1. Описательные статистики. Квантили, квартили. Гистограммы. Ядерные оценки плотности.

2. Описательные статистики. Ящики с усами. Выбросы. Медиана и среднее арифметическое как типичные наблюдения.

3. Иерархический кластерный анализ. Кластер, расстояния между объектами, расстояния между кластерами.

1. Введение

2. Основы Pandas

3. Ввод/вывод с помощью Pandas

4. Заполнение базы данных

5. Объединение и добавление данных

6. Joining и Merging

7. Pickling

8. Первые манипуляции с данными

Полный курс в альбоме: