Data science - это область, которая занимается изучением и анализом больших объемов данных, чтобы находить в них полезные закономерности, делать прогнозы или принимать решения на основе фактов. В основе data science лежат методы и инструменты математики, статистики и программирования. Они позволяют извлекать ценную информацию из данных и применять её в различных областях – от бизнеса и медицины до наукоемких исследований.
Почему используют python?
-
Простота и удобство
-
Большое количество библиотек: В Python существует множество специализированных библиотек для работы с данными, таких как NumPy, Pandas, SciPy, Matplotlib, Seaborn, scikit-learn и др. Эти библиотеки предоставляют инструменты для анализа данных, визуализации и машинного обучения.
-
Широкие возможности: С помощью Python можно решить широкий спектр задач, начиная от обработки и очистки данных, статистического анализа и визуализации, заканчивая созданием сложных моделей машинного обучения и глубокого обучения.
-
Сообщество и экосистема: Python имеет огромное сообщество разработчиков, которые активно создают новые инструменты, библиотеки и пакеты для анализа данных. Это обеспечивает непрерывное развитие и поддержку соответствующих ресурсов для разработчиков и специалистов в области data science.
В данной статье рассмотрим python стек для работы в Data Science
NumPy
Одна из самых популярных библиотек для языка программирования Python, которая предоставляет мощные инструменты для работы с многомерными массивами и выполнения различных математических операций. Она является основной библиотекой для научных вычислений в Python и широко используется в областях, таких как анализ данных, машинное обучение, инженерные и научные расчёты.
Массивы в numpy можно хранить только в одном типе.
Это позволяет эффективно использовать память и выполнять операции с большой скоростью, так как для каждого элемента массива выделено фиксированное количество памяти.
Получение характеристик массива:
import numpy as np row = np.array([1, 2, 3]) matrix = np.array([[1, 2, 3, 4, 5], [6, 7, 8, 9, 10]]) print(f'Строка(1d) размерность: {row.ndim}') print(f'Матрица(2d) размерность: {matrix.ndim}') print(f'Строка(1d) форма: {row.shape}') print(f'Матрица(2d) форма: {matrix.shape}')
В numpy можно проводить арифметические операции над массивами одинаковых размерностей:
def multi_numpy(array_1: np.ndarray, array_2: np.ndarray): print(array_1 * array_2) multi_numpy(np.array([1, 2, 3]), np.array([2, 2, 2]))
NumPy позволяет генерировать массивы:
array_with_7 = np.full((3, 3), 7) print(f'Генерация массива со значением 7 (3х3):
{array_with_7}') array_like_matrix = np.full_like(matrix, 7) print(f'енерация массива со значением 7 (генерируем на подобие другого массива (2х5)):
{array_like_matrix}') rand_array = np.random.randint(1, 25, (3,5)) print(f'Генерация массива с заполнением значением в диапазоне (1 - 25), длинна - 15 (3 row, 5 column):
{rand_array}')
Возвращаемый тип после фильтрации или слайсинга - представление, а не копия.
Меняя значение в представлении массива, меняется значение и в исходном массиве, поэтому следует копировать массив через команду copy:
original = np.array([0, 1, 2]) copy = original copy[1] = -7 print(f'Исходный массив после изменения: {original} = копируемый массив = {copy}') copy_right = np.copy(original) copy_right[1] = -7 print(f'Исходный массив после изменения: {original} != копируемый массив = {copy_right}')
SciPy
Это библиотека для языка программирования Python, которая предоставляет удобные инструменты для выполнения научных и инженерных расчётов. Она содержит множество функций для работы с линейной алгеброй, оптимизацией, обработкой сигналов, обработкой изображений, статистикой и многим другим.
Популярные подмодули: special, stats
Special предоставляет функции для работы с специальными функциями, такими как функции Бесселя, функции Эйри, функции Эрмита и многие другие. Эти функции используются в различных областях науки и инженерии, включая физику, астрономию, статистику и теорию вероятностей:
from scipy import special #Вычисление факториала 7 print(special.factorial(7)) #Вычисление сочетания print(special.comb(10,2)) #Вычисление перестановок print(special.perm(10,2))
Stats предоставляет широкий спектр статистических функций, распределений вероятностей, генераторов случайных чисел и статистических тестов.
Можно использовать биноминальное распределение, то есть некоторое кол-во проб, результат каждой успешен либо нет.
Пример: биноминальное распределение, которая состоит из 100 испытаний и успех 33%:
from scipy import stats binom = stats.binom(100,0.33) #Вероятность выборки что меньше 7 binom.cdf(7) # Получение 17 случайных выборок binom.rvr(17)
Можно использовать распределение Пуассона, то есть моделирование вероятности определенного числа отдельных событий за некоторый временной промежуток.
Пример: распределение Пуассона со средним значением 4, размерность 10000 элементов
from scipy import stats poisson = stats.poisson(mu = 4) poisson = poisson.rvs(size = 10000)
Самый популярное подмодуле scipy.stats - непрерывное распределение. Параметры, которые могут использоваться - местоположение(loc) и масштаб(scale). По умолчанию, используется масштаб 1.0 и расположение 0.
К непрерывным распределениям относят нормальное распределение, экспоненциально изменяющееся непрерывное распределение, равномерное и другие.
Нормальное распределение:
from scipy import stats normal = stats.norm() normal = normal.rvs(size = 20000)
Экспоненциально изменяющееся непрерывное распределение:
from scipy import stats expon = stats.expon() expon = expon.rvs(size = 20000)
Равномерное распределение:
from scipy import stats uniform = stats.uniform() uniform = uniform.rvs(size = 20000)
Pandas
Используется для обработки и анализа данных. Предоставляет удобные структуры данных и инструменты для работы с таблицами, временными рядами и другими типами данных. Основан pandas на NumPy и Matplotlib.
Структуры хранения данных в pandas делятся на два типа: Series(одномерный массив) и DataFrame(многомерный массив):
import pandas as pd sql = pd.Series(['MS SQL', 'PostgreSQL', 'Oracle', 'MySQL'], name = 'sql vendor') product = pd.DataFrame({'PL':['C#', 'Java', 'Go'],'Popular Product':['Stack Overflow', 'Jira', 'Docker']})
Pandas позволяет импортировать данные из различных источников(json, csv, xml, sql, excel):
csv = pd.read_csv('GOOG.csv', parse_dates=['Date'], index_col='Date', delimiter=',') print(csv)
При необходимости чтения нескольких определенных колонок используется перечисление в квадратных скобках:
print(csv[['High','Low']])
Иногда случается, что данные сохраняются частично. Для такого случая в pandas есть функция fillna, которая позволяет заменять пустоту на конкретное значение. Можно использовать для нескольких полей:
test = pd.read_csv('test.csv', delimiter=',') test = test.fillna({'quantity': 0}) print(test)
Pandas позволяет агрегировать данные. Неполный список агрегатных функций:
-
среднее значение.
-
сумму значений.
-
количество не пропущенных значений.
-
медиану значений.
-
экстремумы(мин/макс значения).
-
стандартное отклонение.
-
дисперсию
Объединение таблиц в pandas происходит по принципу SQL. Имеются виды объединения: inner, left, right, outer(full join). Для выбора объединения используется параметр how:
table1 = pd.DataFrame({"PL":["C#", "Java", "Python"],"Year":[2000, 1995, 1991]}) table2 = pd.DataFrame({"PL":["C#", "Java", "Go"],"Company":['Microsoft', 'Oracle', 'Google']}) inner = pd.merge(table1, table2, on="PL") print(inner,"
") left = pd.merge(table1, table2, on="PL", how="left") print(left,"
") outer = pd.merge(table1, table2, on="PL", how="outer") print(outer,"
")
В pandas существует два метода сортировки данных:
Для использования сортировки по значению основной параметр - по каким полям сортируем (by). Дополнительно можно использовать параметр ascending, позволяющий как сортируем.
Для группировки значений используется метод groupby. Основной параметр - by. Означает, как и в фильтрации, по каким полям группируем.
Дополнительно для группировки можно использовать для агрегации:
-
resample - метод группировки временных рядов. Для того, чтобы использовать индекс должен быть - datetime. В скобках указывается интервал.
-
pivot_table - метод для создания свободных таблиц. Возможность применения нескольких агрегаций.
Часто для анализа нужно отсекать данные по критериям, чтобы получить результат:
table[table[’column1’] > 10]
Для сложной фильтрации используется & - если И, | - если ИЛИ.Для каждого логического блока использовать надо скобки, чтобы pandas понимал, что сравниваются разные типы:
table[(table[’column1’] > 10) & (table[’column12] == ’Text’)]
Для аналога в sql NULL используется у поля метод isna.
Если необходимо вывести определенные колонки, то после квадратных скобок, где была фильтрация, идет перечисление колонок, которые нужно вывести.
Вывод определенного количества строк в pandas служит два метода.
Matplotlib
Библиотека для создания графиков и визуализации данных в языке программирования Python.Может быть использована для визуализации данных в научных и инженерных приложениях, в анализе данных, статистике, машинном обучении и визуализации результатов
Популярные методы:
-
plot - построение линейного графика
-
pie - построение круговой диаграммы
-
scatter - построение диаграммы рассеяния
-
bar - построение столбчатую диаграмму
-
title - добавление заголовка графику
-
xlabel/ylabel - добавление меток на ось x/y
-
axis - установление пределов осей и получение текущих пределов
-
show - демонстрирование графика
Построение простого графика:
import matplotlib.pyplot as plt import numpy as np x = np.linspace(0, 10, 100) y = np.sin(x) plt.plot(x, y) plt.xlabel('Время') plt.ylabel('Значение') plt.title('Пример графика синуса') plt.show()
Построение диаграммы:
import matplotlib.pyplot as plt labels = ['Яблоки', 'Апельсины', 'Персики', 'Бананы'] sizes = [25, 30, 20, 25] plt.pie(sizes, labels=labels, autopct='%1.1f%%') plt.axis('equal') plt.title('Процентное соотношение фруктов') plt.show()
Построение 3d фигуры:
import matplotlib.pyplot as plt import numpy as np from mpl_toolkits.mplot3d import Axes3D fig = plt.figure() ax = fig.add_subplot(111, projection='3d') x = np.random.standard_normal(100) y = np.random.standard_normal(100) z = np.random.standard_normal(100) ax.scatter(x, y, z) plt.show()
Вывод
Подводя итоги к данной статье, были выделены и рассмотрены незаменимые инструменты для data science инженера, которые могут помочь извлекать информацию из данных, чтобы принимать обоснованные решения, предсказывать тренды, оптимизировать процессы и достигать бизнес-целей. Эти инструменты:
-
Библиотеки NumPy и SciPy, которые позволяют решать сложные математические задачи
-
Библиотека для визуализации данных - matplotlib
-
Многофункциональный инструмент для обработки и анализа данных - Pandas.
Для изучения данной темы рекомендуем прочитать книгу Кеннеди Бермана «Основы Python для data science».