Статистическая обработка данных: 5 этапов. Основные методы

Для того, чтобы сделать обоснованные выводы из результатов исследования, полученные данные подвергают статистической обработке. Она позволяет извлечь идеи, которые на первый взгляд неочевидны.

Статистическая обработка данных широко используется в науке, бизнесе, маркетинге и государственном планировании. На ее основе делают прогнозы и принимают решения.

Сегодня мы поговорим о том, какие этапы и методы включает статистическая обработка данных и какие компьютерные программы для этого используются.

1. Статистическая обработка данных: 5 этапов.

Для того, чтобы программы для анализа данных работали корректно и на результаты можно было полагаться, важно тщательно провести все подготовительные этапы.

Основные этапы статистической обработки данных:

1) Сбор данных. Исходные данные – это база на которой строится весь дальнейший анализ, от их качества зависит релевантность выводов. Это значит, что выборка должна как можно более точно отражать свойства изучаемой популяции, методика сбора материала должна исключать предвзятость, инструменты должны быть точными, а опросники — валидными.

Набрать необходимые для анализа данные можно путем наблюдения или в эксперименте.

Наблюдение предполагает, что наблюдатель и сам процесс наблюдения не оказывает никакого воздействия на изучаемый объект. Это условие легко выполнить при изучении космических тел или погоды. Если речь идет о живых организмах, исключить воздействие наблюдателя очень сложно. Все мы знаем об «эффекте белого халата», о склонности давать социально одобряемые ответы и многих других искажениях, возникающих из-за того, что наблюдатель невольно изменяет поведение и ответы испытуемых. Такое воздействие невозможно исключить полностью. Поэтому необходимо тщательное описание методов и сопутствующих условий, чтобы результаты, полученные в разных работах можно было сравнивать.

Эксперимент предполагает активное воздействие на изучаемый объект. Чтобы статистическая обработка данных была корректной, необходимо стандартизировать процедуру воздействия и ввести контрольную группу, которая, находясь в тех же условиях, воздействию не подвергается.

При любом методе сбора данных размер и качество выборки оказывает сильнейшее влияние на конечный результат исследования. Неудачная выборка может свести на нет все затраченные усилия. Подробнее о формировании выборки читайте в статье.

2) Очистка данных. Поврежденные, пропущенные, неточные и неактуальные записи, так же как и дубли, удаляются из массива данных. Также рекомендуется избавиться от выбросов – показателей, которые слишком сильно выбиваются из общего ряда.

Особенно трудно бывает ликвидировать опечатки, однако это необходимо сделать чтобы программа работала корректно. Обратите внимание на случайные замены цифр буквами и латинских символов на кириллические.

3) Классификация и кодирование данных. Данные распределяются по группам. Каждой единице присваивается машиночитаемый код, который будет использовать компьютерная программа.

Поскольку категориальные данные невозможно обработать с помощью статистических тестов, необходимо, по возможности, преобразовать их в порядковые или количественные. Например, цвет можно закодировать через компьютерную цветовую шкалу RGB, вместо названий городов использовать цифры или географические координаты.

4) Расчет статистических показателей на основе очищенных и сгруппированных данных. Метод анализа выбирают в зависимости от цели исследования и характера изучаемых объектов. Подробнее о выборе статистического теста читайте в статье.

5) Представление результатов. Их нужно привести в такой вид, чтобы читателю или слушателю легче было воспринимать информацию и следить за логикой исследователя, то есть в виде графиков, таблиц, диаграмм и других способов наглядного представления информации.

В каждом конкретном случае нужно выбрать оптимальный способ визуализации. Например, чтобы показать различия между двумя группами, подходит диаграмма типа «ящик с усами» (диаграмма размаха). Изменение изучаемого показателя во времени хорошо показывает линейная диаграмма, а разброс значений в большой выборке – диаграмма рассеяния.

2. Методы статистической обработки данных.

Методы статистической обработки данных – это способы работы с данными, направленные на выявление основных характеристик, корреляций, связей и закономерностей.

Арсенал методов, используемых для статистической обработки данных очень большой. В целом их можно разделить на две группы: описательные и предсказательные (позволяющие строить прогнозы).

Описательная статистика дает общую характеристику исследуемой группы, популяции или процесса. Она оперирует средними значениями переменных, величинами медианы, моды, дисперсией выборки и стандартными отклонениями. Вычислив их, можно говорить о трендах и связях.

• Среднее значение представляет собой сумму всех показателей выборки, разделенную на их количество. Оно более или менее точно характеризует свойства однородных групп. Если дисперсия внутри группы очень велика, то судить о свойствах каждого индивидуального элемента на основании среднего нельзя. Например, если начальник получает 10 00020? в месяц, а двадцать его подчиненных — по 500?, среднее будет составлять 952?, что не отражает ни одну из реальных зарплат.
• Медиана — показатель, который делит ранжированный ряд данных на две равные части. Она более точно характеризует выборки с большой дисперсией. В нашем случае в выборке из 21 сотрудника медианным будет размер зарплаты одиннадцатого из них.
• Мода – это значение, которое в ряду данных встречается чаще всего. Для рассматриваемого случая модой будет 500р. Используется, чтобы найти самый распространенный вариант в выборке, данные которой не имеют числового выражения (названия городов, имена сотрудников и т.п.)
• Дисперсия выборки — показатель степени разнообразия данных. Она свидетельствует о том, на сколько конкретные показатели в выборке отличаются от ее среднего значения.
• Стандартное отклонение показывает степень вариабельности выборки, то есть характеризует дисперсию.

Многомерный анализ — это метод статистической обработки данных, с помощью которого создают классификации и проверяют их качество. Объекты делятся на категории, учитывая множество характеристик. К методам многомерного анализа относятся:

• Дискриминантный анализ позволяет сформулировать правила распределения объектов по группам и проверить, принадлежит ли объект к той или иной группе.
• Кластерный анализ. Сходные объекты объединяются в кластеры, которые затем образуют более крупные кластеры. Таким образом образуется иерархическая структура, например биологическая классификация, в которой каждый вид относится к определенному роду, род к семейству и так далее.
• Многомерное шкалирование оперирует матрицами расстояний. Используется для выявления и изучения скрытых переменных.
• Анализ главных компонент – множество исходных признаков сводится к нескольким новым переменным (главные компоненты). В процессе анализа нужно определить, действительно ли выделенные компоненты описывают разнообразие признаков и какие из исходных признаков вносят наибольший вклад в их формирование.

Методы статистической обработки данных, направленные на выявление скрытых закономерностей, называются вторичными. К ним относятся:

Проверка гипотез показывает, какова вероятность того, что полученные данные могли быть получены случайно.

Проверка начинается с формулирования гипотез. Нулевая гипотеза предполагает отсутствие истинного эффекта, корреляции или причинной связи, альтернативная – их наличие.

Затем нужно выбрать уровень значимости (то есть допустимый риск ошибки) и провести статистический тест. Вид теста зависит от характеристик выборки или популяции и количества групп.

Полученный в результате статистического теста критерий р сравнивают с выбранным уровнем значимости ?. Если критерий р ниже ?, можно считать, что истинный эффект, связь и/или корреляция между переменными существует. В противном случае принимается нулевая гипотеза о случайном характере полученных данных.

Регрессионный анализ изучает зависимость между переменными. На основании модели, построенной по известным значениям одной из переменных, можно вычислить значение другой переменной.

Различные модели регрессии используют для выборок с разной формой зависимости между переменными. Если график имеет форму прямой линии, применяется линейная модель регрессии. Если это не так, то используется нелинейная модель регрессии.

Анализ временных рядов — это способ изучения процессов, развивающихся во времени. Его цель — обнаружить тренды, сезонные и суточные ритмы, изучить, как протекают различные циклы. На основе этого анализа можно делать прогнозы. При анализе временных рядов используют методы автокорреляции, скользящего среднего и модели ARIMA.

• Автокорреляция показывает, на сколько значения во временном ряду связаны с величиной предшествующих элементов этого же временного ряда. Она позволяет выявить существование определенных циклов, например, в какое время суток увеличивается выделение определенных гормонов.
• Метод скользящего среднего позволяет исключить случайные несистемные колебания, чтобы обнаружить основной тренд, например, увеличение или снижение каких-либо показателей в течение периода наблюдения.
• Модели ARIMA делают прогноз изменения значений временных рядов в будущем на основе автокорреляции и скользящего среднего. Например, исходя из динамики заболеваемости за предыдущие годы можно сделать прогноз на следующий.

Корреляционный анализ выявляет связь или зависимость между двумя группами. При обнаружении статистически значимой корреляции можно думать о том, что между переменными существует причинно-следственная связь.

Для работы с большими объемами данных используется факторный анализ. Он дает возможность классифицировать данные, а также установить, как связаны переменные между собой.

Статистическая обработка данных позволяет эффективно анализировать информацию, правильно интерпретировать результаты исследования и строить обоснованные прогнозы, при условии, что вы выбрали правильный метод и грамотно его использовали.

3. Компьютерные программы для статистической обработки данных.

Компьютерных программ для статистической обработки данных довольно много. Чтобы выбрать подходящую, нужно представлять их основные отличия.

Программы общего назначения, такие как LibreOffice Calc и Excel имеют простые функции и могут использоваться в маркетинговых исследованиях. Они позволяют работать с большими массивами данных, использовать формулы, строить графики и диаграммы. Однако, сложные функции для статистических вычислений в них отсутствуют.

Специальные программы для статистической обработки данных можно разделить на две большие группы: с экранным интерфейсом и с командной строкой.

Программы с экранным интерфейсом, например, Statistica, предлагают привычное для пользователей Windows экранное меню с интуитивно понятным значением кнопок. Пользователю не нужно учить специальный язык для общения с программой. Ему доступны стандартные статистические операции. Работать с такими инструментами легко, но они не оставляют места для творчества и индивидуального подхода.

Программы с командной строкой, например, Stata и R, общаются с пользователем на специальном языке, отличаются большой гибкостью и позволяют самостоятельно создавать алгоритмы, подходящие для конкретного исследования.

Такие программы, как Stata, R, SPSS Statistics позволяют использовать как кнопочный интерфейс, так и командную строку.

Statistica работает только с операционной системой Windows. Stata, R и SPSS Statistics имеют версии для операционных систем Windows, Linux и macOS.

В любых программах возможен импорт и экспорт данных, их визуализация, составление отчетов.

Заключение

Современная наука немыслима без статистической обработки данных. Она является основой для выводов исследования. Качество статистической обработки, в свою очередь, зависит от того, насколько правильно проведены предшествующие этапы исследования.

Статистическая обработка позволяет выяснить:

• Структуру данных
• Усредненные характеристики выборки
• Свойства генеральной совокупности
• Разброс значений в генеральной совокупности (доверительный интервал)
• Вероятность того, что различия между группами обусловлены случайными факторами
• Наличие связи между изучаемыми явлениями и характер этой связи
• Прогноз изменения зависимой переменной в новых условиях

Правильный выбор методов статистической обработки данных – один из важных «кирпичиков», заложенных в успех научного исследования. Конечно, статистическая программа будет работать независимо от того, как хорошо пользователь понимает суть дела. Но для того, чтобы выбрать адекватный метод и правильно его использовать, нужно понимать основные принципы статистической обработки данных.

Источник: научныепереводы.рф

Комментарии: