Факторный и дисперсионный анализ в Excel с автоматизацией подсчетов. Однофакторный дисперсионный анализ

Дисперсионный анализ

1. Понятие дисперсионного анализа

Дисперсионный анализ -это анализ изменчивости признака под влиянием каких-либо контролируемых переменных факторов. В зарубежной литературе дисперсионный анализ часто обозначается как ANOVA, что переводится как анализ вариативности (Analysis of Variance).

Задача дисперсионного анализа состоит в том, чтобы из общей вариативности признака вычленить вариативность иного рода:

а) вариативность обусловленную действием каждой из исследуемых независимых переменных;

б) вариативность, обусловленную взаимодействием исследуемых независимых переменных;

в) случайную вариативность, обусловленную всеми другими неизвестными переменными.

Вариативность, обусловленная действием исследуемых переменных и их взаимодействием, соотносится со случайной вариативностью. Показателем этого соотношения является критерий F Фишера.

В формулу расчета критерия F входят оценки дисперсий, то есть параметров распределения признака, поэтому критерий F является параметрическим критерием.

Чем в большей степени вариативность признака обусловлена исследуемыми переменными (факторами) или их взаимодействием, тем выше эмпирические значения критерия .

Нулевая гипотеза в дисперсионном анализе будет гласить, что средние величины исследуемого результативного признака во всех гра­дациях одинаковы.

Альтернативная гипотеза будет утверждать, что средние вели­чины результативного признака в разных градациях исследуемого фак­тора различны.

Дисперсионный анализ позволяет нам констатировать изменение признака, но при этом не указывает направление этих изменений.

начнем рассмотрение дисперсионного анализа с простей­шего случая, когда исследуется действие только одной переменной (одного фактора).

2. Однофакторный дисперсионный анализ для несвязан­ных выборок

2.1. Назначение метода

Метод однофакторного дисперсионного анализа применяется в тех случаях, когда исследуются изменения результативного признака под влиянием изменяющихся условий или градаций какого-либо фактора. В данном варианте метода влиянию каждой из градаций фактора подвер­гаются разные выборки испытуемых. Градаций фактора должно быть не менее трех. (Градаций может быть и две, но в этом случае мы не сможем установить нели­нейных зависимостей и более разумным представляется использование более про­стых).

Непараметрическим вариантом этого вида анализа является критерий Н Крускала-Уоллиса.

Гипотезы

H 0: Различия между градациями фактора (разными условиями) являются не более выраженными, чем случайные различия внутри каждой группы.

H 1: Различия между градациями фактора (разными условиями) являются более выраженными, чем случайные различия внутри каждой группы.

2.2. Ограничения метода однофакторного дисперсионного анали­за для несвязанных выборок

1. Однофакторный дисперсионный анализ требует не менее трех града­ций фактора и не менее двух испытуемых в каждой градации.

2. Результативный признак должен быть нормально распределен в ис­следуемой выборке.

Правда, обычно не указывается, идет ли речь о распределении признака во всей обследованной выборке или в той ее части, которая составляет дисперсионный комплекс.

3. Пример решения задачи методом однофакторного дисперсионного анализа для несвязанных выборок на примере:

Три различные группы из шести испытуемых получили списки из десяти слов. Первой группе слова предъявлялись с низкой скоростью -1 слово в 5 секунд, второй группе со средней скоростью - 1 слово в 2 секунды, и третьей группе с большой скоростью - 1 слово в секунду. Было предсказано, что показатели воспроизведения будут зависеть от скорости предъявления слов. Результаты представлены в Табл. 1.

Количество воспроизведенных слов Таблица 1

№ испытуемого	низкая скорость	средняя скорость	высокая скорость
Общая сумма

H 0: Различия в объеме воспроизведения слов между группами являются не более выраженными, чем случайные различия внутри каждой группы.

H 1: Различия в объеме воспроизведения слов между группами являются более выраженными, чем случайные различия внутри каждой группы. Используя экспериментальные значения, представленные в Табл. 1, установим некоторые величины, которые будут необходимы для расчета критерия F.

Расчет основных величин для однофакторного дисперсионного анализа представим в таблице:

Таблица 2

Таблица 3

Последовательность операций в однофакторном дисперсионном анализе для несвязанных выборок

Часто встречающееся в этой и последующих таблицах обозначе­ние SS - сокращение от "суммы квадратов" (sum of squares). Это со­кращение чаще всего используется в переводных источниках.

SS факт означает вариативность признака, обусловленную действи­ем исследуемого фактора;

SS общ - общую вариативность признака;

S CA -вариативность, обусловленную неучтенными факторами, "случайную" или "остаточную" вариативность.

MS - "средний квадрат", или математическое ожидание суммы квадратов, усредненная величина соответствующих SS.

df - число степеней свободы, которое при рассмотрении непара­метрических критериев мы обозначили греческой буквой v .

Вывод: H 0 отклоняется. Принимается H 1 . Различия в объеме воспроизведения слов между группами являются более выраженными, чем случайные различия внутри каждой группы (α=0,05). Итак, скорость предъявления слов влияет на объем их воспроизведения.

Пример решения задачи в Excel представлен ниже:

Исходные данные:

Используя команду: Сервис->Анализ данных->Однофакторный дисперсионный анализ, получим следующие результаты:

В данной теме будет рассмотрен только однофакторный дисперсионный анализ, используемый для несвязанных выборок. Оперируя как основным понятием дисперсии, этот анализ базируется на расчете дисперсий трех типов:

Общая дисперсия, вычисленная по всей совокупности экспериментальных данных;

Внутригрупповая дисперсия, характеризующая вариативность признака в каждой выборке;

Межгрупповая дисперсия, характеризующая вариативность групповых средних.

Основное положение дисперсионного анализа гласит: общая дисперсия равна сумме внутригрупповой и межгруппповой дисперсий.

Это положение можно записать в виде уравнения:

где х ij - значения всех переменных, полученных в эксперименте; при этом индекс j меняется от 1 до р , где р - число сравниваемых выборок, их может быть три и больше; индекс i соответствует числу элементов в выборке (их может быть два и больше);

Общая средняя всей анализируемой совокупности данных;

Средняя j выборки;

N - общее число всех элементов в анализируемой совокупности экспериментальных данных;

р - число экспериментальных выборок.

Проанализируем это уравнение более подробно.

Пусть у нас имеется р групп (выборок). В дисперсионном анализе каждую выборку представляют в виде одного столбца (или строки) чисел. Тогда, для того чтобы можно было указать на конкретную группу (выборку), вводится индекс j , который меняется соответственно от j = 1 до j = р. Например, если у нас 5 групп (выборок), то р=5, а индекс j меняется соответственно от j= 1 до j= 5.

Пусть перед нами стоит задача - указать конкретный элемент (значение измерения) какой-либо выборки. Для этого мы должны знать номер этой выборки, например 4, и расположение элемента (измеренного значения) в этой выборке. Этот элемент может располагаться в выборке начиная с первого значения (первая строчка) до последнего (последняя строчка). Пусть наш искомый элемент расположен на пятой строчке. Тогда его обо значение будет таково: х 54 . Это значит, что выбран пятый элемент в строчке из четвертой выборки.

В общем случае в каждой группе (выборке) число составляющих ее элементов может быть различным - поэтому обозначим число элементов в j группе (выборке) через n j . Полученные в эксперименте значения признака в j группе обозначим через х ij , где i = 1, 2, ... n - порядковый номер наблюдения в j группе.

Дальнейшие рассуждения целесообразно проводить с опорой на таблицу 35. Отметим, однако, что для удобства дальнейших рассуждений, выборки в этой таблице представлены не как столбцы, а как строчки (что, однако, не принципиально).

В итоговой, последней строке таблицы даны: общий объем всей выборки - N, сумма всех полученных значений G и общая средняя всей выборки . Эта общая средняя получена как сумма всех элементов анализируемой совокупности экспериментальных данных, обозначенная выше как G, деленная на число всех элементов N.

В крайнем правом столбце таблицы представлены величины средних по всем выборкам. Например, в j выборке (строчка таблицы обозначенная символом j) величина средней (по всей j выборке) такова:

Дисперсионный анализ позволяет исследовать различие между группами данных, определять, носят ли эти расхождения случайный характер или вызваны конкретными обстоятельствами. Например, если продажи фирмы в одном из регионов снизились, то с помощью дисперсионного анализа можно выяснить, случайно ли снижение оборотов в этом регионе по сравнению с остальными, и при необходимости произвести организационные изменения. При выполнении эксперимента в разных условиях дисперсионный анализ поможет определить, насколько влияют внешние факторы на измерения, или отклонения носят случайный характер. Если на производстве для улучшения качества продукции изменяют режим процессов, то дисперсионный анализ позволяет оценить результаты воздействия данного фактора.

На этом примере мы покажем, как выполнять дисперсионный анализ экспериментальных данных.

Задание 1 . Имеются четыре партии сырья для текстильной промышленности. Из каждой партии отобрано по пять образцов и проведены испытания на определение величины разрывной нагрузки. Результаты испытаний приведены в таблице.

71" height="29" bgcolor="white" style="border:.75pt solid black; vertical-align:top;background:white">

Рис.1

> Откройте табличный процессор Microsoft Excel. Щелкните мышью на ярлыке Лист2 (Sheet2), чтобы перейти на другой рабочий лист.

> Введите данные для дисперсионного анализа, изображенные на рис.1.

> Преобразуйте данные в числовой формат. Для этого выберите команду меню Формат Ячейки. На экранe появится окно формат ячеек (Рис.2). Выберите Числовой формат и введенные данные преобразуются к виду, показанному на рис. 3

> Выберите команду меню Сервис Анализ данных (Тоо1s * Dаtа Апа1уsis). На экранe появится окно Анализ данных (Dаtа Апа1уsis) (Рис.4).

> Щелкните мышью на строке Однофакторный дисперсионный анализ (Аnоvа: Single Factor) в списке Инструменты анализа (Апа1уsis Тоо1s).

> Нажмите кнопку ОК, чтобы закрыть окно Анализ данных (Dаtа Апа1уsis). На экране появится окно Однофакторный дисперсионный анализ для проведения дисперсионного анализа данных (Рис.5).

https://pandia.ru/text/78/446/images/image006_46.jpg" width="311" height="214 src=">

Рис.5

> Если в группе элементов управления Входные данные (Input) не установлен переключатель по строкам, то установите его, чтобы программа Ехcel воспринимала группы данных по строкам - партиям.

> Установите флажок Метки в первой строке (Labels in Firts Rom) в группе элементов управления Входные данные (Input), если первый столбец выделенного диапазона данных содержит названия строк.

> В поле ввода Альфа (А1рhа) группы элементов управления Входные данные по умолчанию отображается величина 0,05, которая связана с вероятностью возникновения ошибки в дисперсионном анализе.

> Если в группе элементов управления Параметры вывода (Input options) не установлен переключатель Новый рабочий лист (Nev Worksheet Ply), то установите его, чтобы результаты дисперсионного анализа были помещены на новый рабочий лист

> Нажмите кнопку ОК, чтобы закрыть окно Однофакторный дисперсионный анализ (Аnоvа: Single Factor). На новом рабочем листе появятся результаты дисперсионного анализа (Рис. 6).

В диапазоне ячеек А4:Е6 расположены результаты описательной статистики. В строке 4 находятся названия параметров, в строках статистические значения, вычисленные по партиям.

В столбце Счет (Соunt) расположены количества измерений, в столбце Сумма - суммы величин, в столбце Среднее (Аvегаgе) - средние арифметические значения, в столбце Дисперсия (Vаriаnсе) - дисперсии.

Полученные результаты показывают, что наибольшая средняя разрывная нагрузка в партии №3, а наибольшая дисперсия разрывной нагрузки –в партии №1.

В диапазоне ячеек А11: G 16 отображается информация, касающаяся существенности расхождений между группами данных. В строке 12 находятся названия параметров дисперсионного анализа, в строке 13 - результаты межгрупповой обработки, в строке 14 - результаты внутригрупповой обработки, а в строке 16 – суммы значений упоминавшихся двух строк.

В столбце SS (Qi ) расположены величины варьирования, т. е. суммы квадратов по всем отклонениям. Варьирование, как и дисперсия, характеризует разброс данных. По таблице можно заметить, что межгрупповой разброс разрывной нагрузки существенно выше величины внутригруппового варьирования.

В столбце df (k ) находятся значения чисел степеней свободы. Данные числа указывают на количество независимых отклонений, по которым будет вычисляться дисперсия. Например, межгрупповое число степеней свободы равняется разности количеству групп данных и единицы. Чем больше число степеней свободы, тем выше надежность дисперсионных параметров. Данные степеней свобод в таблице показывают, что для внутригрупповых результатов надежность выше, чем для межгрупповых параметров.

В столбце MS (S 2 ) расположены величины дисперсии, которые определяются отношением варьирования и числа степеней свобод. Дисперсия характеризует степень разброса данных, но в отличие от величины варьирования, не имеет прямой тенденции увеличиваться с ростом числа степеней свобод. Из таблицы видно, что межгрупповая дисперсия значительно больше внутригрупповой дисперсии.

В столбце F находится, значение F -статистики , вычисляемое отношением межгрупповой и внутригрупповой дисперсий.

В столбце F критическое (F crit) расположено F-критическое значение, рассчитываемое по числу степеней свободы и величине Альфа (А1рhа). F-статистика и F-критическое значение используют критерий Фишера -Снедекора.

Если F-статистика больше F-критического значения, то можно утверждать, что различия между группами данных носят неслучайный характер. т. е. на уровне значимости α = 0,05 (с надежностью 0,95) нулевая гипотеза отвергается и принимается альтернативная: различие между партиями сырья оказывает существенное влияние на величину разрывной нагрузки.

В столбце Р-значение (Р-value) находится значение вероятности того, что расхождение между группами случайно. Так как в таблице данная вероятность очень мала, то отклонение между группами носит неслучайный характер.

2. Решение задач двухфакторного дисперсионного анализ без повторений

Microsoft Excel располагает функцией Anova: (Two-Factor Without Replication), которая используется для выявления факта влияния контролируемых факторов А и В на результативный признак на основе выборочных данных, причем каждому уровню факторов А и В соответствует только одна выборка. Для вызова этой функции необходимо на панели меню выбрать команду Сервис –Анализ данных . На экране раскроется окно Анализ данных , в котором следует выбрать значение Двухфакторный дисперсионный анализ без повторений и щелкнуть на кнопке ОК. В результате на экране раскроется диалоговое окно, показанное на рисунке 1.

78" height="42" bgcolor="white" style="border:.75pt solid black; vertical-align:top;background:white">

2. Флажок опции Метки (Labels) устанавливается в том случае, если первая строка во входном диапазоне содержит заголовки столбцов. Если заголовки отсутствуют, флажок следует сбросить. В этом случае для данных выходного диапазона будут автоматически созданы стандартные названия.

3. В поле Aльфа вводится принятый уровень значимости α , соответствующий вероятности возникновения ошибки первого рода.

4. Переключатель в группе Output options может быть установлен в одно из трех положений: Output Range (Выходной диапазон), New Worksheet Ply (Новый рабочий лист) или New Workbook (Новая рабочая книга).

Пример.

Двухфакторный дисперсионный анализ без повторений (Anova: Two-Factor Without Replication) на следующем примере.

На рисунке. 2 представлены данные об урожайности (ц/га) четырех сортов пшеницы (четыре уровня фактора А), достигнутой при использовании пяти типов удобрений (пять уровней фактора В). Данные получены на 20 участках одинакового размера и аналогичного почвенного покрова. Необходимо определить , влияет ли сорт и тип удобрения на урожайность пшеницы.

Двухфакторный дисперсионный анализ без повторений представлены на рисунке 3.

Как видно по результатам, расчетное значение величины F-статистики для фактора А (тип удобрения) F А = l ,67 , а критическая область образуется правосторонним интервалом (3,49; +∞). Так как F А = l ,67 не попадает в критическую область, гипотезу НА: a 1 = a 2 + = ak принимаем , т. е. считаем, что в этом эксперименте тип удобрения не оказал влияния на урожайность.

Расчетное значение величины F-статистики для фактора В (сорт пшеницы) F В =2,03 , а критическая область образуется правосторонним интервалом (3,259;+∞).

Так как F В =2,03 не попадает в критическую область, гипотезу НВ : b 1 = b 2 = ... = bm

также принимаем, т. е. считаем, что в данном эксперименте сорт пшеницы также не оказал влияния на урожайность.

2. Двухфакторный дисперсионный анализ c повторениями

Microsoft Excel располагает функцией Anova: Двухфакторный дисперсионный анализ с повторениями (Two-Factor With Replication), которая также используется для выявления факта влияния контролируемых факторов А и В на результативный признак на основе выборочных данных, однако каждому уровню одного из факторов А (или В) соответствует более одной выборки данных .

Рассмотрим использование функции Двухфакторный дисперсионный анализ с повторениями на следующем примере.

Пример 2 . В таблице. 6 приведены суточные привесы (г) собранных для исследования 18 поросят в зависимости от метода удержания поросят (фактор А) и качества их кормления (фактор В).

75" height="33" bgcolor="white" style="border:.75pt solid black; vertical-align:top;background:white">

В этом диалоговом окне задаются следующие параметры.

1. В поле Входной интервал (Input Range) вводится ссылка на диапазон ячеек, содержащий анализируемые данные. Необходимо выделить ячейки от G 4 до I 13.

2. В поле Число строк для выборки (Rows per sample) определяется число выборок, которое приходится на каждый уровень одного из факторов. Каждый уровень фактора должен содержать одно и то же количество выборок (строк таблицы). В нашем случае число строк равно трем.

3. В поле Альфа (Alpha) вводится принятое значение уровня значимости α , которое равно вероятности возникновения ошибки первого рода.

4. Переключатель в группе Output options может быть установлен в одно из трех положений: Output Range (Выходной интервал), New Worksheet Ply (Новый рабочий лист) или New Workbook (Новая рабочая книга).

Результаты двухфакторного дисперсионного анализа с помощью функции Двухфакторный дисперсионный анализ сповторениями существенным. В силу того что взаимодействие указанных факторов незначимо (на 5%-ном уровне).

Задание на дом

1. В течение шести лет использовались пять различных технологий по выращиванию сельскохозяйственной культуры. Данные по эксперименту (в ц/га) приведены в таблице:

https://pandia.ru/text/78/446/images/image024_11.jpg" width="642" height="190 src=">

Требуется на уровне значимости α = 0,05 установить зависимость выпуска качественных плиток от линии выпуска (фактора А).

3. Имеются следующие данные об урожайности четырех сортов пшеницы на выделенных пяти участках земли (блоках):

https://pandia.ru/text/78/446/images/image026_9.jpg" width="598" height="165 src=">

Требуется на уровне значимости α = 0,05 установить влияние на производительность труда технологий (фактора А) и предприятий (фактора В).

Однофакторная дисперсионная модель имеет вид

где Xjj - значение исследуемой переменной, полученной на г-м уровне фактора (г = 1, 2,..., т) су-м порядковым номером (j- 1,2,..., п); /у - эффект, обусловленный влиянием г-го уровня фактора; е^. - случайная компонента, или возмущение, вызванное влиянием неконтролируемых факторов, т.е. вариацией переменной внутри отдельного уровня.

Под уровнем фактора понимается некоторая его мера или состояние, например, количество вносимых удобрений, вид плавки металла или номер партии деталей и т.п.

Основные предпосылки дисперсионного анализа.

1. Математическое ожидание возмущения ? (/ - равно нулю для любых i, т.е.

• 2. Возмущения взаимно независимы.
• 3. Дисперсия возмущения (или переменной Ху) постоянна для любых ij> т.е.

4. Возмущение е# (или переменная Ху) имеет нормальный закон распределения N(0; а 2).

Влияние уровней фактора может быть как фиксированным , или систематическим (модель I), так и случайным (модель II).

Пусть, например, необходимо выяснить, имеются ли существенные различия между партиями изделий по некоторому показателю качества, т.е. проверить влияние на качество одного фактора - партии изделий. Если включить в исследование все партии сырья, то влияние уровня такого фактора систематическое (модель I), а полученные выводы применимы только к тем отдельным партиям, которые привлекались при исследовании; если же включить только отобранную случайно часть партий, то влияние фактора случайное (модель II). В многофакторных комплексах возможна смешанная модель III, в которой одни факторы имеют случайные уровни, а другие - фиксированные.

Рассмотрим эту задачу подробнее. Пусть имеется т партий изделий. Из каждой партии отобрано соответственно п Л, п 2 ,п т изделий (для простоты полагаем, что щ = п 2 =... = п т = п). Значения показателя качества этих изделий представим в виде матрицы наблюдений

Необходимо проверить существенность влияния партий изделий на их качество.

Если полагать, что элементы строк матрицы наблюдений - это численные значения (реализации) случайных величин X t , Х 2 ,..., Х т, выражающих качество изделий и имеющих нормальный закон распределения с математическими ожиданиями соответственно a v а 2 , ..., а т и одинаковыми дисперсиями а 2 , то данная задача сводится к проверке нулевой гипотезы # 0: a v = a 2l = ... = а т,осуществляемой в дисперсионном анализе.

Обозначим усреднение по какому-либо индексу звездочкой (или точкой) вместо индекса, тогда средний показатель качества изделий г’-й партии, или групповая средняя для г-го уровня фактора, примет вид

а общая средняя -

Рассмотрим сумму квадратов отклонений наблюдений от общей средней х„:

или Q = Q, + Q 2 + ?>з Последнее слагаемое

так как сумма отклонений значений переменной от ее средней, т.е. ? 1.г у - х) равна нулю. ) =х

Первое слагаемое можно записать в виде

В результате получим следующее тождество:

т п. _

где Q = Y, X [ х ij _ х„, I 2 - общая, или полная, сумма квадратов отклонений; 7=1

Q, - n^}