В практике биологических исследований часто бывает необ­ходимо проверить ту или иную гипотезу, т. е. выяснить, насколь­ко полученный экспериментатором фактический материал под­тверждает теоретическое предположение, насколько анализиру­емые данные совпадают с теоретически ожидаемыми. Возника­ет задача статистической оценки разницы между фактическими данными и теоретическим ожиданием, установления того, в ка­ких случаях и с какой степенью вероятности можно считать эту разницу достоверной и, наоборот, когда ее следует считать не­существенной, незначимой, находящейся в пределах случайнос­ти. В последнем случае сохраняется гипотеза, на основе кото­рой рассчитаны теоретически ожидаемые данные или показа­тели. Таким вариационно-статистическим приемом проверки гипо­тезы служит метод хи-квадрат (χ 2). Этот показатель часто на­зывают «критерием соответствия» или «критерием согласия» Пирсона. С его помощью можно с той или иной вероятностью судить о степени соответствия эмпирически полученных данных теоретически ожидаемым.

С формальных позиций сравниваются два вариационных ряда, две совокупности: одна – эмпирическое распределение, другая представляет собой выборку с теми же параметрами (n , M , S и др.), что и эмпирическая, но ее частотное распределение построено в точном соответствии с выбранным теоретическим законом (нормальным, Пуассона, биномиальным и др.), которому предположительно подчиняется поведение изучаемой случайной величины.

В общем виде формула критерия соответствия может быть записана следующим образом:

где a – фактическая частота наблюдений,

A – теоретически ожидаемая частота для данного класса.

Нулевая гипотеза предполагает, что достоверных различий между сравниваемыми распределениями нет. Для оценки существенности этих различий следует обра­титься к специальной таблице критических значений хи-квад­рат (табл. 9П ) и, сравнив вычисленную величину χ 2 с табличной, решить, достоверно или не достоверно отклоня­ется эмпирическое распределение от теоретического. Тем самым гипотеза об отсутствии этих различий будет либо опровергнута, либо оставлена в силе. Если вычисленная величина χ 2 равна или превышает табличную χ ² (α , df ) , решают, что эмпирическое распределение от теоретического отличается достоверно. Тем самым гипотеза об отсутствии этих различий будет опровергнута. Если же χ ² < χ ² (α , df ) , нулевая гипотеза остается в силе. Обычно принято считать допустимым уро­вень значимости α = 0.05, т. к. в этом случае остается только 5% шансов, что нулевая гипотеза правильна и, следовательно, есть достаточно оснований (95%), чтобы от нее отказаться.

Определенную проблему составляет правильное определение числа степеней свободы (df ), для которых из таблицы берут значения критерия. Для определения числа степеней свободы из общего числа классов k нужно вычесть число ограничений (т. е. число параметров, использованных для расчета теоретических частот).

В зависимости от типа распределения изучаемого признака формула для расчета числа степеней свободы будет меняться. Для альтернативного распределения (k = 2) в расчетах участвует только один параметр (объем выборки), следовательно, число степеней свободы составляет df = k −1=2−1=1. Для полиномиального распределения формула аналогична: df = k −1. Для проверки соответствия вариационного ряда распределению Пуассона используются уже два параметра – объем выборки и среднее значение (числен­но совпадающее с дисперсией); число степеней свободы df = k −2. При проверке соответ­ствия эмпирического распределения вариант нормальному или биномиальному закону число степеней свободы берется как число фактических классов минус три условия построения рядов – объем выборки, сред­няя и дисперсия, df = k −3. Сразу стоит отметить, что критерий χ² работает только для выборок объемом не менее 25 вариант , а частоты отдельных классов должны быть не ниже 4 .

Вначале проиллюстрируем применение критерия хи-квадрат на примере анали­за альтернативной изменчивости . В одном из опытов по изуче­нию наследственности у томатов было обнаружено 3629 крас­ных и 1176 желтых плодов. Теоретическое соотношение частот при расщеплении признаков во втором гибридном поколении должно быть 3:1 (75% к 25%). Выполняется ли оно? Иными словами, взята ли данная выборка из той генеральной совокупности, в которой соотношение частот 3:1 или 0.75:0.25?

Сформируем таблицу (табл. 4), заполнив значениями эмпирических частот и результатами расчета теоретических частот по формуле:

А = n∙p,

где p – теоретические частости (доли вариант данного типа),

n – объем выборки.

Например, A 2 = n∙p 2 = 4805∙0.25 = 1201.25 ≈ 1201.

Использование этого критерия основано на применении такой меры (статистики) расхождения между теоретическим F(x) и эмпирическим распределением F* п (x) , которая приближенно подчиняется закону распределения χ 2 . Гипотеза Н 0 о согласованности распределений проверяется путем анализа распределения этой статистики. Применение критерия требует построения статистического ряда.

Итак, пусть выборка представлена статистическим рядом с количеством разрядов M . Наблюдаемая частота попаданий в i- й разряд n i . В соответствии с теоретическим законом распределения ожидаемая частота попаданий в i -й разряд составляет F i . Разность между наблюдаемой и ожидаемой частотой составит величину (n i – F i ). Для нахождения общей степени расхождения между F(x ) и F* п (x ) необходимо подсчитать взвешенную сумму квадратов разностей по всем разрядам статистического ряда

Величина χ 2 при неограниченном увеличении n имеет χ 2 -распределение (асимптотически распределена как χ 2). Это распределение зависит от числа степеней свободы k , т.е. количества независимых значений слагаемых в выражении (3.7). Число степеней свободы равно числу y минус число линейных связей, наложенных на выборку. Одна связь существует в силу того, что любая частота может быть вычислена по совокупности частот в оставшихся M –1 разрядах. Кроме того, если параметры распределения неизвестны заранее, то имеется еще одно ограничение, обусловленное подгонкой распределения к выборке. Если по выборке определяются S параметров распределения, то число степеней свободы составит k=M –S–1.

Область принятия гипотезы Н 0 определяется условием χ 2 < χ 2 (k;a) , где χ 2 (k;a) – критическая точка χ2-распределения с уровнем значимости a . Вероятность ошибки первого рода равна a , вероятность ошибки второго рода четко определить нельзя, потому что существует бесконечно большое множество различных способов несовпадения распределений. Мощность критерия зависит от количества разрядов и объема выборки. Критерий рекомендуется применять при n >200, допускается применение при n >40, именно при таких условиях критерий состоятелен (как правило, отвергает неверную нулевую гипотезу).

Алгоритм проверки по критерию

1. Построить гистограмму равновероятностным способом.

2. По виду гистограммы выдвинуть гипотезу

H 0: f (x ) = f 0(x ),

H 1: f (x ) f 0(x ),

где f 0(x ) - плотность вероятности гипотетического закона распределения (например, равномерного, экспоненциального, нормального).

Замечание . Гипотезу об экспоненциальном законе распределения можно выдвигать в том случае, если все числа в выборке положительные.

3. Вычислить значение критерия по формуле

,

где частота попадания в i -тый интервал;

pi - теоретическая вероятность попадания случайной величины в i - тый интервал при условии, что гипотеза H 0верна.

Формулы для расчета pi в случае экспоненциального, равномерного и нормального законов соответственно равны.

Экспоненциальный закон

. (3.8)

При этом A 1 = 0, Bm = +.

Равномерный закон

Нормальный закон

. (3.10)

При этом A 1 = -, B M = +.

Замечания . После вычисления всех вероятностей pi проверить, выполня­ется ли контрольное соотношение

Функция Ф(х )- нечетная. Ф(+) = 1.

4. Из таблицы " Хи-квадрат" Приложения выбирается значение , где - заданный уровень значимости (= 0,05 или = 0,01), а k - число степеней свободы, определяемое по формуле

k = M - 1 - S .

Здесь S - число параметров, от которых зависит выбранный гипотезой H 0закон распределения. Значения S для равномерного закона равно 2, для экспоненциального - 1, для нормального - 2.

5. Если , то гипотеза H 0отклоняется. В противном случае нет оснований ее отклонить: с вероятностью 1 - она верна, а с вероятностью - неверна, но величина неизвестна.

Пример3 . 1. С помощью критерия 2выдвинуть и проверить гипотезу о законе распределения случайной величины X , вариационный ряд, интерваль­ные таблицы и гистограммы распределения которой приведены в примере 1.2. Уровень значимости равен 0,05.

Решение . По виду гистограмм выдви­гаем гипотезу о том, что случайная величина X распределена по нормальному закону:

H 0: f (x ) = N (m ,);

H 1: f (x ) N (m ,).

Значение критерия вычисляем по формуле.

Назначение критерия χ 2 - критерия Пирсона Критерий χ 2 применяется в двух целях: 1) для сопоставления эмпирического распределения признака с теоретическим - равномерным, нормальным или каким-то иным; 2) для сопоставления двух, трех или более эмпирических распределений одного и того же признака. Описание критерия Критерий χ 2 отвечает на вопрос о том, с одинаковой ли частотой встречаются разные значения признака в эмпирическом и теоретическом распределениях или в двух и более эмпирических распределениях. Преимущество метода состоит в том, что он позволяет сопоставлять распределения признаков, представленных в любой шкале, начиная от шкалы наименований. В самом простом случае альтернативного распределения "да - нет", "допустил брак - не допустил брака", "решил задачу - не решил задачу" и т. п. мы уже можем применить критерий χ 2 . Чем больше расхождение между двумя сопоставляемыми распределениями, тем больше эмпирическое значение χ 2 . Автоматический расчет χ 2 - критерия Пирсона Чтобы произвести автоматический расчет χ 2 - критерия Пирсона, необходимо выполнить действия в два шага: Шаг 1 . Указать количество эмпирических распределений (от 1 до 10); Шаг 2 . Занести в таблицу эмпирические частоты; Шаг 3 . Получить ответ.

Достоинством критерия Пирсона является его универсальность: с его помощью можно проверять гипотезы о различных законах распределения.

1. Проверка гипотезы о нормальном распределении.

Пусть получена выборка достаточно большого объема п с большим количеством различных значений вариант. Для удобства ее обработки разделим интервал от наименьшего до наибольшего из значений вариант на s равных частей и будем считать, что значения вариант, попавших в каждый интервал, приближенно равны числу, задающему середину интервала. Подсчитав число вариант, попавших в каждый интервал, составим так называемую сгруппированную выборку:

варианты………..х 1 х 2 … х s

частоты………….п 1 п 2 … п s ,

где х i – значения середин интервалов, а п i – число вариант, попавших в i -й интервал (эмпирические частоты).

По полученным данным можно вычислить выборочное среднее и выборочное среднее квадратическое отклонение σ В . Проверим предположение, что генеральная совокупность распределена по нормальному закону с параметрами M (X ) = , D (X ) = . Тогда можно найти количество чисел из выборки объема п , которое должно оказаться в каждом интервале при этом предположении (то есть теоретические частоты). Для этого по таблице значений функции Лапласа найдем вероятность попадания в i -й интервал:

,

где а i и b i - границы i -го интервала. Умножив полученные вероятности на объем выборки п, найдем теоретические частоты: п i =n·p i .Наша цель – сравнить эмпирические и теоретические частоты, которые, конечно, отличаются друг от друга, и выяснить, являются ли эти различия несущественными, не опровергающими гипотезу о нормальном распределении исследуемой случайной величины, или они настолько велики, что противоречат этой гипотезе. Для этого используется критерий в виде случайной величины

. (20.1)

Смысл ее очевиден: суммируются части, которые квадраты отклонений эмпирических частот от теоретических составляют от соответствующих теоретических частот. Можно доказать, что вне зависимости от реального закона распределения генеральной совокупности закон распределения случайной величины (20.1) при стремится к закону распределения (см. лекцию 12) с числом степеней свободы k = s – 1 – r , где r – число параметров предполагаемого распределения, оцененных по данным выборки. Нормальное распределение характеризуется двумя параметрами, поэтому k = s – 3. Для выбранного критерия строится правосторонняя критическая область, определяемая условием

(20.2)

где α – уровень значимости. Следовательно, критическая область задается неравенством а область принятия гипотезы - .

Итак, для проверки нулевой гипотезы Н 0: генеральная совокупность распределена нормально – нужно вычислить по выборке наблюдаемое значение критерия:

, (20.1`)

а по таблице критических точек распределения χ 2 найти критическую точку , используя известные значения α и k = s – 3. Если - нулевую гипотезу принимают, при ее отвергают.

2. Проверка гипотезы о равномерном распределении.

При использовании критерия Пирсона для проверки гипотезы о равномерном распределении генеральной совокупности с предполагаемой плотностью вероятности

необходимо, вычислив по имеющейся выборке значение , оценить параметры а и b по формулам:

где а* и b* - оценки а и b . Действительно, для равномерного распределения М (Х ) = , , откуда можно получить систему для определения а* и b *: , решением которой являются выражения (20.3).

Затем, предполагая, что , можно найти теоретические частоты по формулам

Здесь s – число интервалов, на которые разбита выборка.

Наблюдаемое значение критерия Пирсона вычисляется по формуле (20.1`), а критическое – по таблице с учетом того, что число степеней свободы k = s – 3. После этого границы критической области определяются так же, как и для проверки гипотезы о нормальном распределении.

3. Проверка гипотезы о показательном распределении.

В этом случае, разбив имеющуюся выборку на равные по длине интервалы, рассмотрим последовательность вариант , равноотстоящих друг от друга (считаем, что все варианты, попавшие в i – й интервал, принимают значение, совпадающее с его серединой), и соответствующих им частот n i (число вариант выборки, попавших в i – й интервал). Вычислим по этим данным и примем в качестве оценки параметра λ величину . Тогда теоретические частоты вычисляются по формуле

Затем сравниваются наблюдаемое и критическое значение критерия Пирсона с учетом того, что число степеней свободы k = s – 2.

Хи-квадрат критерий – универсальный метод проверки согласия результатов эксперимента и используемой статистической модели.

Расстояние Пирсона X 2

Пятницкий А.М.

Российский Государственный Медицинский Университет

В 1900 году Карл Пирсон предложил простой, универсальный и эффективный способ проверки согласия между предсказаниями модели и опытными данными. Предложенный им “хи-квадрат критерий” – это самый важный и наиболее часто используемыйстатистический критерий. Большинство задач, связанных с оценкой неизвестных параметров модели и проверки согласия модели и опытных данных, можно решить с его помощью.

Пусть имеется априорная (“до опытная”) модельизучаемого объекта или процесса (в статистике говорят о “нулевой гипотезе” H 0), и результаты опыта с этим объектом. Следует решить, адекватна ли модель (соответствует ли она реальности)? Не противоречат ли результаты опыта нашим представлениям о том, как устроена реальность, или иными словами - следует ли отвергнуть H 0 ? Часто эту задачу можно свести к сравнению наблюдаемых (O i = Observed )и ожидаемых согласно модели (E i =Expected ) средних частот появления неких событий. Считается, что наблюдаемые частоты получены в серии N независимых (!) наблюдений, производимых в постоянных (!) условиях. В результате каждого наблюдения регистрируется одно из M событий. Эти события не могут происходить одновременно (попарно несовместны) и одно из них обязательно происходит (их объединение образует достоверное событие). Совокупность всех наблюдений сводится к таблице (вектору) частот {O i }=(O 1 ,… O M ), которая полностью описывает результаты опыта. Значение O 2 =4 означает, что событие номер 2 произошло 4 раза. Сумма частот O 1 +… O M =N . Важно различать два случая: N – фиксировано, неслучайно, N – случайная величина. При фиксированном общем числе опытов N частоты имеют полиномиальное распределение. Поясним эту общую схему простым примером.

Применение хи-квадрат критерия для проверки простых гипотез.

Пусть модель (нулевая гипотеза H 0) заключается в том, что игральная кость является правильной - все грани выпадают одинаково часто с вероятностью p i =1/6, i =, M=6. Проведен опыт, который состоял в том, что кость бросили 60 раз (провели N =60 независимых испытаний). Согласно модели мы ожидаем, что все наблюдаемые частоты O i появления 1,2,... 6 очков должны быть близки к своим средним значениям E i =Np i =60∙(1/6)=10. Согласно H 0 вектор средних частот {E i }={Np i }=(10, 10, 10, 10, 10, 10). (Гипотезы, в которых средние частоты полностью известны до начала опыта, называются простыми.) Если бы наблюдаемый вектор {O i } был равен (34,0,0,0,0,26) , то сразу ясно, что модель неверна – кость не может быть правильной, так как60 раз выпадали только 1 и 6. Вероятность такого события для правильной игральной кости ничтожна: P = (2/6) 60 =2.4*10 -29 . Однако появление столь явных расхождений между моделью и опытом исключение. Пусть вектор наблюдаемых частот {O i } равен (5, 15, 6, 14, 4, 16). Согласуется ли это с H 0 ? Итак, нам надо сравнить два вектора частот {E i } и {O i }. При этом вектор ожидаемых частот {E i } не случаен, а вектор наблюдаемых {O i } случаен – при следующем опыте (в новой серии из 60 бросков) он окажется другим. Полезно ввести геометрическую интерпретацию задачи и считать, что в пространстве частот (в данном случае 6 мерном) даны две точки с координатами(5, 15, 6, 14, 4, 16) и (10, 10, 10, 10, 10, 10). Достаточно ли далеко они удалены друг от друга, чтобы счесть это несовместным сH 0 ? Иными словами нам надо:

1. научиться измерять расстояния между частотами (точками пространства частот),
2. иметь критерий того, какое расстояние следует считать слишком (“неправдоподобно”) большим, то есть несовместным с H 0 .

Квадрат обычного евклидова расстояниябыл бы равен:

X 2 Euclid = S (O i -E i) 2 = (5-10) 2 +(15-10) 2 + (6-10) 2 +(14-10) 2 +(4-10) 2 +(16-10) 2

При этом поверхности X 2 Euclid = const всегда являются сферами, если мы фиксируем значения E i и меняем O i . Карл Пирсон заметил, что использовать евклидово расстояние в пространстве частот не следует. Так, неправильно считать, что точки (O =1030 и E =1000) и (O =40 и E =10) находятся на равном расстоянии друг от друга, хотя в обоих случаях разность O -E =30. Ведь чем больше ожидаемая частота, тем большие отклонения от нее следует считать возможными. Поэтому точки (O =1030 и E =1000) должны считаться “близкими”, а точки (O =40 и E =10) “далекими” друг от друга. Можно показать, что если верна гипотеза H 0 , то флуктуации частоты O i относительно E i имеют величину порядка квадратного корня(!) из E i . Поэтому Пирсон предложил при вычислении расстояния возводить в квадраты не разности (O i -E i ), а нормированные разности (O i -E i )/E i 1/2 . Итак, вот формула, по которой вычисляется расстояние Пирсона (фактически это квадрат расстояния):

X 2 Pearson = S ((O i -E i )/E i 1/2) 2 =S (O i -E i ) 2 /E i

В нашем примере:

X 2 Pearson = (5-10) 2 /10+(15-10) 2 /10 +(6-10) 2 /10+(14-10) 2 /10+(4-10) 2 /10+(16-10) 2 /10=15.4

Для правильной игральной кости все ожидаемые частоты E i одинаковы, но обычно они различны, поэтому поверхности, на которых расстояние Пирсона постоянно (X 2 Pearson =const) оказываются уже эллипсоидами, а не сферами.

Теперь после того, как выбрана формула для подсчета расстояний, необходимо выяснить, какие расстояния следует считать “не слишком большими” (согласующимися с H 0).Так, например, что можно сказать по поводу вычисленного нами расстояния 15.4? В каком проценте случаев (или с какой вероятностью), проводя опыты с правильной игральной костью, мы получали бы расстояние большее, чем 15.4? Если этот процент будет мал (<0.05), то H 0 надо отвергнуть. Иными словами требуется найти распределение длярасстояния Пирсона. Если все ожидаемые частоты E i не слишком малы (≥5), и верна H 0 , то нормированные разности (O i - E i )/E i 1/2 приближенно эквивалентны стандартным гауссовским случайным величинам: (O i - E i )/E i 1/2 ≈N (0,1). Это, например, означает, что в 95% случаев| (O i - E i )/E i 1/2 | < 1.96 ≈ 2 (правило “двух сигм”).

Пояснение . Число измерений O i , попадающих в ячейку таблицы с номером i , имеет биномиальное распределение с параметрами: m =Np i =E i ,σ =(Np i (1-p i )) 1/2 , где N - число измерений (N »1), p i – вероятность для одного измерения попасть в данную ячейку (напомним, что измерения независимы и производятся в постоянных условиях). Если p i мало, то: σ≈(Np i ) 1/2 =E i и биномиальное распределение близко к пуассоновскому, в котором среднее число наблюдений E i =λ, а среднее квадратичное отклонение σ=λ 1/2 = E i 1/2 . Для λ≥5пуассоновскоераспределение близко к нормальному N (m =E i =λ, σ=E i 1/2 =λ 1/2), а нормированная величина (O i - E i )/E i 1/2 ≈ N (0,1).

Пирсон определил случайную величину χ 2 n – “хи-квадрат с n степенями свободы”, как сумму квадратов n независимых стандартных нормальных с.в.:

χ 2 n = T 1 2 + T 2 2 + …+ T n 2 , гдевсе T i = N(0,1) - н. о. р. с. в.

Попытаемся наглядно понять смысл этой важнейшей в статистике случайной величины. Для этого на плоскости (при n =2) или в пространстве (при n =3) представим облако точек, координаты которых независимы и имеют стандартное нормальное распределениеf T (x ) ~exp (-x 2 /2). На плоскости согласно правилу “двух сигм”, которое независимо применяется к обеим координатам, 90% (0.95*0.95≈0.90) точек заключены внутри квадрата(-2

f χ 2 2 (a) = Сexp(-a/2) = 0.5exp(-a/2).

При достаточно большом числе степеней свободы n (n >30) хи-квадрат распределение приближается к нормальному: N (m = n ; σ = (2n ) ½). Это следствие “центральной предельной теоремы”: сумма одинаково распределенных величин имеющих конечную дисперсию приближается к нормальному закону с ростом числа слагаемых.

Практически надо запомнить, что средний квадрат расстояния равен m (χ 2 n )=n , а его дисперсия σ 2 (χ 2 n )=2n . Отсюда легко заключить какие значения хи-квадрат следует считать слишком малыми и слишком большими:большая часть распределения заключена в пределахот n -2∙(2n ) ½ до n +2∙(2n ) ½ .

Итак, расстояния Пирсона существенно превышающие n +2∙ (2n ) ½ , следует считать неправдоподобно большими (не согласующимися с H 0) . Если результат близок к n +2∙(2n ) ½ , то следует воспользоваться таблицами, в которых можно точно узнать в какой доле случаев могут появляться такие и большие значения хи-квадрат.

Важно знать, как правильно выбирать значение числа степеней свободы (number degrees of freedom , сокращенно n .d .f .). Казалось естественным считать, что n просто равно числу разрядов: n =M . В своей статье Пирсон так и предположил. В примере с игральной костью это означало бы, что n =6. Однако спустя несколько лет было показано, что Пирсон ошибся. Число степеней свободы всегда меньше числа разрядов, если между случайными величинами O i есть связи. Для примера с игральной костью сумма O i равна 60, и независимо менять можно лишь 5 частот, так что правильное значение n =6-1=5. Для этого значения n получаем n +2∙(2n ) ½ =5+2∙(10) ½ =11.3. Так как15.4>11.3, то гипотезу H 0 - игральная кость правильная, следует отвергнуть.

После выяснения ошибки, существовавшие таблицы χ 2 пришлось дополнить, так как исходно в них не было случая n =1, так как наименьшее число разрядов =2. Теперь же оказалось, что могут быть случаи, когда расстояние Пирсона имеет распределение χ 2 n =1 .

Пример . При 100 бросаниях монеты число гербов равно O 1 = 65, а решек O 2 = 35. Число разрядов M =2. Если монета симметрична, то ожидаемые частотыE 1 =50, E 2 =50.

X 2 Pearson = S (O i -E i) 2 /E i = (65-50) 2 /50 + (35-50) 2 /50 = 2*225/50 = 9.

Полученное значение следует сравнивать с теми, которые может принимать случайная величина χ 2 n =1 , определенная как квадрат стандартной нормальной величины χ 2 n =1 =T 1 2 ≥ 9 ó T 1 ≥3 или T 1 ≤-3. Вероятность такого события весьма мала P (χ 2 n =1 ≥9) = 0.006. Поэтому монету нельзя считать симметричной: H 0 следует отвергнуть. То, что число степеней свободы не может быть равно числу разрядов видно из того, что сумма наблюдаемых частот всегда равна сумме ожидаемых, например O 1 +O 2 =65+35 = E 1 +E 2 =50+50=100. Поэтому случайные точки с координатами O 1 и O 2 располагаются на прямой: O 1 +O 2 =E 1 +E 2 =100 и расстояние до центра оказывается меньше, чем, если бы этого ограничения не было, и они располагались на всей плоскости. Действительно для двух независимые случайных величин с математическими ожиданиями E 1 =50, E 2 =50, сумма их реализаций не должна быть всегда равной 100 – допустимыми были бы, например, значения O 1 =60, O 2 =55.

Пояснение . Сравним результат, критерия Пирсона при M =2 с тем, что дает формула Муавра Лапласа при оценке случайных колебаний частоты появления события ν =K /N имеющего вероятность p в серии N независимых испытаний Бернулли (K -число успехов):

χ 2 n =1 =S (O i -E i ) 2 /E i = (O 1 -E 1) 2 /E 1 + (O 2 -E 2) 2 /E 2 = (Nν -Np ) 2 /(Np ) + (N (1-ν )-N (1-p )) 2 /(N (1-p ))=

=(Nν-Np) 2 (1/p + 1/(1-p))/N=(Nν-Np) 2 /(Np(1-p))=((K-Np)/(Npq) ½) 2 = T 2

Величина T =(K -Np )/(Npq ) ½ = (K -m (K ))/σ(K ) ≈N (0,1) при σ(K )=(Npq ) ½ ≥3. Мы видим, что в этом случае результат Пирсона в точности совпадает с тем, что дает применение нормальной аппроксимации для биномиального распределения.

До сих пор мы рассматривали простые гипотезы, для которых ожидаемые средние частоты E i полностью известны заранее. О том, как правильно выбирать число степеней свободы для сложных гипотез см. ниже.

Применение хи-квадрат критерия для проверки сложных гипотез

В примерах с правильной игральной костью и монетой ожидаемые частоты можно было определить до(!) проведения опыта. Подобные гипотезы называются “простыми”. На практике чаще встречаются “сложные гипотезы”. При этом для того, чтобы найти ожидаемые частоты E i надо предварительно оценить одну или несколько величин (параметры модели), и сделать это можно только, воспользовавшись данными опыта. В результате для “сложных гипотез” ожидаемые частоты E i оказываются зависящими от наблюдаемых частот O i и потому сами становятся случайными величинами, меняющимися в зависимости от результатов опыта. В процессе подбора параметров расстояние Пирсона уменьшается – параметры подбираются так, чтобы улучшить согласие модели и опыта. Поэтому число степеней свободы должно уменьшаться.

Как оценить параметры модели? Есть много разных способов оценки – “метод максимального правдоподобия”, “метод моментов”, “метод подстановки”. Однако можно не привлекать никаких дополнительных средств и найти оценки параметров минимизируя расстояние Пирсона. В докомпьютерную эпоху такой подход использовался редко: приручных расчетах он неудобен и, как правило, не поддается аналитическому решению. При расчетах на компьютере численная минимизация обычно легко осуществляется, а преимуществом такого способа является его универсальность. Итак, согласно “методу минимизации хи-квадрат”, мы подбираем значения неизвестных параметров так, чтобы расстояние Пирсона стало наименьшим. (Кстати, изучая изменения этого расстояния при небольших смещениях относительно найденного минимума можно оценить меру точности оценки: построить доверительные интервалы.) После того как параметры и само это минимальное расстояние найдено опять требуется ответить на вопрос достаточно ли оно мало.

Общая последовательность действий такова:

1. Выбор модели (гипотезы H 0).
2. Выбор разрядов и определение вектора наблюдаемых частот O i .
3. Оценка неизвестных параметров модели и построение для них доверительных интервалов (например, через поиск минимума расстояния Пирсона).
4. Вычисление ожидаемых частот E i .
5. Сравнение найденной величины расстояния Пирсона X 2 с критическим значением хи-квадрат χ 2 крит - наибольшим, которое еще рассматривается как правдоподобное, совместимое с H 0 . Величину, χ 2 крит мы находим из таблиц, решая уравнение

P (χ 2 n > χ 2 крит)=1-α,

где α – “уровень значимости” или ”размер критерия” или “величина ошибки первого рода” (типичное значение α=0.05).

Обычно число степеней свободы n вычисляют по формуле

n = (число разрядов) – 1 – (число оцениваемых параметров)

Если X 2 > χ 2 крит, то гипотеза H 0 отвергается, в противном случае принимается. В α∙100% случаев (то есть достаточно редко) такой способ проверки H 0 приведет к “ошибке первого рода”: гипотеза H 0 будет отвергнута ошибочно.

Пример. При исследовании 10 серий из 100 семян подсчитывалось число зараженных мухой-зеленоглазкой. Получены данные: O i =(16, 18, 11, 18, 21, 10, 20, 18, 17, 21);

Здесь неизвестен заранее вектор ожидаемых частот. Если данные однородны и получены для биномиального распределения, то неизвестен один параметр доля p зараженных семян. Заметим, что в исходной таблице фактически имеется не 10 а 20 частот, удовлетворяющих 10 связям: 16+84=100, … 21+79=100.

X 2 = (16-100p) 2 /100p +(84-100(1-p)) 2 /(100(1-p))+…+

(21-100p) 2 /100p +(79-100(1-p)) 2 /(100(1-p))

Объединяя слагаемые в пары (как в примере с монетой), получаем ту форму записи критерия Пирсона, которую обычно пишут сразу:

X 2 = (16-100p) 2 /(100p(1-p))+…+ (21-100p) 2 /(100p(1-p)).

Теперь если в качестве метода оценки р использовать минимум расстояния Пирсона, то необходимо найти такое p , при котором X 2 =min . (Модель старается по возможности “подстроиться” под данные эксперимента.)

Критерий Пирсона - это наиболее универсальный из всех используемых в статистике. Его можно применять к одномерным и многомерным данным, количественным и качественным признакам. Однако именно в силу универсальности следует быть осторожным, чтобы не совершить ошибки.

Важные моменты

1.Выбор разрядов.

• Если распределение дискретно, то произвола в выборе разрядов обычно нет.
• Если распределение непрерывно, то произвол неизбежен. Можно использовать статистически эквивалентные блоки (все O одинаковы, например =10). При этом длины интервалов разные. При ручных вычислениях стремились делать интервалы одинаковыми. Должны ли интервалы при изучении распределения одномерного признака быть равными? Нет.
• Объединять разряды нужно так, чтобы не слишком малыми (≥5) оказывались именно ожидаемые (а не наблюдаемые!) частоты. Напомним, что именно они {E i } стоят в знаменателях при вычислении X 2 ! При анализе одномерных признаков допускается нарушать это правило в двух крайних разрядах E 1 =E max =1. Если число разрядов велико, и ожидаемые частоты близки, то X 2 хорошо приближается χ 2 даже для E i =2.

Оценка параметров . Использование “самодельных”, неэффективных методов оценки может привести к завышенным значениям расстояния Пирсона.

Выбор правильного числа степеней свободы . Если оценки параметров делаются не по частотам, а непосредственно по данным (например, в качестве оценки среднего берется среднее арифметическое), то точное число степеней свободы n неизвестно. Известно лишь, что оно удовлетворяет неравенству:

(число разрядов – 1 – число оцениваемых параметров) < n < (число разрядов – 1)

Поэтому необходимо сравнить X 2 с критическими значениями χ 2 крит вычисленными во всем этом диапазоне n .

Как интерпретировать неправдоподобно малые значения хи-квадрат? Следует ли считать монету симметричной, если при 10000 бросаний, она 5000 раз выпала гербом? Ранее многие статистики считали, что H 0 при этом также следует отвергнуть. Теперь предлагается другой подход: принять H 0 , но подвергнуть данные и методику их анализа дополнительной проверке. Есть две возможности: либо слишком малое расстояние Пирсона означает, что увеличение числа параметров модели не сопровождалось должным уменьшением числа степеней свободы, или сами данные были сфальсифицированы (возможно ненамеренно подогнаны под ожидаемый результат).

Пример. Два исследователя А и B подсчитывали долю рецессивных гомозигот aa во втором поколении при моногибридном скрещивании AA * aa . Согласно законам Менделя эта доля равна 0.25. Каждый исследователь провел по 5 опытов, и в каждом опыте изучалось 100 организмов.

Результаты А: 25, 24, 26, 25, 24. Вывод исследователя: закон Менделя справедлив(?).

Результаты B : 29, 21, 23, 30, 19. Вывод исследователя: закон Менделя не справедлив(?).

Однако закон Менделя имеет статистическую природу, и количественный анализ результатов меняет выводы на обратные! Объединив пять опытов в один, мы приходим к хи-квадрат распределению с 5 степенями свободы (проверяется простая гипотеза):

X 2 A = ((25-25) 2 +(24-25) 2 +(26-25) 2 +(25-25) 2 +(24-25) 2)/(100∙0.25∙0.75)=0.16

X 2 B = ((29-25) 2 +(21-25) 2 +(23-25) 2 +(30-25) 2 +(19-25) 2)/(100∙0.25∙0.75)=5.17

Среднее значение m [χ 2 n =5 ]=5, среднеквадратичное отклонение σ[χ 2 n =5 ]=(2∙5) 1/2 =3.2.

Поэтому без обращения к таблицам ясно, что значение X 2 B типично, а значение X 2 A неправдоподобно мало. Согласно таблицам P (χ 2 n =5 <0.16)<0.0001.

Этот пример – адаптированный вариант реального случая, произошедшего в 1930-е годы (см. работу Колмогорова “Об еще одном доказательстве законов Менделя”). Любопытно, что исследователь A был сторонником генетики, а исследователь B – ее противником.

Путаница в обозначениях. Следует различать расстояние Пирсона, которое при своем вычислении требует дополнительных соглашений,от математического понятия случайной величины хи-квадрат. Расстояние Пирсона при определенных условиях имеет распределение близкое к хи-квадрат с n степенями свободы. Поэтому желательно НЕ обозначать расстояние Пирсона символом χ 2 n , а использовать похожее, но другое обозначение X 2. .

Критерий Пирсона не всесилен. Существует бесконечное множество альтернатив для H 0 , которые он не в состоянии учесть. Пусть вы проверяете гипотезу о том, что признак имел равномерное распределение, у вас имеется 10 разрядов и вектор наблюдаемых частот равен (130,125,121,118,116,115,114,113,111,110). Критерий Пирсона не c может “заметить” того, что частоты монотонно уменьшаются и H 0 не будет отклонена. Если бы его дополнить критерием серий то да!

Данный пост не отвечает, как в принципе считать критерий Хи квадрат, его цель - показать, как можно автоматизировать расчет Хи квадрат в excel , какие функции для расчета критерия Хи квадрат там есть. Ибо не всегда под рукой есть SPSS или программа R .
В каком-то смысле это напоминалка и подсказка участникам семинара Аналитика для HR , надеюсь вы используете эти методы в работе, этот пост будет еще одной подсказкой.
Я не даю файл ссылкой на скачивание, но вы вполне можете просто скопировать приведенные мной таблицы примеров и провести по приведенным мной данным и формулам

Вводная

Например, мы хотим проверить независимость (случайность / неслучайность) распределения результатов корпоративного опроса, где в строках ответы на какой либо вопрос анкеты, а в столбцах - распределение по стажу.

На вычисление Хи квадрат вы выходите через сводную таблицу, когда ваши данные сведены в таблицу сопряжения, например в таком виде
Таблица №1

	менее 1 года					Сумма по строкам
Сумма по столбцам

Для вычисления Хи квадрат в excel существуют следующие формулы

ХИ2.ТЕСТ

Формула ХИ2.ТЕСТ вычисляет вероятность независимости (случайность / неслучайность) распределения

Синаксис такой

ХИ2.ТЕСТ(фактический_интервал,ожидаемый­­_интервал)

В нашем случае фактический интервал это содержимое таблицы, т.е.

Т.е. получив две таблицы - эмпирических и ожидаемых (или теоретических частот) - мы фактически снимаем с себя работу по получению разницы, возведению в квадрат и прочим вычислениям, а также сверки с таблицей критических значений.

В нашем случае ХИ2.РАСП.ПХ = 0,000466219908895455, как и в примере с ХИ2.ТЕСТ

Примечание

Эта формула вычисления Хи квадрат в excel подойдет вам для вычисления таблиц размерностью 2Х2, поскольку вы сами считаете Хиквадрат эмпирическое и можете ввести в расчеты поправку на непрерывность

Примечание 2

Есть также формула ХИ2.РАСП (вы с неизбежностью увидите ее в excel) - она считает левостороннюю вероятность (если по простому, то левосторонняя считается как 1 - правосторонняя, т.е. мы просто переворачиваем формулу, поэтому я и не даю ее в расчетах Хи квадрат, в нашем примере ХИ2.РАСП = 0,999533780091105.
Итого ХИ2.РАСП + ХИ2.РАСП.ПХ = 1.

ХИ2.ОБР.ПХ

Возвращает значение, обратное правосторонней вероятности распределения хи-квадрат (или просто значение Хи квадрат для определенного уровня вероятности и количества степеней свободы)

Синаксис

ХИ2.ОБР.ПХ(вероятность;степени_свободы)

Заключение

Честно признаюсь, не владею точной информацией, насколько полученные результаты вычисления Хи квадрат в excel отличаются от результатов вычисления Хи квадрат в SPSS. Точно понимаю. что отличаются, хотя бы потому, что при самостоятельном вычислении Хи квадрат значения округляются и теряется какое-то количество знаков после запятой. Но не думаю, что это является критичным. Рекомендую лишь страховаться в том случае, когда вероятность распределения Хи квадрат близко к порогу (p-value) 0, 05.

Не очень здорово, что не учитывается поправка на непрерывность - у нас многое вычисляется в таблицах 2Х2. Поэтому мы почти не достигаем оптимизации в случае расчета таблиц 2Х2

Ну и тем не менее, думаю, что приведенных знаний достаточно, чтобы сделать вычисление Хи квадрат в excel чуть быстрее, чтобы сэкономить время на более важные вещи