Множественные сравнения

Множественные сравнения являются одной из труднейших проблем в математической статистике. В действительности при анализе данных исследователи сталкиваются с ними на каждом шагу.

Пусть, например, мы рассматриваем 100 независимых таблиц сопряженности пар переменных, отбирая среди них «интересные» для анализа, с использованием критических значений хи-квадрат 5 %-го уровня значимости. Тогда при отсутствии связи переменных мы будем в среднем в таких испытаниях получать 5 «интересных» (значимых) таблиц, даже если связь между всеми переменными отсутствует. Таким образом, как бы ни были плохи данные, мы что-либо будем интерпретировать. Но при повторном сборе данных мы можем получить противоположные результаты. Вот что значит множественные сравнения!

Сравнение групповых средних - это одна из немногих задач, где удалось справиться с этой проблемой.

Суть задачи состоит в отборе значимых различий множества пар групп, определяемых переменной группирования. Сравнение пары средних мы научились делать с помощью процедуры T-TEST, и, казалось бы, можно, задавшись уровнем значимости, пропустить через этот тест все пары групп и отобрать различающиеся по заданному уровню. Однако, перебирая группы, мы перебираем множество случайных чисел и благодаря этому можем наткнуться на значимое отличие с гораздо большей вероятностью, чем при рассмотрении одной пары групп. В частности, если группы независимы и не связаны с тестируемой переменной, при 10 сравнениях по уровню значимости 0,05 мы с вероятностью 1– (1 – 0, 05)¹⁰=0,4 случайно получим хотя бы одно «значимое» различие. Эту проблему мы уже рассматривали в разд. 3.2.

Для пояснения механизма работы тестов множественных сравнений остановимся на 3 из 20 тестов, реализованных в SPSS.

Согласно методу Бонферрони в случае множественных сравнений назначается более строгий уровень значимости для попарных сравнений. Он определяется так: задается уровень значимости для множественных сравнений a _m и в качестве попарного уровня значимости берется a=(1 / k)a _m., где k – число сравнений. Пусть A_i – событие, состоящее в том, что мы в
i -м сравнении выявили существенное отличие средних; когда средние совпадают, тогда, в соответствии с заданным уровнем значимости, P { A_i }<a. Ясно, что P { A ₁ + A ₂ + … + A_k } ≤ P { A ₁} + P { A ₂} + … + P { A_k } < k a=a _m, поэтому метод Бонферрони гарантирует нас от ошибки с вероятностью, не меньшей a _m. В независимых сравнениях неравенство P { A ₁ + A ₂ + … + A_k }< k a будет выполняться почти точно так, как 1 – (1 – a) ^k » k a. Критерий несколько жестче, чем необходимо, так как средние в группах связаны их взвешенная сумма равна общему среднему.

Метод Шеффе построен на контрастах. С его помощью проверяется гипотеза равенства нулю сразу всех контрастов, не только тех, что сравнивают пары групп. В результате он часто оказывается еще строже, чем критерий Бонферрони.

Критерий Тьюки основан на одновременных доверительных интервалах разности матожиданий в группах. Этот критерий из трех рассматриваемых, пожалуй, наиболее разумен. Предположение об одновременном равенстве разностей всех групповых матожиданий – слишком сильное предположение, в критерии Тьюки такого не предполагается.

В качестве примера рассмотрим различие среднего промедианного логарифма доходов в группах по образованию, группы которого несколько укрупнены:

RECODE v10 (4 5 = 4) (6 7 8 = 5) (ELSE = COPY) INTO w10.

VAR LAB w10 "образование".

VALUE LAB w10 1 "Высшее" 2 "н/высш" 3 "ср. спец" 4 "среднее" 5 "ниже среднего".

ONEWAY lnv14m BY w10 /STATISTICS DESCRIPTIVES HOMOGENEITY /POSTHOC = BTUKEY SCHEFFE BONFERRONI ALPHA(.05).

На основании полученной выдачи видим, что:

- доверительные интервалы для высшего и неполного высшего образования не пересекаются (табл. 4.10);

- дисперсии в группах различаются несущественно (см. тест Ливиня, табл. 4.11);

- в целом наблюдается связь душевого дохода с образованием (в результате дисперсионного анализа отвергается гипотеза о равенстве средних, табл. 4.12);

- выделились следующие две группы по образованию с неразличимыми средними: 2 – н/высшее, 5 – ниже среднего, 4 – среднее и 5 – ниже среднего, 4 – среднее, 3 – среднее спец., 1 – высшее (табл. 4.13);

- попарные множественные сравнения показали, что единственная пара отличающихся по средним групп – это группы с неполным высшим и респондентов с высшим образованием (наблюдаемая значимость – 0,013, табл. 4.14).

Таблица4. 10

Oneway, сравнение среднего промедианного логарифма доходов

W10 образование	N	Mean	Std. Deviation	Std. Error	95 % Confidence Interval for Mean	Minimum	Maxi-mum
Lower Bound	Upper Bound
1.00 Высшее		0,048	0,511	0,032	–0,016	0,111	–1,050	2,015
2.00 Н/высш.		–0,248	0,606	0,100	–0,450	–0,046	–1,386	1,099
3.00 Ср. спец.		0,009	0,479	0,032	–0,055	0,073	–1,386	1,740
4.00 Среднее		–0,093	0,619	0,054	–0,200	0,015	–2,254	1,504
5.00 Ниже сред.		–0,107	0,530	0,092	–0,295	0,081	–0,916	1,099
Total		–0,016	0,534	0,021	–0,057	0,024	–2,254	2,015

 

Таблица4. 11

Oneway, проверка однородности дисперсий

Levene Statistic	df1	df2	Sig.
2,282			0,059

 

 

Таблица4. 12

Oneway, обычный дисперсионный анализ

	Sum of Squares	df	Mean Square	F	Sig.
Between Groups	4,187		1,047	3,724	0,005
Within Groups	187,202		0,281
Total	191,389

 

Таблица4. 13

Oneway, группы неразличимых средних

	W10 образование
Tukey HSD	2.00 н/высш		–0,248
5.00 ниже среднего		–0,107	–0,107
4.00 среднее		–0,093	–0,093
3.00 ср. спец			0,009
1.00 Высшее			0,048
Sig.		0,429	0,436
Scheffe	2.00 н/высш		–0,248
5.00 ниже среднего		–0,107	–0,107
4.00 среднее		–0,093	–0,093
3.00 ср. спец		0,009	0,009
1.00 Высшее			0,048
	Sig.		0,093	0,579

Таблица4. 14

Oneway, множественные попарные сравнения

			Mean Difference (I-J)	Std. Error	Sig.	95 % Confidence Interval
	(I) W10 Образование	(J) W10 Образование				Lower Bound	Upper Bound
Tukey HSD		2 Н/высш.	0,296*	0,093	0,013	0,041	0,551
1 Высшее	3 Ср. спец.	0,039	0,049	0,934	-0,095	0,172
	4 Среднее	0,140	0,057	0,102	-0,016	0,297
	5 Ниже среднего	0,154	0,098	0,516	-0,113	0,422
	1 Высшее	–0,296*	0,093	0,013	–0,551	–0,041
2 Н/высш.	3 Ср. спец.	–0,257	0,094	0,050	–0,514	0,000
	4 Среднее	–0,155	0,099	0,515	–0,425	0,114
	5 Ниже среднего	–0,142	0,127	0,799	–0,488	0,205
	1 Высшее	–0,039	0,049	0,934	–0,172	0,095
3 Ср. спец.	2 Н/высш.	0,257	0,094	0,050	0,000	0,514
	4 Среднее	0,102	0,059	0,412	–0,058	0,262
	5 Ниже среднего	0,116	0,099	0,769	–0,154	0,386
	1 Высшее	–0,140	0,057	0,102	–0,297	0,016
4 Среднее	2 Н/высш.	0,155	0,099	0,515	–0,114	0,425
	3 Ср. спец.	–0,102	0,059	0,412	–0,262	0,058
	5 Ниже среднего	0,014	0,103	1,000	–0,268	0,296
	1 Высшее	–0,154	0,098	0,516	–0,422	0,113
5 Ниже ср.	2 Н/высш.	0,142	0,127	0,799	–0,205	0,488
	3 Ср. спец.	–0,116	0,099	0,769	–0,386	0,154
	4 Среднее	–0,014	0,103	1,000	–0,296	0,268

Следует заметить, что мы не показали здесь часть таблицы попарных сравнений с результатами для метода Бонферрони и Шеффе; результаты аналогичны, но для указанной пары групп значимость различия по Шеффе – 0,041, по Бонферрони – 0,016. Это показывает бóльшую чуствительность теста Тьюки.