Статистический Критерий масштабности

Рассматривая статистический критерий, необходимо начать с замечания, что масштабность эффекта имеет очень мало общего со статистической значимостью. Эффект почти любого масштаба может быть представлен как статистически значимый (т.е. прояв­ляющийся неслучайным образом) просто путем сбора информа­ции о достаточно большом количестве наблюдений. Один из ав­торов этой книги, обучаясь в аспирантуре, имел особенно убе­дительный повод осознать это, когда, развернув компьютерную распечатку статистического анализа данных, собранных со всей страны, и отыскав строку с зависимостью, которая его особенно интересовала, обнаружил статистически значимую корреляцию на считавшемся достаточным уровне 0,05, что заставило его зап­рыгать от радости. Глядя на это, один из его коллег вынужден был заметить, что корреляция, вызвавшая у него столь бурный восторг, составляла около 0,04 — уровень зависимости, весьма близкий к нулю. Подобная заурядная корреляция оказалась зна­чимой лишь потому, что опросом было охвачено более тысячи респондентов. Таким образом, автор оказался прав в своем про­гнозе: зависимость действительно имела место, но была настоль­ко слабой, что не могла иметь никакого теоретического или прак­тического значения.

Гораздо более разумное для определения масштабности экс­периментальных эффектов соображение высказал Коэн (Cohen, 1965, 1977), предложивший судить о них в зависимости от измен­чивости рассматриваемых переменных. Согласно критерию Козна, разница между двумя средними величинами, соответствующая чет­верти стандартного отклонения в распределении соответствующе­го показателя, должна рассматриваться как малая; разница, соот­ветствующая половине стандартного отклонения — как умеренная;

и, наконец, разница, соответствующая целому стандартному от­клонению, должна расцениваться как большая. Это и подобные ему статистические определения оценивают масштаб эффекта в за­висимости от всех неучтенных, так называемых «случайных», де­терминант изменчивости или, иными словами, в зависимости от «уровня помех». Данное определение ловко устраняет, а по сути игнорирует все соображения о природе рассматриваемой пере­менной и используемых единиц измерения. В этом (как станет ясно из обсуждения двух оставшихся критериев) заключается как его основное достоинство, так и его главнейший недостаток.