Проверяя гипотезы с помощью статистического критерия, может возникнуть одна из четырех ситуаций: 1) гипотеза H0 истинна (и поэтому H1 – ложна) и предпринимается действие А; 2) гипотеза H1 истинна (и поэтому H0 – ложна) и предпринимается действие А; 3)) гипотеза H0 истинна (и поэтому H1 – ложна) и предпринимается действие В; 4) гипотеза H1 истинна (и поэтому H0 – ложна) и предпринимается действие В. В ситуациях 2 и 3 получается ошибка. Существует 2 типа ошибок. Ошибка, состоящая в принятии гипотезы H0, когда она ложна (ошибка второго рода), качественно отличается от ошибки, состоящей в отвержении H0, когда она истинна (ошибка первого рода). При этом числа αi = αi(δ) = Pi(δ(X)≠ Hi), характеризующие вероятность отвержения гипотезы Hi, когда она верна, называют вероятностями ошибок (i+1)-го рода критерия δ. Набором вероятностей αi(δ) ошибочных решений характеризуется кач-вом критерия δ. Правильное решение также может быть принято двумя способами (ситуации 1 и 4): когда гипотеза H0 принимается, ибо она верна, и когда гипотеза H0 отвергается, ибо она ложна. В ситуации 1 не совершается ошибка первого рода, в ситуации 4 – второго рода.
Уровень значимости критерия не меняет степени риска, связанного с возможностью ошибки второго рода, т.е. с принятием неверной гипотезы. И при данном уровне значимости можно по-разному определить критическую область. Как правило, ее определяют так, чтобы мощность критерия 1 – α1(δ) была возможно большей: P (X ] x1; x2[|H1) = max. Мощностью критерия δ называется вероятность 1 – α1(δ) несовершения ошибки второго рода. Чем больше мощность критерия, тем меньше вероятность принятия неверной гипотезы.