Статистическая гипотеза — это определённое предположение о распределении вероятностей, лежащем в основе наблюдаемой выборки данных. Проверка статистической гипотезы — это процесс принятия решения о том, противоречит ли рассматриваемая статистическая гипотеза наблюдаемой выборке данных. Статистический тест или статистический критерий — строгое математическое правило, по которому принимается или отвергается статистическая гипотеза.
Ошибка первого рода или «ложная тревога» — когда нулевая гипотеза отвергается, хотя на самом деле она верна. Вероятность ошибки первого рода:
Ошибка второго рода или «пропуск цели»— когда нулевая гипотеза принимается, хотя на самом деле она не верна. Вероятность ошибки второго рода: