Несмещенность

Поскольку оценки являются случайными переменными, их значения лишь по случайному совпадению могут в точности равняться характеристикам генеральной совокупности. Обычно будет присутствовать определенная ошибка, которая может быть большой или малой, положительной или отрицательной, в зависимости от чисто случайных составляющих величин в выборке.

Хотя это и неизбежно, на интуитивном уровне желательно, тем не менее, чтобы оценка в среднем за достаточно длительный период была аккуратной. Выражаясь формально, мы хотели бы, чтобы математическое ожидание оценки равнялось бы соответствующей характеристике генеральной совокупности. Если это так, то оценка называется несмещенной. Если это не так, то оценка называется смещенной, и разница между ее математическим ожиданием и соответствующей теоретической характеристикой генеральной совокупности называется смещением.

Начнем с выборочного среднего. Является ли оно несмещенной оценкой теоретического среднего? Равны ли и ? Да, это так, что непосредственно вытекает из (A.18).

Величина включает две составляющие – и . Значение равно средней чисто случайных составляющих величин в выборке, и, поскольку математическое ожидание такой составляющей в каждом наблюдении равно нулю, математическое ожидание равно нулю. Следовательно,

. (A.19)

Тем не менее полученная оценка – не единственно возможная несмещенная оценка . Предположим для простоты, что у нас есть выборка всего из двух наблюдений – и . Любое взвешенное среднее наблюдений и было бы несмещенной оценкой, если сумма весов равна единице. Чтобы показать это, предположим, что мы построили обобщенную формулу оценки:

. (A.20)

Математическое ожидание равно:

. (A.21)

Если сумма и равна единице, то мы имеем и является несмещенной оценкой .

Таким образом, в принципе число несмещенных оценок бесконечно. Как выбрать одну из них? Почему в действительности мы всегда используем выборочное среднее с ? Возможно, вы полагаете, что было бы несправедливым давать разным наблюдениям различные веса или что подобной асимметрии следует избегать в принципе. Мы, однако, не заботимся здесь о справедливости или о симметрии как таковой. Дальше мы увидим, что имеется и более осязаемая причина.

До сих пор мы рассматривали только оценки теоретического среднего. Выше утверждалось, что величина , определяемая в соответствии с табл. А.6, является оценкой теоретической дисперсии . Можно показать, что математическое ожидание равно , и эта величина является несмещенной оценкой теоретической дисперсии, если наблюдения в выборке независимы друг от друга. Доказательство этого математически несложно, но трудоемко, и поэтому мы его опускаем.