Глава 1. Теоретические методы описания информационных объектов и процессов

Теоретические методы описания информационных объектов и процессов

 

Во введении было определено, что сообщения, сигналы и помехи являются случайными величинами или процессами. Для их описания и анализа необходимо использовать основные положения теории вероятностей, рассмотрению которых посвящена данная глава. Все содержание данной главы в равной мере относится к сообщениям, сигналам и помехам.

 

1.1. Случайные события и их вероятности

Событие - любое явление, в отношении которого имеет смысл говорить, наступило оно или не наступило в результате определенного комплекса условий или случайного эксперимента. Отсюда следует, что событие можно рассматривать, как величину, которая может принимать только два значения.

Можно выделить виды событий.

Событие называется достоверным, если оно обязательно происходит при каждом осуществлении определенной совокупности условий. Например, если брошена игральная кость, то выпадение не менее одного и не более шести очков является достоверным событием.

Событие называется невозможным, если оно заведомо не произойдет ни при одном осуществлении данной совокупности условий. Например, если брошена игральная кость, то выпадение более шести очков является невозможным событием.

Событие называется случайным, если оно может произойти, а может и не произойти при осуществлении данной совокупности условий. Например, если брошена игральная кость, то выпадение любого из шести очков является случайным событием.

События называются несовместимыми, если их одновременное появление при осуществлении данной совокупности условий невозможно, т.е. появление события А в данном испытании исключает появление события В в этом же испытании. Например, если из урны с черными и белыми шарами случайным образом извлекается белый шар, то его появление исключает извлечение черного шара в той же попытке.

События называются единственно возможными, если появление в результате испытания одного и только одного из них является достоверным событием. Например, если стрелок произвел выстрел, то обязательно происходит одно из двух событий – попадание или промах. Эти события единственно возможные.

Совокупность единственно возможных событий испытания называется полной группой событий.

События называются равновозможными, если есть основания считать, что ни одно из этих событий не является более возможным, чем другие. Например, появление герба или решетки при бросании монеты есть события равновозможные.

Если А – какое либо событие, то событие, состоящее в том, что событие А не наступило, называется событием противоположным событию А или отрицанием события А и обозначается `А

Суммой событий A и B называется такое событие, обозначаемое A+B, которое происходит только тогда, когда происходит хотя бы одно из событий A или B или оба вместе.

Произведением событий A и B называется такое событие, обозначаемое A ´ B, которое происходит только тогда, когда происходят оба события A и B одновременно. Если A и B несовместимые события, то событие A ´ B является невозможным.

События, происходящие при реализации определенного комплекса условий или в результате случайного эксперимента, называются элементарными исходами. Считается, что при проведении случайного эксперимента реализуется только один из возможных элементарных исходов. Множество всех элементарных исходов случайного эксперимента называется пространством элементарных исходов.

Те элементарные исходы, при которых наступает интересующее нас событие, называются исходами, благоприятствующими этому событию.

Вероятность события A - это отношение числа благоприятствующих этому событию элементарных исходов к общему числу всех возможных и равновозможных элементарных исходов эксперимента , где - число элементарных исходов, благоприятствующих событию A; -число всех возможных элементарных исходов эксперимента.

Можно определить следующие свойства вероятности:

- вероятность достоверного события равна 1;

- вероятность невозможного события равна 0;

- вероятность случайного события есть положительное число, заключенное между 0 и 1: .

Математическое понятие вероятности случайного события является абстрактной характеристикой, присущей не самим интересующим нас объектам материального мира, а их теоретико-множественным моделям. Требуется некоторое дополнительное соглашение для того, чтобы можно было извлекать сведения о вероятностях из экспериментальных данных. В соответствии с классическим определением принято оценивать вероятность события относительной частотой благоприятных исходов опыта. Если проведено N независимых испытаний и в n из них наблюдалось событие А, то эмпирическая (выборочная) оценка вероятности p(A), которую можно получить из этой серии равна:

p_ЭМП (А) = n / N.

При этом полагают, что p_ЭМП®p, если число испытаний N®µ.

 

Основные теоремы теории вероятностей.

 

1. Теорема сложения вероятностей. Вероятность появления хотя бы одного из двух совместных событий равна сумме вероятностей этих событий за вычетом вероятности их одновременного наступления .

Если A и B несовместимые события, то событие A ´ B является невозможным. Следовательно, . Обобщая на несколько попарно несовместимых событий, можно записать .

Если события образуют полную группу, то сумма вероятностей этих событий равна единице: . Сумма вероятностей противоположных событий равна единице: .

2. Теорема умножения вероятностей. Предположим, что из общего числа исходов испытания событию благоприятствуют элементарных исходов, событию благоприятствуют элементарных исходов, а одновременному наступлению событий и благоприятствуют элементарных исходов. Если событие наступило, то это означает, что осуществился один из благоприятствующих ему исходов, причем из этих исходов благоприятствовать событию будут и те исходов, при которых события и наступают одновременно. В связи с этим вводится понятие условной вероятности. Условной вероятностью называют вероятность события , вычисленную в предположении, что событие уже наступило. Независимыми событиями называются события, если вероятность одного из них не зависит от наступления или ненаступления другого. Если событие независимо от события , то . События называются независимыми в совокупности, если каждое из этих событий независимо в паре с любым произведением остальных событий, содержащим как все остальные события, так и любую их часть. Независимость событий в совокупности влечет за собой попарную независимость этих событий. Для двух случайных зависимых событий вероятность произведения этих событий (т.е. одновременного появления в одном испытаний) равна произведению вероятностей одного из них на условную вероятность другого, рассчитанную при условии, что первое событие уже произошло: . Если событие независимо от события ,то . Вероятность одновременного появления нескольких попарно независимых событий равна произведению их вероятностей: .

3. Теорема полной вероятности. Пусть имеется группа событий , обладающих следующими свойствами: а) все события попарно несовместимы; б) их объединение образует пространство элементарных исходов; в) они образуют полную группу событий. Такие события называют гипотезами, поскольку заранее неизвестно, какое из этих событий наступит. Пусть - некоторое событие, которое может произойти при наступлении одного и только одного из событий . Это означает, что . Вероятность события , которое может наступить лишь при условии появления одного из несовместимых событий , образующих полную группу, равна сумме произведений вероятностей каждого из этих событий на соответствующую условную вероятность события : . Приведенная формула называется формулой полной вероятности.

4. Формула Байеса. Пусть, как и в предыдущем случае имеем совокупность события и группы событий , обладающих теми же свойствами. Допустим, что событие произошло и требуется определить, как в связи с этим изменились вероятности гипотез, т.е. . Эта задача решается с помощью формулы Байеса . Формула Байеса позволяет переоценить вероятности гипотез после того, как становится известным результат испытания, в итоге которого появилось событие , т.е. найти апостериорные вероятности. Используя понятие условной вероятности формулу Байеса можно интерпретировать как вероятность того, что причиной появления события является событие .

5. Формула Бернулли. Пусть производится n независимых испытаний, в каждом из которых событие А может появиться, либо не появиться. Будем считать, что вероятность события А в каждом испытании одна и та же и равна p. Следовательно, вероятность ненаступления события А в каждом испытании также постоянна и равна q = 1 - p. Вероятность того, что при этих условиях при n испытаниях событие А произойдет ровно k раз и, следовательно, не произойдет n-k раз определяется по формуле Бернулли , где . Формулу Бернулли называют также формулой биномиального распределения вероятностей, поскольку в правой ее части стоит (k+1) -й член бинома Ньютона.

6. Локальная теорема Лапласа. При больших n формулой Бернулли пользоваться затруднительно из-за громоздкости вычислений. Для этого случая доказана так называемая локальная теорема Лапласа, дающая асимптотическую формулу, которая позволяет приближенной найти вероятность появления события k раз в n испытаниях, если число испытаний достаточно велико , где и . Для функции j(x) составлены таблицы, соответствующие положительным значениям аргумента x, поскольку j(-x) = j(x). Формула Лапласа дает тем большую точность, чем выше n.

7. Интегральная теорема Лапласа. Если при тех же условиях, что и в предыдущем случае, требуется найти вероятность того, что событие А появится в n испытаниях не менее k₁ раз и не более k₂ раз, то пользуются интегральной теоремой Лапласа , где - табличная функция, называемая функцией Лапласа. Эта функция обладает следующими свойствами: а) Ф(0)=0; б) Ф(µ)=0; в) Ф(-x) = - Ф(x) т.е. функция нечетна. Значения аргумента x находятся по формулам: .

Основное отличие понятия вероятности от относительной частоты появления события состоит в том, что первую характеристику вычисляют до опыта, а вторую – после опыта. В том случае, если относительная частота наступления события обнаруживает устойчивую закономерность, т.е. если отношение n / N для достаточно больших N и большинства серий испытаний мало отклоняется от некоторой постоянной величины, то эту постоянную величину называют статистической вероятностью появления события. Для сопоставления этих величин также используется функция Лапласа. Пусть производится N независимых испытаний, в каждом из которых событие А может появиться, либо не появиться. Будем считать, что вероятность события А в каждом испытании одна и та же и равна p. Следовательно, вероятность ненаступления события А в каждом испытании также постоянна и равна q = 1 - p. Необходимо определить вероятность того, что отклонение относительной частоты n / N от вероятности p по абсолютной величине не превышает e>0. Это осуществляется с помощью следующей формулы .

8. Формула Пуассона. При тех же условиях, что и в предыдущих случаях, но если n велико (n >100), а p мало (p <0,1), вместо локальной формулы Лапласа удобнее пользоваться асимптотической формулой Пуассона .