Дискретные марковские цепи. ? другой стороны,

1. а)

;

б)

; с другой стороны,

;

в)

в силу равенства б).

2. . Покажем, что :

и .

3. P(;

аналогично для .

Рассмотрим два оставшихся выражения:

и

в силу задачи 1.

4. Пусть , , подпоследовательность последовательности , . Тогда

, где сумма берется по всем попущенным индексам от 0 до и используется задача 1.

5). Положим . Тогда

если использовать задачу №1.

6).

Повторяя этот прием, приходим к выражению

.

7). Положим . Тогда =

=

= , где сумма берется по всем пропущенным номерам от нуля до (n -1) m и используется задача №1.

8). Введем событие , состоящее в том, что случайные величины могут принимать значения из множества в зависимости от значений случайных величин . Тогда

в силу того, что исходная цепь марковская.

Аналогично

,

, так же вычисляется

Следовательно, последовательность является цепью Маркова. Найдем матрицу вероятностей перехода за 1 шаг: , тогда ;

, а тогда .

Замечание. Запись , означает, что - либо , либо .

9). По аналогии с задачей №8 доказывается, что последовательность , образует марковскую цепь. Найдем условие однородности этой цепи:

, для однородной цепи это выражение не зависит от , поэтому , .

10.

в силу независимости случайной величины от случайных величин .

11. а) Да, ибо

в силу независимости случайных величин , . С другой стороны

по той же причине.

б) Да, ибо

в силу независимости случайных величин , . С другой стороны .

в) Да, если , нет – при . Действительно, при :

, но

где и аналогично , т.е. .

С другой стороны,

в силу независимости случайных величин , .

Если , то положим, например, .

Тогда

, но

.

12)

.

С другой стороны

, в силу независимости случайных величин , таким образом последовательность , образует марковскую цепь. Найдем матрицу P переходных вероятностей за 1 шаг:

,

и так далее.

13) Если , то .

Тогда

.

Так как по условию, то

и поэтому цепь марковская.

14) Если , то в момент длина очереди равна , где

, то есть , где .

Тогда

в силу независимости случайных величин . Аналогично вычисляем .

15) а) , где либо , либо и случайные величины , независимы. Тогда и

в силу независимости случайных величин . Аналогично вычисляем .

б) , где равно либо 1, либо -1, и случайные величины независимы. Тогда

. Аналогично вычисляется

.

16) Если то равно либо , если в момент n рабочий продолжает проверку дефектного изделия, пришедшего ранее, либо , если в момент n или ранее он закончил проверку дефектного изделия. Тогда равно 0 или 1 соответственно, то есть зависит от предыстории процесса.

17) Состояния марковской цепи: Ø, А, В, С, АВ, АС, ВС, АВС. Найдем, например, вероятности этих состояний при условии АС. Тогда Р(Ø /АС)=2/3·1/3=2/9, ибо танки А и С уничтожили друг друга; Р(А/АС)=2/3·2/3=4/9, т.е. танк А попал, а танк С промахнулся; Р(С/АС)=1/3·1/3=1/9, т.е. А промахнулся, а С попал; Р(АС/АС)=1/3·2/3=2/9, т.е. оба промахнулись; Р(АВ/АС)=Р(В/АС)=Р(ВС/АС)=Р(АВС/АС)=0 очевидно. Цепь марковская, ибо переход из одного состояния в другое зависит только от того, какие танки остались на поле боя после предыдущего залпа.

18) Состояние марковской цепи те же, что и предыдущей задаче. Найдем, например, вероятности этих состояний при условии АС. Тогда Р(С/АС)=1/3, т.е. С попал в А, а А не стреляет в С; Р(АС/АС)=2/3, т.е. С не попал в А, и А не стреляет в С; все остальные вероятности при условии АС очевидно равны нулю.

19) Если случайные величины независимы, то , т.е. строки одинаковы. Пусть строки одинаковы, т.е. , . Тогда

и , и далее по аналогии .

Следовательно, , т.е. случайные величины независимы.

20) в силу независимости случайных величин ; при этом при . С другой стороны

в силу независимости случайных величин ; при этом, если и , то эта вероятность равна нулю.

21) Обозначим через число самолетов, оставшихся на утро n -го дня, ; очевидно, что , , принимает значения от 0 до 4. Цепь марковская, т.к. число самолетов на сегодняшний день зависит только от числа самолетов, оставшихся со вчерашнего дня. Из состояния 0 можно перейти только в состояние 1, из состояния 1 только в состояние 2, из состояния 2 только в состояние 3, из состояния 3 можно перейти в состояния 0, 1, 2, 3 соответственно с вероятностями р ³, С₃² р²q, С₃¹ рq², q ³. Аналогично определяются вероятности перехода из состояния 4. Так как состояние 4 несущественное, то для доказательства регулярности цепи надо взять матрицу 4× 4, образованную первыми четырьмя строками и первыми четырьмя столбцами построенной матрицы. Уже ее четвертая степень дает матрицу, все элементы которой положительны, т.е. цепь регулярная.

22) Если испытуемый в первый раз нажал на кнопку, то на втором табло горела зеленая лампочка, а тогда там все время будет гореть зеленая лампочка. Поэтому искомая вероятность равна произведению вероятности того, что на первом табло зажжется зеленая лампочка, и вероятности того, что в третий раз загорится синяя лампочка, т.е. Р(З/З)·Р(С/З)=1/3·2/3=2/9.

23)

в силу независимости случайных величин , , и аналогично

, т.е. цепь марковская. В силу того, что случайные величины , , одинаково распределены, цепь будет однородной.

Так как , то и

. В силу независимости случайных величин имеем

Поэтому при

.

Тогда

.

Матрица Р строится, исходя из равенства: .

24) а) Если i несущественное состояние, то по определению существует состояние j, в которое с положительной вероятностью, но вернуться в состояние i можно только с нулевой вероятностью. Если j существенное, то из него с положительной вероятностью можно перейти в любое существенное состояние, и утверждение доказано. Если j несущественное, то опять найдется состояние k … и т.д. Так как цепь конечна, то обязательно на этом пути встретится существенное состояние, ибо иначе цепь вернется в какое – то несущественное состояние с положительной вероятностью, что противоречит определению.

б) От противного. Если из существенного состояния i перешли в несущественное состояние j с положительной вероятностью, то из j можно перейти в некоторое состояние k с положительной вероятностью, но вернуться назад можно только с нулевой вероятностью. Если k существенное, то k и i сообщаются и поэтому можно вернуться в состояние j с положительной вероятностью, что противоречит определению. Если же k несущественное, то найдется состояние m … и т.д. Так как цепь конечна, то приходим к противоречию.

25) От противного: пусть состояние j несущественное и возвратное. Если вероятность когда-нибудь вернуться в состояние j, выйдя из него, то -вероятность никогда в него не вернуться, выйдя из него. По определению несущественного состояния существует целое и состояние i такое, что и для любого . Тогда , но для возвратного состояния , т.е. получили противоречие.

26) а) Пусть , , . Тогда существуют , такие, что и , откуда . Аналогично покажем, что существует такое, что . Следовательно, и , т.е. и .

б) От противного. Пусть , и существуют , такие, что , т.е. , и , т.е. . Так как , то существуют , такие, что и . Тогда . Аналогично покажем, что существует такое k, что . Следовательно, и принадлежат одному классу, т.е. и совпадают.

в) Так как , то существуют , , , такие, что ; аналогично влечет существование , , , таких, что . Но , , т.е. существует такое, что . Тогда , т.е. .

27) Состояние j возвратно, если , где и - вероятность первого попадания в состояние j за n шагов, выйдя из него. Так как цепь состоит из существенных сообщающихся между собой состояний, то для доказательства возвратности можно выбрать любое состояние. Положим j =0. Тогда , , , …, и т.д. Найдем

. Следовательно, тогда и только тогда, когда произведение сходится к нулю, критерием чего является сходимость ряда и условие , .

28) Так как состояние j невозвратное, то ряд сходящийся, т.е. . Очевидно, что

. Тогда

29) См. решение задач 25 и 28.

30) Так как , то из следует ; если бы цепь была периодической с периодом d, то d/n и d/n+ 1, т.е. d =1, и получили противоречие ( означает, что все элементы этой матрицы больше нуля).

Если цепь непериодическая и неразложимая, то имеет место эргодическая теорема Маркова для конечной цепи, т.е. существуют пределы для любых состояний i и k. В силу конечности цепи найдется такое n, что для любых состояний i и k.

31) Пусть

где , , марковская цепь. Тогда есть число возвращений в состояние j, выйдя из него. Среднее число возвращений равно

, а эта сумма – в силу критерия возвратности состояния – либо конечна, либо нет для всех состояний неразложимой цепи.

32) Так как , то существует состояние j такое, что не стремится к нулю при . Если бы все состояния были невозвратными, то для любого состояния i в силу задачи 28 при , т.е. получили противоречие.

33) Применить критерий возвратности, заметив что .

34) Пусть состояние i возвратное, но несущественное. Тогда существуют состояние j и n ≥ 1 такие, что и для любого k ≥ 1. Обозначим через вероятность события «вернуться в состояние i когда-нибудь, выйдя из него». Тогда это событие влечет событие А={цепь не попадает в состояние j, выйди из состояния i }, так как для всех k ≥ 1. Тогда , что приводит к противоречию, ибо для возвратного состояния.

Пусть теперь состояние i существенно. Если состояние i не сообщается с другими состояниями, то для всех n ≥ 1, т.е. i возвратное. Если состояние i сообщается с другими состояниями, то в силу задачи 32 одно из них возвратное, а следовательно все возвратные.

35) а) Если i несущественное состояние, то существует такое состояние j, что для любого n ≥ 1, т.е. .

б) Если i и j не сообщающиеся состояния, то либо , либо для любого n ≥ 1, т.е. либо , либо .

36) Так как стремится к при , где , в силу эргодичности, то стремится к величине при ; при этом в силу эргодической теоремы.

37) Пусть вероятность, выйдя из состояния i, вернуться в него впервые на n -м шаге, тогда вероятность когда-нибудь вернуться в состояние i, выйдя из него. Если вероятность, выйдя из состояния i, возвращаться в него, по крайней мере N раз, то по ФПВ

. Тогда - вероятность, выйдя из состояния i, возвращаться в него бесконечное число раз, равна , т.е. равна 1, если (состояние i возвратно), или равна 0, если (состояние i невозвратно).

40) Ситуация описывается марковской цепью с двумя состояниями: 1 – новость сохраняет смысл, 2 – смысл новости меняется на противоположный, причем . Система уравнений для предельных вероятностей имеет вид:

41) Ситуация описывается марковской цепью с тремя состояниями: А, В, С. Матрица переходов за один шаг имеет вид . Так как Р²> 0, то цепь регулярная, т.е. существуют предельные вероятности. Для их описания составляется система уравнений:

42) Предсказать погоду на следующий день можно по матрице P, а на два дня по матрице P(2)=P². Для решения вопроса об использовании монеты надо найти предельное распределение, которое существует, так как P> 0, т.е. цепь регулярная, т.е. эргодическая.

43) Система образует цепь Маркова, так как вероятность попадание в данное состояние зависит – по определению – только от предшествующего состояния. Матрица переходных вероятностей P имеет вид:

Предельные вероятности находятся из системы

44) Рассмотрим марковскую цепь с двумя состояниями: (кн.1, кн. 2). Для первой тактики поведения матрица переходных вероятностей имеет вид

	Кн.1	Кн.2
Кн.1	2/3	1/3
Кн.2	1/4	3/4

так как в первой книге неверна треть всех номеров, а во второй – четверть всех номеров. В этом случае стационарное распределение имеет вид (3/7, 4/7), т.е. первая книга выбирается с вероятностью 3/7, вторая – 4/7. Тогда средняя доля правильных звонков равна 2/3·3/7+3/4·4/7=5/7≈ 0, 714.

Для второй тактики поведения матрица переходных вероятностей имеет вид

	Кн.1	Кн.2
Кн.1	8/9	1/9
Кн.2	1/16	5/16

так как вероятность перехода от первой книги ко второй равна (1/3)², а от второй к первой (1/4)². В этом случае стационарное распределение имеет вид (9/25, 16/25). Тогда средняя доля правильных звонков равна 2/3·9/25+3/4·16/25=18/25=0, 72.

45) , , , при , где , и число черных шаров в первой урне равно j. Если - предельное распределение, то

, ,

и т.д. Тогда , , и т.д. Так как , то и , .

46) Для каждого шахматиста строим марковскую цепь с состояниями: выигрыш, ничья, проигрыш. Для шахматиста А матрица вероятностей перехода за один шаг имеет вид: , для шахматиста В она имеет вид: .

Предельное распределение для шахматиста А имеет вид , для шахматиста В . Таким образом, при большом числе партий доля выигрышей у В больше, чем у А, если и или и . Если , то все одинаково.

47) Ситуация описывается марковской цепью, состояния которой цифры на той грани, на которой кубик лежит. Матрица переходных вероятностей за 1 шаг имеет вид:

.

Так как Р(2)=Р²> 0, то цепь эргодическая и предельное распределение существует и находится как решение системы уравнений , .

48) Покажем, что . Введем события

,

,

. Очевидно, что и . Тогда и .

49) .

В силу теоремы Маркова для конечной цепи регулярность эквивалентна эргодичности цепи, а эта последняя эквивалентна для конечной цепи ее неразложимости и непериодичности. Эта цепь неразложима и периодическая с периодом d =2, т.е. не будет регулярной.

50) Марковская цепь представляет собой один класс существенных сообщающихся между собой состояний. Так как , то состояние 1 непериодическое, а поэтому все непериодические. Так как вероятность вернуться в состояние 1 впервые, выйдя из него на 1-м, 2-м, …, n -м шаге, равны соответственно , , …, и при , то , т.е. состояние 1 возвратно, а потому все возвратные. Цепь регулярная, так как Р(n)=Р ⁿ > 0, а следовательно эргодическая, и поэтому предельное распределение существует и находится из системы уравнений

51) Предположим, что все состояния несущественные. Если i несущественное состояние, то найдется состояние k, в которое можно перейти с положительной вероятностью, а назад вернуться нельзя. Так как k несущественное, то найдется состояние m и т.д. Но цепь конечная, а потому обязательно будет возврат в какое-то несущественное состояние с положительной вероятностью, что противоречит определению несущественного состояния.

52)

в силу независимости случайных величин ; аналогично считается .