Случайные процессы и функции [1, 2, 25].

Случайный процесс Х(t) представляет собой функцию, которая отличается тем, что ее значения в любые произвольные моменты времени по координате t являются случайными. Строго с теоретических позиций, случайный процесс X(t) следует рассматривать как совокупность множества реализаций функций x_k(t), имеющих общую статистическую закономерность. При регистрации случайного процесса на определенном временном интервале осуществляется фиксирование единичной реализации x_k(t) из бесчисленного числа возможных реализаций процесса X(t). Эта единичная реализация называется выборочной функцией случайного процесса X(t). Примеры выборочных функций модельного случайного процесса X(t) приведены на рис. 9.1.1. В дальнейшем без дополнительных пояснений при рассмотрении различных параметров и характеристик случайных процессов для сопровождающих примеров будем использовать данную модель процесса.

Рис. 9.1.1. Выборочные функции случайного процесса.

С практической точки зрения выборочная функция является результатом отдельного эксперимента, после которого данную реализацию x_k(t) можно считать детерминированной функцией. Сам случайный процесс в целом должен анализироваться с позиции бесконечной совокупности таких реализаций, образующих статистический ансамбль. В каждый выбранный момент времени t₁ конкретная реализация процесса представляет собой случайную величину х₁ с определенной плотностью вероятности p(x₁, t₁), а ее среднее значение определяется усреднением по всем возможным реализациям в этот момент времени t₁. Полной статистической характеристикой такой системы является N-мерная плотность вероятностей р(x_n; t_n). Однако, как экспериментальное определение N-мерных плотностей вероятностей процессов, так и их использование в математическом анализе представляет значительные математические трудности. Поэтому на практике обычно ограничиваются одно- и двумерной плотностью вероятностей процессов.

Рис. 9.1.2. Сечения случайного процесса X(t).

Функциональные характеристики случайных сигналов. Допустим, что случайный процесс X(t) задан ансамблем реализаций {x₁(t), x₂(t), …, x_k(t), …}. В произвольный момент времени t₁ зафиксируем значения всех реализаций {x₁(t₁), x₂(t₁), …, x_k(t₁), …}. Совокупность этих значений представляет собой случайную величину X(t₁) и является одномерным сечением случайного процесса X(t). Примеры сечений по 100 выборкам случайного процесса X(t) (рис. 9.1.1) в точках t₁=30 и t₂=65 приведены на рис. 9.1.2.

Одномерная функция распределения вероятностей (x, t_n) определяет вероятность того, что в момент времени t_n значение случайной величины X(t_n) не превысит значения x:

F(x, t_n) = P{X(t_n) ≤ x}.

Очевидно, что в диапазоне значений вероятностей от 0 до 1 функция F(x, t) является неубывающей с предельными значениями F(-¥, t) = 0 и F(¥, t) = 1. При известной функции F(x, t) вероятность того, что значение X(t_n) в выборках будет попадать в определенный интервал значений [a, b] будет определяться выражением:

P{a < X(t_n) ≤ b} = F(b, t_n) – F(a, t_n).

Одномерная плотность вероятностей p(x, t) случайного процесса Х(t) характеризует распределение вероятностей реализации случайной величины Х(t_n) в произвольный момент времени t_n. Она представляет собой производную от функции распределения вероятностей:

p(x, t_n) = dF(x, t_n)/dx.

Моменты времени t_n являются сечениями случайного процесса X(t) по пространству возможных состояний, и плотность вероятностей p(x, t_n) представляет собой плотность вероятностей случайных величин X(t_n) данных сечений. Произведение p(x, t_n)·dx равно вероятности реализации случайной величины X(t_n) в бесконечно малом интервале dx в окрестности значения x, откуда следует, что плотность вероятностей также является неотрицательной величиной.

Рис. 9.1.3. Распределение вероятностей и плотность вероятностей сечения случайного процесса

На рис. 9.1.3 приведены примеры распределения вероятностей и плотности вероятностей сечения случайного процесса X(t) (рис. 9.1.1) в точке t₁. Функции вероятностей определены по N = 1000 выборок дискретной модели случайного процесса, и сопоставлены с теоретическими распределениями при N ® ¥.

При известной функции плотности вероятностей вероятность реализации значения X(t_n) в произвольном интервале значений [a, b] вычисляется по формуле:

P(a < X(t_n) ≤ b) = p(x, t_n) dx.

Функция плотности вероятностей должна быть нормирована к 1, т.к. случайная величина обязана принимать какое-либо значение из числа возможных, образующих полное пространство случайных величин:

p(x, t_n) dx = 1.

По известной плотности распределения вычисляется и функция распределения вероятностей:

F(x, t_n) = p(x, t_n) dx.

Моменты распределения случайных сигналов позволяют охарактеризовать случайные процессы устойчивыми и неслучайными интегральными оценками.

Математическое ожидание (mean value), или первый момент распределения, представляет собой статистическое усреднение случайной величины X(t_n) - усреднение по ансамблю реализаций в каком-либо фиксированном сечении t_n случайного процесса. Соответственно, функция математического ожидания определяет зависимость среднего взвешенного значения случайного процесса от независимой переменной (времени):

m_x(t) º M{Х(t)}º = x p(x; t) dx. (9.1.1)

Математическое ожидание m_x(t) представляет собой неслучайную составляющую случайного процесса X(t). На рис. 9.1.1. и 9.1.2 неслучайные составляющие m(t) модели случайного процесса X(t) выделены пунктиром и соответствуют выборкам при N ® ¥.

Средний квадрат случайного процесса (функция второго момента) – зависимость среднего взвешенного значения (математического ожидания) квадрата значений случайного процесса от независимой переменной, т.е. мощность процесса:

M{Х²(t)}º = x² p(x; t) dx. (9.1.2)

Функция дисперсии (variance) – второго центрального момента случайного процесса, определяет функцию среднего взвешенного значения (математического ожидания) квадрата разности Х(t)-m_x(t), которая называется флюктуационной частью процесса:

D_x(t) = M{[Х(t)-m_x(t)]²} = [x(t)-m_x(t)]² p(x; t) dx. (9.1.2')

Функция среднего квадратического отклонения (standard deviation) служит амплитудной мерой разброса (флюктуаций) значений случайного процесса по временной оси относительно математического ожидания процесса:

s_x(t) = . (9.1.3)

Рис. 9.1.4.

Учитывая последнее выражение, дисперсия случайной величины обычно обозначается индексом s_x².

На рис. 9.1.4 приведен пример флюктуационной составляющей процесса X(t) (рис. 9.1.1) в одной из реализаций в сопоставлении со средним квадратическим отклонением ±s случайных величин от математического ожидания m(t).

Вид функций плотности вероятностей в сечениях случайных процессов p(x; t_n), а также по всем сечениям стационарных случайных процессов р(х), зависит от физической природы случайных сигналов, но чаще всего соответствует нормальному (гауссову) распределению:

p(x) = .

Это определяется тем, что в соответствии с " центральной предельной теоремой " распределение вероятностей для сумм независимых случайных величин, при которых нет доминирующих, стремится к нормальному закону по мере роста числа слагаемых, и не зависит от законов распределения слагаемых. Между тем физические случайные процессы обычно являются многопараметровыми, при этом случайность значений параметров, как правило, обусловлена их природой и также соответствует нормальным распределениям.

Двумерная плотность вероятностей. Одномерные законы плотности распределения вероятностей случайных процессов не несут каких-либо характеристик связи между значениями случайных величин для различных значений аргументов.

Двумерная плотность вероятностей p(x₁,x₂; t₁,t₂) определяет вероятность совместной реализации значений случайных величин Х(t₁) и Х(t₂) в произвольные моменты времени t₁ и t₂ и в какой-то мере уже позволяет оценивать динамику развития процесса. Двумерная плотность вероятностей описывает двумерную случайную величину {X(t_n), X(t_m)} в виде функции вероятности реализации случайной величины X(t_n) в бесконечно малом интервале dx_n в окрестностях x_n в момент времени t_n при условии, что в момент времени t_m значение X(t_m) будет реализовано в бесконечно малом интервале dx_m в окрестностях x_m:

p(x_n,x_m; t_n,t_m) dx_n dx_m = P{|X(t_n)-x_n|≤dx_n/2, |X(t_m)-x_m|≤dx_m/2}.

При двумерной плотности вероятности имеем:

m_x(t) º = x₁(t₁) p(x₁,t₁; x₂,t₂) dx₁ dx₂. (9.1.1")

D_x(t) = s_x²(t)= [x₁(t₁)- ]² p(x₁,t₁; x₂,t₂) dx₁ dx₂. (9.1.2")

Корреляционные функции случайных процессов. Характеристикой динамики изменения двумерной случайной величины {X(t_n), X(t_m)} является корреляционная функция, которая описывает случайный процесс в целом:

R_X(t_n, t_m) = M{X(t_n) X(t_m)}.

Корреляционная функция представляет собой статистически усредненное произведение значений случайного процесса X(t) в моменты времени t_n и t_m по всем значениям аргументов t_n и t_m, а, следовательно, тоже является двумерной функцией. В терминах теории вероятностей корреляционная функция является вторым начальным моментом случайного процесса.

На рис. 9.1.5 приведены примеры реализаций двух случайных процессов, которые характеризуются одной и той же функцией математического ожидания и дисперсии.

Рис. 9.1.5.

На рисунке видно, что хотя пространство состояний обоих процессов практически одно и то же, динамика развития процессов в реализациях существенно различается. Единичные реализации коррелированных процессов в произвольный момент времени могут быть такими же случайными, как и некоррелированных, а в пределе, во всех сечениях оба процесса могут иметь один и тот же закон распределения случайных величин. Однако динамика развития по координате t (или любой другой независимой переменной) единичной реализации коррелированного процесса по сравнению с некоррелированным является более плавной, а, следовательно, в коррелированном процессе имеется определенная связь между последовательными значениями случайных величин. Оценка степени статистической зависимости мгновенных значений какого-либо процесса Х(t) в произвольные моменты времени t_n и t_m и производится функцией корреляции. По всему пространству значений случайного процесса X(t) корреляционная функция определяется выражением:

R_X(t_n, t_m) = x(t_n)x(t_m) p(x_n,t_m; x_n,t_m) dx_n dx_m, (9.1.4)

Рис. 9.1.6. Двумерная плотность вероятностей и корреляционная функция процесса X(t).

На рис. 9.1.6 приведена форма модельного случайного процесса X(t) в одной выборке со значительной и изменяющейся неслучайной составляющей. Модель задана на интервале 0-Т (Т=100) в дискретной форме с шагом Dt=1. Корреляционная функция вычислена по заданной плотности вероятностей модели.

При анализе случайных процессов второй момент времени t_m удобно задавать величиной сдвига t относительно первого момента, который при этом может быть задан в виде координатной переменной:

R_Х(t, t+t) = M{Х(t)Х(t+t)}. (9.1.4')

Функция, задаваемая этим выражением, обычно называется функцией автокорреляции случайного процесса.

Ковариационные функции. Частным случаем корреляционной функции является функция автоковариации (ФАК), которая широко используется при анализе сигналов. Она представляет собой статистически усредненное произведение значений центрированной случайной функции X(t)-m_x(t) в моменты времени t_n и t_m и характеризует флюктуационную составляющую процесса:

К_Х(t_n,t_m) = (x(t_n)-m_x(t_n)) (x(t_m)-m_x(t_m)) p(x_n,t_n; x_m,t_m) dx_n dx_m, (9.1.5)

В терминах теории вероятностей ковариационная функция является вторым центральным моментом случайного процесса. Для центрированных случайных процессов ФАК тождественна функции корреляции. При произвольных значениях m_x ковариационные и корреляционные функции связаны соотношением:

K_X(t, t+t) = R_X(t, t+t) - m_x²(t).

Нормированная функция автоковариации (функция корреляционных коэффициентов):

r_Х(t, t+t) = К_Х(t, t+t)/[s(t)s(t+t)]. (9.1.6)

При t = 0 значение r_Х равно 1, а ФАК вырождается в дисперсию случайного процесса:

К_Х(t) = D_Х(t) = s_x²(t).

Отсюда следует, что для случайных процессов и функций основными характеристиками являются функции математического ожидания и корреляции (ковариации). Особой необходимости в отдельной функции дисперсии не имеется.

Примеры реализаций двух различных случайных процессов и их нормированных ковариационных функций приведены на рис. 9.1.7.

 

Рис. 9.1.7. Реализации и ковариационные функции случайных процессов.

Свойства функций автоковариации и автокорреляции.

1. Максимум функций наблюдается при t = 0. Это очевидно, т.к. при t = 0 вычисляется степень связи отсчетов с собой же, которая не может быть меньше связи разных отсчетов. Значение максимума функции корреляции равно средней мощности сигнала.

2. Функции автокорреляции и автоковариации являются четными: R_X(t) = R_X(-t). Последнее также очевидно: X(t)X(t+t) = X(t-t)X(t) при t = t-t. Говоря иначе, моменты случайных величин X(t₁) и X(t₂) не зависят от последовательности, в которой эти величины рассматриваются, и соответственно симметричны относительно своих аргументов: R_x(t₁, t₂) = R_x(t₂, t₁), равно как и K_x(t₁, t₂) = K_x(t₂, t₁).

3. При t Þ ¥ значения ФАК для сигналов, конечных по энергии, стремятся к нулю, что прямо следует из физического смысла ФАК. Это позволяет ограничивать длину ФАК определенным максимальным значением t_max - радиусом корреляции, за пределами которого отсчеты можно считать независимыми. Интегральной характеристикой времени корреляции случайных величин обычно считают эффективный интервал корреляции, определяемый по формуле:

T_k =2 |r_x(t)| dt º (2/K_x(0)) |K_x(t)| dt. (9.1.7)

Отсчеты (сечения) случайных функций, отстоящие друг от друга на расстояние большее T_k, при инженерных расчетах считают некоррелированными.

Заметим, что для некоррелированных процессов при t Þ ¥ значение T_k стремится к 2, что несколько противоречит физическому смыслу радиуса корреляции, который в этом случае должен был бы стремиться к 1. С учетом последнего, эффективный интервал корреляции целесообразно определять по формуле:

T_k =2 |r_x(t)| dt - 1 º (2/K_x(0)) |K_x(t)| dt - 1, (9.1.7')

либо вместо множителя 2 в (9.1.7) использовать множитель 1.

4. Если к случайной функции X(t) прибавить неслучайную функцию f(t), то ковариационная функция не изменяется.

Обозначим новую случайную функцию как Y(t)=X(t)+f(t). Функция математического ожидания новой величины: = + f(t). Отсюда следует, что Y(t) - = X(t) - , и соответственно K_y(t₁, t₂) = K_x(t₁, t₂).

5. Если случайную функцию X(t) умножить на неслучайную функцию f(t), то ее корреляционная функция R_x(t₁, t₂) умножится на f(t₁)×f(t₂). Обоснование данного свойства проводится по методике, аналогичной предыдущему пункту.

6. При умножении функции случайного процесса на постоянное значение С значения ФАК увеличиваются в С² раз.

Взаимные моменты случайных процессов второго порядка дают возможность оценить совместные свойства двух случайных процессов X(t) и Y(t) путем анализа произвольной пары выборочных функций x_k(t) и y_k(t).

Мера связи между двумя случайными процессами X(t) и Y(t) также устанавливается корреляционными функциями, а именно - функциями взаимной корреляции и взаимной ковариации. В общем случае, для произвольных фиксированных моментов времени t₁ = t и t₂ = t+t:

R_XY(t, t+t) = M{X(t) Y(t+t)}. (9.1.8)

K_XY(t, t+t) = M{(X(t)-m_x(t))(Y(t+t)-m_y(t+t))}. (9.1.9)

Взаимные функции являются произвольными функциями (не обладают свойствами четности или нечетности), и удовлетворяют следующим соотношениям:

R_xy(-t) = R_yx(t), (9.1.10)

|R_xy(t)|² £ R_x(0)R_y(0).

Если один из процессов центрированный, то имеет место R_xy(t) = K_xy(t).

Нормированная взаимная ковариационная функция (функция коэффициентов корреляции двух процессов), которая характеризует степень линейной зависимости между случайными процессами при сдвиге t одного процесса по отношению ко второму, определяется выражением:

r_xy(t) = K_xy(t)/(s_xs_y). (9.1.11)

Статистическая независимость случайных процессов определяет отсутствие связи между значениями двух случайных величин X и Y. Это означает, что плотность вероятности одной случайной величины не зависит от того, какие значения принимает вторая случайная величина. Двумерная плотность вероятностей при этом должна представлять собой произведения одномерных плотностей вероятностей этих двух величин:

p(x, y) = p(x) p(y).

Это условие является обязательным условием статистической независимости случайных величин. В противном случае между случайными величинами может существовать определенная статистическая связь. Как линейная, так и нелинейная. Мерой линейной статистической связи является коэффициент корреляции:

r_xy = [M{X·Y} – M{X}·M{Y}]/ = r_xy(0).

Значения r_xy могут изменяться в пределах от -1 до +1. В частном случае, если случайные величины связаны линейным соотношением x=ay+b, коэффициент корреляции равен ±1 в зависимости от знака константы а. Случайные величины некоррелированны при r_xy=0, при этом из выражения для r_xy следует:

M{X·Y} = M{X}·M{Y}.

Из статистической независимости величин следует их некоррелированность. Обратное не очевидно. Так, например, случайные величины x=cos j и y=sin j, где j - случайная величина с равномерным распределением в интервале 0…2p, имеют нулевой коэффициент корреляции, и вместе с тем их зависимость очевидна. Нулевой коэффициент корреляции в данном случае определяется взаимной ортогональностью функций cos j и sin j.

Классификация случайных процессов. Случайные процессы различают по степени однородности их протекания во времени (по аргументу).

Нестационарные процессы. В общем случае значения функций математического ожидания, дисперсии и корреляции могут быть зависимыми от момента времени t, т.е. изменяться во времени. Такие процессы составляют класс нестационарных процессов.

Стационарные процессы. Процесс называют стационарным, если плотность вероятностей процесса не зависит от начала отсчета времени, и если на интервале его существования выполняются условия постоянства математического ожидания и дисперсии, а корреляционная функция является функцией только разности аргументов t = t₂-t₁, т.e.:

m_x(t₁) = m_x(t₂) = m_x = = const, (9.1.12)

D_x(t₁) = D_x(t₂) = D_x = s² = const,

R_x(t₁, t₁+t) º R_x(t₂-t, t₂) = R_x(t) º R_x(-t),

r_x(t) = К_х(t)/D_x, r_x(0) = 1, |r_x(t)| ≤ 1, r_x(-t) = r_x(t).

Последние выражения свидетельствует о четности корреляционной (а равно и ковариационной) функции и функции корреляционных коэффициентов. Из него вытекает также еще одно свойство смешанных моментов стационарных процессов:

|R_x(t)| £ R_x(0), |K_x(t)| £ K_x(0) º D_x.

Чем медленнее по мере увеличения значений t убывают функции К_х(t) и r_x(t), тем больше эффективный интервал корреляции случайного процесса, и тем медленнее изменяются во времени его реализации.

Среди стационарных процессов выделяют строго стационарные процессы, для которых постоянны во времени не только математическое ожидание, дисперсия и корреляция, но и все остальные моменты высших порядков (в частности, асимметрия и эксцесс).

Стационарные случайные процессы наиболее часто встречаются при решении физических и технических задач. Теория стационарных случайных функций разработана наиболее полно и для ее использования обычно достаточно определения стационарности в широком смысле: случайная функция считается стационарной, если ее математическое ожидание постоянно, а корреляционная функция зависит только от одного аргумента. Случайные процессы, удовлетворяющие условиям стационарности на ограниченных, интересующих нас интервалах, также обычно относят к числу стационарных в широком смысле и называют квазистационарными.

Эргодические процессы. Строго корректно характеристики случайных процессов оцениваются путем усреднения по ансамблю реализаций в определенные моменты времени (по сечениям процессов). Но большинство стационарных случайных процессов обладает эргодическим свойством. Сущность его заключается в том, что по одной достаточно длинной реализации процесса можно судить обо всех его статистических свойствах так же, как по любому количеству реализаций. Другими словами, закон распределения случайных величин в таком процессе может быть одним и тем же как по сечению для ансамбля реализаций, так и по координате развития. Такие процессы получили название эргодических (ergodic). Для эргодических процессов имеет место:

m_x(t) = M{x(t)} = x(t) dt = , (9.1.13)

D_x(t) = (x(t) - m_x(t))² dt = = - ², (9.1.14)

R_x(t) = M{x(t)x(t+t)} = x(t)x(t+t) dt. (9.1.15)

Эргодичность является очень важным свойством случайных стационарных, и только стационарных процессов. Математическое ожидание эргодического случайного процесса равно постоянной составляющей любой его реализации, а дисперсия является мощностью его флюктуационной составляющей при Т Þ ¥. Так как определение функций производится по ограниченным статистическим данным одной реализации и является только определенным приближением к соответствующим фактическим функциям процессов, целесообразно называть эти функции статистическими.

Свойства эргодичности могут проявляться только по отношению к двум первым моментам случайного процесса, что вполне достаточно для использования соответствующих методик исследования процессов. Практическая проверка эргодичности процесса обычно производится проверкой выполнения условия Слуцкого:

K(t) dt = 0. (9.1.16)

Если ковариационная функция процесса стремится к нулю при возрастании значения аргумента (t), то процесс относится к числу эргодических, по крайней мере, относительно моментов первого и второго порядков.

Пример. Случайная функция задана выражением Z(t)=X(t)+Y, где X(t) - стационарная эргодическая функция, Y- случайная величина, некоррелированная с X(t). Эргодична ли функция Z(t)?

m_z(t) = m_z(x)+m_y, K_z(t) = K_x(t)+D_y.

Функция Z(t) стационарна, но не эргодична, так как при t Þ ¥ имеет место K_z(t) Þ D_y.