Теория случайных процессов
Случайный процесс. Плотность вероятности, среднее значение и дисперсия случайного процесса. Двумерная плотность вероятности и корреляционная функция случайного процесса. Стационарные случайные процессы. Среднее значение, дисперсия и корреляционная функция стационарного случайного процесса. Многомерная плотность вероятности и многомерные корреляционные функции. Статистическое усреднение и усреднение по времени. Спектры случайных процессов. Связь спектральной плотности и корреляционной функции стационарного случайного процесса. Теорема Винера-Хинчина. Преобразование шума линейной системой.
Случайный процесс. Случайной функцией времени или случайным процессом называется функция, значение которой в каждый фиксированный момент времени есть случайная величина.
Понятие случайного процесса предполагает наличие нескольких реализаций этого процесса. Поясним это на примере. Пусть мы наблюдаем за движением броуновской частицы. Проследим за изменением какой-либо координаты частицы с течением времени. Полученную зависимость обозначим х (t). Теперь повторим опыт и снова измерим координату частицы как функцию времени — получим зависимость xo{t). Повторяя опыт многократно, можно получить набор реализаций x(t)
Xl(t),X2(t),...,XN(t), (Д8.1)
показанный на рис. Д8.1.
Сравнивая между собой отдельные реализации, мы видим, что они не совпадают друг с другом. Кроме того, конкретный вид реализации не может быть предсказан заранее. Это дает основание считать x(t) случайным процессом.
Однако отдельные реализации случайного процесса не только различны, но и в чем-то схожи между собой. Например, присматриваясь к рис. Д8.1, можно заметить, что реализации процесса x(t), показанные на этом рисунке, имеют одинаковые средние значения, одинаковый средний “размах” колебаний, одинаковую среднюю длительность отдельного “выброса” и т. д. Уловить это сходство и количественно описать его — главная задача статистической теории случайных процессов. Решение этой задачи достигается введением статистических характеристик процесса: различных средних значений, а также вероятностей попадания процесса в ту или иную область значений.
Ранее мы познакомились с понятиями вероятности и средних для случайных величин. Теперь введем аналогичные понятия для случайных функций времени — случайных процессов.
Пусть одна из реализаций случайного процесса x(t) имеет вид. показанный на рис. Д8.2. Выделим некоторый интервал значений х, например, х < х < х2 и поставим вопрос: какова вероятность попадания x(t) в указанный интервал? Для отыскания вероятности р{х < х < х2) можно поступить следующим образом. Повторим многократно (т раз, т - э оо) наблюдение процесса x(t) и запишем набор реализаций х (t), x2(t),..., xm(t). Выберем и зафиксируем
CX(t)
x2(t)
MrvЛМА-.
VVVV^VW-,
Рис. Д8.1. Набор реализаций случайного процесса x(t)
некоторый момент времени t = fo - Подсчитаем число величин Xi(to), удовлетворяющих условию xi < Xj(to) < Х2 и обозначим это число буквой п. Тогда в соответствии с определением вероятности случайного события, вероятность попадания случайного процесса в интервал значений хі < х < хг в момент времени t = to есть
п
(Д8.2) |
p(xi < х(£о) < Х2) = lim —,
m—уоо Ш
где m — полное число реализаций процесса х(£). Повторяя всю процедуру для других моментов времени t, найдем вероятность р(хі < х(£) < хг) на всем интересующем нас интервале времени.
Рис. Д8.2. К вероятностному описанию случайного процесса. |
Плотность вероятности, среднее значение и дисперсия случайного продесса. Вероятностная характеристика р(хі < x(t) < х2) процесса x(t) является первичной, но не основной. На практике чаще используют плотность вероятности случайного процесса, определяемую формулой
/ і - p(xi < x(t) < Xi + Ах) ,п.
w(xltt) = lim ~ (Д8.3)
v ' д»-щ Ах < ‘ ....... '
С помощью функции w{x, t) можно вычислить другие статистические характеристики процесса: среднее значение
x(t) = J xw(x, t)dx, —OO OO Dx(t) = cr2(t) = J (x — xf w{x, t) dx, |
ОО
(Д8.4)
дисперсию
(Д8.5)
— ОО
моменты различных порядков и т. п. Заметим, что в отличие от аналогичных характеристик случайных величин, статистические характеристики случайного процесса, вообще говоря, зависят от времени.
Двумерная плотность вероятности и корреляционная функция случайного продесса. Рассмотрим значения случайной функции x(t) в два момента времени t и t2. По аналогии с (Д8.3) можно ввести двумерную плотность вероятности
U)(xi, t1-,x2,t2) =
- lim pfoi - g(*i) < + Ажі;і2 < x(t2) < x2 + Ax2)
Дхі-Щ ДхіДх2
Д®2—*0
Эта характеристика случайного процесса определяет вероятность того, что значение случайной функции попадает в малую окрестность точки х в момент времени и в малую окрестность точки х2 в момент времени t2 (рис. Д8.3).
С помощью двумерной плотности можно вычислить корреляционную функцию случайного процесса B(ti, t2), определяемую следующим образом:
B(ti, t2) = (N*i) ~x{h)} х [x{t2) - z(*2)]). (Д8.7)
Используя (Д8.6), получаем
OO oo
B(ti, t2) - J J [x(ti)-x(h)] x [x(t2)-x(t2)]w(x1,ti;x2,t2)dx1dx2, (Д8.8)
— OO — OO
где x(t) определено формулой (Д8.4).
Стационарные случайные процессы. Указанный выше способ измерения вероятности р(хі < x(t) < х2) является универсальным. Он применим для любых случайных процессов, в том числе таких, у которых эта вероятность
Рис. Д8.3. К понятию плотности вероятности случайного процесса. Одномерная плотность вероятности w(x, t) характеризует вероятность попадания случайного процесса в малую окрестность точки х в момент времени t (а). Двумерная плотность вероятности w{xi, tiX2,ti) характеризует вероятность попадания случайного процесса в малую окрестность точки хі в момент времени ti и в малую окрестность точки хг в момент времени t2 (б) |
меняется при изменении момента времени t. Для таких (нестационарных) процессов способ измерения распределения вероятности путем обработки статистического ансамбля реализаций является единственно возможным.
Однако существует весьма широкий класс случайных процессов, статистические характеристики которых не зависят от времени (точнее, не меняются при сдвиге начала отсчета времени). Такие процессы называются стационарными. С физической точки зрения стационарным является процесс, протекающий в неизменных условиях. Таковыми являются, например, излучение нити накаливания, имеющей постоянную температуру, или излучение газового лазера при постоянном токе разряда и постоянных параметрах газовой среды и т. д. В противоположность этому нестационарными называются процессы, характеристики которых меняются с течением времени. К числу нестационарных относятся импульсные и переходные процессы (процессы включения и выключения, процессы установления), а также процессы, протекающие в меняющихся внешних условиях. Примеры типичных реализаций стационарного и нестационарных случайных процессов показаны на рис. Д8.4.
Среднее значение, дисперсия и корреляционная функция стационарного случайного процесса. Для стационарного случайного процесса одномерная плотность вероятности, среднее значение и дисперсия не зависят от времени:
w(x, t) = w(x), (Д8.9)
ОО Л*??' '
х = J xw(x)dx, (Д8.10)
— ОО ОО
Dx = J (х - x)2w(x) dx, (Д8.11)
—ОО
а двумерная плотность вероятности и корреляционная функция зависит только л разности моментов времени І2 — <1 = т:
б)
г)
Рис. Д8.4. Вид типичных реализаций стационарного (а) и нестационарных (б-г) случайных процессов. Среднее значение, дисперсия и время корреляции постоянны (о), среднее значение меняется с течением времени (б), дисперсия меняется с течением времени (в), время корреляции меняется с течением времени (г)
(Д8.12) |
w(xi, ti;x2,t2) = w(xi, x2,t),
B(tut2) = В(т). (Д8.13)
Определение корреляционной функции стационарного случайного процесса вы
глядит тале:
(Д8.14) «8.15) «8-16) |
В{т) = ^[x(f) - я] х [x(t + т) - х]^.
Если же обозначить
то
В(т)=«т.
Укажем основные свойства корреляционной функции.
«8.17) «8.18) «8.19) |
а) В(0) = ((я — х)2) — а2 = Dx > 0,
б) В(т -> оо) = 0,
в) В(т) = В(—т).
Типичный вид корреляционной функции показан на рис. Д8.5. Характерное время спада корреляционной функции называется временем корреляции случайного процесса. Время корреляции имеет простой физический смысл: это
Рис. Д8.5. Типичный вид корреляционной функции стационарного случайного процесса
средняя длительность отдельного “выброса” случайного процесса (рис. Д8.6). Ясно, что это одна из важнейших характеристик процесса.
Безразмерная функция
R(t) = B(t)/B(0) = B(t)/<t2 (Д8.20)
называется коэффициентом корреляции случайного процесса.
Многомерная плотность вероятности и многомерные корреляционные функции. По аналогии с (Д8.6) можно ввести понятие многомерной плотности вероятности случайного процесса.
w(xi, t;...; xn, tn) —
р{хі < x{ti) < її + Дті,...; хп < x(tn) < хп + Ахп) .^ .
= lim ---------------------------------------------- ------------ ------------------------------------ . (Д8.21}
Ди-ш Дяі • • • Дя„
Это — наиболее полная характеристика случайного процесса. С ее помощью могут быть вычислены многомерные корреляционные функции (“корреляторы”)
x(t) t лЛ /V. л /ч. |
х (t) -л ^ Л. |
||||
il WV V t тк |
л/ ' t тк |
||||
Рис. Д8.6. К понятию времени корреляции случайного процесса. Показаны реализации двух стационарных случайных процессов, имеющих разные времена корреляции. Время корреляции имеет смысл средней длительности “выброса” процесса. Чем быстрее процесс меняется во времени, тем меньше время корреляции. Например, если x(t) есть скорость газовой молекулы, то время тк имеет смысл среднего времени свободного пробега молекулы
x(t) |
t |
Т |
Рис. Д8.7. Отрезок реализации стационарного случайного процесса
(Д8.22) |
Вц 22 = (Х2ХІ), Вц 12 = (х3хт), В1222 = (ХХ^), Вц 1222 = (х3Х2)
и т. п. Замечательным свойством гауссова случайного продесса является то, что для него все многомерные корреляторы нечетных порядков равны нулю, а корреляторы четных порядков выражаются через парную корреляцию. Например,
(х2Х2) — Вц22 = В11В22 + В12В12 + В12В12 =
(Д8.23) |
= (Г4 + 2 В2{т) = о4 [1 - I - 2Д2(т)],
(ххт) — В222 — В12В22 + В12В22 + В12В22 =
= 3 <т2В(т) = Зсг4й(т)
и т. п. В формулах (Д8.23) использованы обозначения
В%2 = {ххг) = В(т) = ст2Я(т), Ви = (х2) = О-2, В2 2 = (х2) = ст2
и предполагается, что гауссов стационарный случайный процесс является чисто флуктуационным (т. е. его среднее значение равно нулю: х = 0).
г=і |
Статистическое усреднение и усреднение по времени. Рассмотрим одну из реализаций стационарного случайного процесса x(t) на достаточно длинном интервале времени Т (рис. Д8.7). Выделим некоторый интервал значений х, например х < х < х2, и отметим промежутки времени Ati, At-2,..., в течение которых процесс x(t) находится в данном интервале. Из физических соображений ясно, что вероятность попадания х в данный интервал значений равна относительному времени пребывания процесса в этом интервале:
(Д8.24)
Покажем, что в этом случае статистическое среднее равно среднему по времени, т. е.
t
x(t) |
л |
Т/2 -Т/2 |
Рис. Д8.8. К обоснованию процедуры временного усреднения. Жирной кривой показан отрезок реализации случайного процесса x(t). Заштрихован прямоугольник площади
(Д8.25)
Действительно,
М М і N |
(Д8.26)
Смысл использованных обозначений разъясняет рис. Д8.8. Произведение
XjAt^ под знаком двойной суммы в формуле (Д8.26) имеет смысл площади Sj* показанной на рис. Д8.8. Предел суммы таких площадей, взятый для всех
моментов времени tі и всех значений случайного процесса xj, равен интегралу по времени от функции x(t). Таким образом показано, что для стационарного случайного процесса статистическое усреднение эквивалентно усреднению по времени.
Указанное свойство позволяет построить простые экспериментальные схемы для измерения различных средних. Так, например, среднее значение случайной разности потенциалов можно измерить с помощью схемы, показанной на рис. Д8.9. Аналогичным образом можно измерить и другие характеристики стационарных случайных процессов: дисперсию, корреляционную функцию, моменты и т. п.
R
С |
о-
X(t) у
O'
VW
x(t) |
X
t |
t
Рис. Д8.9. Схема измерения среднего значения случайной разности потенциалов x(t), использующая операцию временного усреднения. После усилителя У, воспроизводящего x(t) без искажений, стоит простейший интегратор в виде RC — цепи и вольтметр
Спектры случайных процессов. Обсудим теперь вопрос о том, как ввести понятие спектра случайного процесса. Пусть есть некоторый стационарный случайный процесс x(t). Рассмотрим одну из реализаций процесса на интервале времени —T/2<t<T/2. Обозначим
(Д 8.27) |
'О, t < - Т/2, хт = x(t), - Т/2 < t < Т/2,
. О, t>T/2.
Вид функций x(t) и xr(t) показан на рис. Д8.10. Разложим функцию xr(t) в интеграл Фурье:
ОО —оо |
ОО |
(Д8.28)
Формулы (Д8.28) ставят в соответствие процессу xr(t) его спектральную амплитуду хт{ш)- Так как xr(t) есть случайная функция времени, спектральная амплитуда хт(и>) есть случайная функция частоты.
Т/2 |
оо |
Для отрезка реализации случайного процесса Хт(і) запишем равенство Пар - севаля
(Д8.29)
Разделим равенство (Д8.29) на длительность интервала времени Т и перейдем к пределу Т -+ оо. Получим
*(t) |
t |
xT(t) |
t
Т/2 |
-Т/2
Рис. Д8.10. Реализация случайного процесса x(t) и отрезок реализации хт(і)
Т/2 -Т/2 —оо |
ОО |
или
СД8.31)
где введена функция
5(щ) = |
(Д8.32)
Т/2 -Т/2 |
и учтено, что
(Д8.33)
Функция S(u), определяемая формулой (Д8.32), называется спектральной плотностью случайного процесса x(t). Из формул (Д8.32) и (Д8.28) видно, что S(ui) представляет собой усредненную спектральную характеристику процесса. Следовательно, в отличие от спектральной амплитуды хт(ш), спектральная плотность S(u>) является уже не случайной, а регулярной функцией своего аргумента.
Пользуясь определением (Д8.32), нетрудно показать, что спектральная плотность S(ui) является вещественной, четной и неотрицательной функцией частоты:
(Д8.34) |
%) = S,(w) = 5H> 0.
Поэтому формулу (Д8.31) можно переписать в виде интеграла только по положительным частотам:
оо
(Д8.35) |
= У S(u>)duj.
Спектральная плотность описывает распределение по частотам средней мощности (интенсивности) стационарного случайного процесса.
Связь спектральной плотности и корреляционной функции стационарного случайного процесса. Теорема Винера-Хинчина. Пусть x(t) — стационарный случайный процесс со средним значением, равным нулю
(Д8.36)
Покажем, что корреляционная функция и спектральная плотность данного процесса связаны между собой преобразованием Фурье:
х = 0.
ОО 00
(Д8.37) |
В(т) = ^ J SMe^dbJ, S(u) = і J В(т)е~іштсІт.
Это утверждение составляет содержание теоремы Винера-Хинчина — основной теоремы теории случайных процессов. Докажем эту теорему.
Используя определение корреляционной функции (Д8.14), формулу (Д8.36), и заменяя статистическое усреднение усреднением по времени, запишем:
(Д8.38) (Д8.39) |
В(т) = ^lim^ і J xT{t)xT(t + т) dt.
-Т/2
Из (Д8.28) следует, что
СО
жт(£ + г) = -^ У хт{и>)еш(г+т)(1и>.
— ОО
Подставляя (Д8.39) в (Д8.38), получим
Т/2 оо
В{т) = і У dtxT(t)^ J хт(и)еіш(і+т'>(іи =
-Т/2
oo Г/2
^Г^о? / ^*т^)е<“Т J xT{t)eiutdt. (Д8.40)
В силу (Д8.28) |
Г/2 |
-Т/2
-Г/2 |
У Хт{і)еші(И = Хт(ш),
где звездочка обозначает комплексное сопряжение. Поэтому
ОО
В(т) = Tlim ~ J ^е"т1Г(ш)4(ш) =
—ОО
оо оо
= Г^о ї / £іХт^}|2е"Т = 11 (Д8-42)
—оо - оо
где функция S(uі) определяется формулой (Д8.32). Итак, мы вывели первую из формул (Д8.37). Вторая формула (Д8.37) получается из первой путем обратного преобразования Фурье. Тем самым теорема Винера-Хинчина доказана. Используя свойства четности корреляционной функции и спектральной плотности, связь между ними можно записать в виде косинус-преобразования Фурье:
ОО ОО
ад = JS(u) cosujTdw, S(u>) = — JВ(т) cos шт dr. (Д8.43)
о о
Ввиду важности теоремы Винера-Хинчина, приведем еще одно доказательство, в котором не используется замена статистического усреднения усреднением по времени. Оно состоит в следующем.
Разложим случайный процесс x(t) в интеграл Фурье
ОО ОО
x(t) — J x^e^cLo, х(и) = У х(ї)е~ші(И (Д8.44)
—ОО —ОО
и вычислим корреляционную функцию:
В(т) = (x(t)x(t 4- т)) =
2 оо оо
= (^тг) J + ^(Д8-45)
— ОО —ОО
Здесь мы воспользовались тем, что операция усреднения линейна и, следовательно, коммутирует с другими линейными операциями, в частности с интегрированием по частоте.
Поскольку процесс х(t) предполагается стационарным, его корреляционная функция не должна зависеть от t. Как видно из формулы (Д8.45), это условие будет выполнено, если коррелятор спектральных амплитуд имеет вид
(х(ш)х(ш')) — const ■ S(lj)6(uj - I - и)'). (Д8.46)
Полагая const = 2тг2, из (Д8.45), (Д8.46) получим
ОО
x(t) |
y(t) |
К(ш)
Рис. Д8.11. Преобразование шума линейной системой
Таким образом оказывается, что функции В(т) и S(u>) связаны между собой преобразованием Фурье. Обратное преобразование дает
ОО
SH = і j B(T)e-*"dT, (Д8.48)
— ОО
что и доказывает теорему Винера-Хинчина.
Функция S(uj), определяемая формулой (Д8.46), называется спектральной плотностью или просто спектром стационарного случайного процесса x(t). Выясним ее физический смысл. Для этого предположим, что стационарный шум x(t) проходит через линейный узкополосный фильтр и вычислим среднюю мошдость шума на выходе фильтра (рис. Д8.11). Вводя частотный коэффициент передачи фильтра К (и), для сигнала на выходе фильтра можно записать:
ОО
y(t) = 7j^ f y(u)etwtdLJ, у{ш) - K(u)x(u>). (Д8.49)
—ОО
Пользуясь формулами (Д8.49), (Д8.46), для средней мощности шума на выходе фильтра получим ч
2 оо оо
*-£)//< х(и)х(ш'))К(ы)К(и/)еЧш+ш">1<1и dw' =
— 00 — 00 оо оо
= 1 J J 8{и)6{ш + Л)К{и})К{Л)е*ш+ш')г<ка(1и' =
— 00 — 00
оо оо
=Л J S(uj)K(oj)K(-oj)cLj = І J S(uj)K(uj)2duj. (Д8.50)
— OO —OO
Полагая теперь
|^H|2~J(w-w0), (Д8.51)
получим
У* ~ S(loq). (Д8.52)
Формула (Д8.52) показывает, что средняя мощность шума на выходе линей
ного узкополосного фильтра, настроенного на частоту ujq, пропорциональна
спектральной плотности входного шума на этой частоте. Следовательно, спектральная плотность S(u>) характеризует распределение по частотам мощности стационарного случайного процесса. В этом и состоит ее физический смысл.
Преобразование шума линейной системой. Пусть на вход линейной системы с частотным коэффициентом передачи К(ш) воздействует стационарный шум х(£) с нулевым средним значением и спектром S(u>) = SBX(u>). Вычислим спектр шума на выходе системы 5ВЫХ (w).
По теореме Винера-Хинчина
ОО
Ву{т) = lj SBbIX_(u>)eiwT(ko, (Д8.53)
—ОО
где
Ву(т) = (y{t)y(t + т)), (Д8.54)
Ву{т) — корреляционная функция выходного сигнала. Используя формулы (Д8.49) и (Д8.46), находим
ОО
Ву{т) = Ц S^H|*M|V*"-dw. (Д8.55)
'-4' —ОО
Сравнивая (Д8.53) и (Д8.55), получаем
ЗвыхМ = SBX(aO|ifH|2. (Д8.56)
Формула (Д8.56) позволяет вычислить спектр шума на выходе линейной системы, если известен спектр шума на входе и частотный коэффициент передачи системы.