16.1: Вступ до марківських процесів

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)\(\newcommand{\var}{\text{var}}\)

Марковський процес - це випадковий процес, індексований часом, і з властивістю, що майбутнє незалежне від минулого, з огляду на сьогодення. Марківські процеси, названі на ім'я Андрія Маркова, є одними з найважливіших з усіх випадкових процесів. У певному сенсі вони є стохастичними аналогами диференціальних рівнянь і рекуррентних відносин, які, звичайно, є одними з найважливіших детермінованих процесів.

Складність теорії марковських процесів сильно залежить від того, чи\( T \) є часовий простір\( \N \) (дискретний час) або\( [0, \infty) \) (безперервний час) і чи є простір стану дискретним (підрахунковим, з усіма підмножинами вимірюваними) або більш загальним топологічним простором. Коли\( T = [0, \infty) \) або коли державний простір є загальним простором, зазвичай потрібно нав'язувати припущення про безперервність, щоб виключити різні типи дивної поведінки, які інакше ускладнили б теорію.

Коли простір стану дискретний, марковські процеси відомі як ланцюги Маркова. Загальна теорія ланцюгів Маркова математично багата і відносно проста.

• Коли\( T = \N \) і простір стану дискретний, марковські процеси відомі як марковські ланцюги дискретного часу. Теорія таких процесів математично витончена і повна, і зрозуміла з мінімальною опорою на теорію мір. Дійсно, основними інструментами є основна ймовірність і лінійна алгебра. Дискретно-часові ланцюги Маркова вивчаються в цьому розділі разом з рядом спеціальних моделей.
• Коли\( T = [0, \infty) \) і простір стану дискретний, марковські процеси відомі як безперервно-часові ланцюги Маркова. Якщо уникнути кількох технічних труднощів (створених, як завжди, безперервним часовим простором), теорія цих процесів також досить проста і математично дуже приємна. Властивість Маркова має на увазі, що процес, вибірковий в випадкові моменти при зміні стану, утворює вбудовану дискретно-часову ланцюжок Маркова, тому ми можемо застосувати ту теорію, яку ми вже вивчили. Власність Маркова також передбачає, що час утримання в державі має майно без пам'яті і, таким чином, повинен мати експоненціальний розподіл, розподіл, який ми добре знаємо. З точки зору того, що ви, можливо, вже вивчили, процес Пуассона є простим прикладом безперервного марковського ланцюга часу.

Для загального державного простору теорія більш складна і технічна, як зазначалося вище. Однак можна виділити пару класів марковських процесів, в залежності знову-таки від того, дискретний чи неперервний часовий простір.

• Коли\( T = \N \) і\( S \ = \R \), простим прикладом марковського процесу є процес часткової суми, пов'язаний з послідовністю незалежних, однаково розподілених дійсних випадкових величин. Такі послідовності вивчаються в розділі про випадкові зразки (але не як марківські процеси), а переглянуті нижче.
• У тому випадку, якщо\( T = [0, \infty) \) і\( S = \R\) або в цілому\(S = \R^k \), найважливішими марківськими процесами є дифузійні процеси. Як правило, такі процеси можуть бути побудовані за допомогою стохастичних диференціальних рівнянь броунівського руху, що, таким чином, є квінтесенціальним прикладом марковського процесу в безперервному часі та просторі.

Мета даного розділу - дати широкий начерк загальної теорії марківських процесів. Деякі твердження не є повністю суворими, а деякі докази опущені або є ескізами, тому що ми хочемо підкреслити основні ідеї, не загрузчи в технічних аспектах. Якщо ви новий студент ймовірності, ви можете просто переглянути цей розділ, щоб отримати основні ідеї та позначення, але пропускаючи докази та технічні деталі. Потім стрибаємо вперед до вивчення дискретно-часових ланцюгів Маркова. З іншого боку, щоб глибше зрозуміти цей розділ, вам потрібно буде переглянути теми в розділі про основи та в розділі про стохастичні процеси.

Основна теорія

Попередні етапи

Як завжди, нашою відправною точкою є простір ймовірності\( (\Omega, \mathscr{F}, \P) \), так що\( \Omega \) це набір результатів,\( \mathscr{F} \)\( \sigma \) -алгебра подій та міра\( \P \) ймовірності на\( (\Omega, \mathscr{F}) \). \( T \)Встановлено час або\( \N \) (дискретний час) або\( [0, \infty) \) (безперервний час). У першому випадку\( T \) дається дискретна топологія, а в другому\( T \) - звичайна евклідова топологія. В обох випадках\( T \) дається алгебра Бореля\( \mathscr{T} \),\( \sigma \) -алгебра,\( \sigma \) породжена відкритими множинами. У дискретному випадку\( T = \N \), коли це просто набір потужності\( T \) так, що кожна підмножина\( T \) вимірюється; кожна функція від\( T \) до іншого вимірюваного простору вимірюється; і кожна функція від\( T \) до іншого топологічного простору є безперервною. Простір часу\( (T, \mathscr{T}) \) має природну міру; міра підрахунку\( \# \) в дискретному випадку і Лебега в безперервному випадку.

Множина станів\( S \) також має\( \sigma \) -алгебру\( \mathscr{S} \) допустимих підмножин, так що\( (S, \mathscr{S}) \) це простір стану. Зазвичай\( S \) має топологію і\( \mathscr{S} \) являє собою\( \sigma \) алгебру Бореля, що генерується відкритими множинами. Типовим набором припущень є те, що топологія на\( S \) LCCB: локально компактний, Hausdorff, і з підрахунковою базою. Ці конкретні припущення є досить загальними, щоб захопити всі найважливіші процеси, які відбуваються в додатках, і все ж є досить обмежувальними для приємної математичної теорії. Зазвичай на державному просторі існує\( \lambda \) природна позитивна міра\( (S, \mathscr{S}) \). Коли\( S \) має топологію LCCB і\( \mathscr{S} \) є\( \sigma \) алгеброю Бореля, міра, як правило,\( \lambda \) буде мірою Бореля\( C \subseteq S \) задовольняє,\( \lambda(C) \lt \infty \) якщо вона компактна. Термін дискретний простір стану означає, що\( S \) підраховується з\( \mathscr{S} = \mathscr{P}(S) \), колекція всіх підмножин\( S \). Таким чином, кожна підмножина\( S \) вимірюється, як і кожна функція від\( S \) до іншого вимірюваного простору. Це\( \sigma \) алгебра Бореля для дискретної топології на\( S \), так що кожна функція від\( S \) до іншого топологічного простору є безперервною. Компактні набори - це просто кінцеві множини, а еталонна міра -\( \# \) міра підрахунку. Якщо\( S = \R^k \) для деяких\( k \in S \) (інший поширений випадок), то ми зазвичай даємо\( S \) евклідову топологію (яка є LCCB) так, що\( \mathscr{S} \) це звичайна Борель\( \sigma \) -алгебра. Компактні множини - це замкнуті обмежені множини, а еталонна\( \lambda \) міра\( k \) - вимірна міра Лебега.

Зрозуміло, що топологічні та\( T \) вимірювальні структури на насправді не потрібні\( T = \N \), коли, і аналогічно ці структури не\( S \) потрібні, коли\( S \) підраховуються. Але головний момент полягає в тому, що припущення уніфікують дискретний і поширений безперервний випадки. Також слід зазначити, що можливі набагато більше загальних просторів станів (і більш загальних часових просторів), але більшість важливих марковських процесів, що відбуваються в додатках, відповідають описаним нами тут налаштуванням.

Різні простори реальних функцій на\( S \) відіграють важливу роль. \( \mathscr{B} \)Дозвольте позначити сукупність обмежених, вимірюваних функцій\( f: S \to \R \). При звичайному (точковому) додаванні і скалярному множенні,\( \mathscr{B} \) являє собою векторний простір. Наведемо\( \mathscr{B} \) норму супремум, визначену\( \|f\| = \sup\{\left|f(x)\right|: x \in S\} \).

Припустимо, що тепер\( \bs{X} = \{X_t: t \in T\} \) це стохастичний процес на\( (\Omega, \mathscr{F}, \P) \) з державним простором\( S \) і часовим простором\( T \). Таким чином,\( X_t \) є випадковою величиною, що приймає значення\( S \) для кожного\( t \in T \), і ми думаємо про стан системи в той час\( t \in T\).\( X_t \in S \) Ми також припускаємо, що у нас є\(\mathfrak{F} = \{\mathscr{F}_t: t \in T\}\) колекція\( \sigma \) -алгебр з властивостями, які\( X_t \) можна виміряти щодо\( \mathscr{F}_t \) for\( t \in T \), і\( \mathscr{F}_s \subseteq \mathscr{F}_t \subseteq \mathscr{F} \) for\( s, \, t \in T \) с\( s \le t \). Інтуїтивно,\( \mathscr{F}_t \) це збір подій до часу\( t \in T \). Технічно припущення означають, що\( \mathfrak{F} \) це фільтрація і що процес\( \bs{X} \) адаптований до\( \mathfrak{F} \). Найосновніша (і груба) фільтрація - це природна фільтрація\( \mathfrak{F}^0 = \left\{\mathscr{F}^0_t: t \in T\right\} \) де\( \mathscr{F}^0_t = \sigma\{X_s: s \in T, s \le t\} \),\( \sigma \) алгебра, що генерується процесом до часу\( t \in T \). Однак у безперервному часі часто доводиться використовувати трохи тонші\( \sigma \) алгебри, щоб мати приємну математичну теорію. Зокрема, нам часто потрібно припустити, що фільтрація\( \mathfrak{F} \) є правильною безперервною в тому сенсі, що\( \mathscr{F}_{t+} = \mathscr{F}_t \) за\( t \in T \) куди\(\mathscr{F}_{t+} = \bigcap\{\mathscr{F}_s: s \in T, s \gt t\} \). Ми можемо досягти цього, взявши\( \mathfrak{F} = \mathfrak{F}^0_+ \) так\( t \in T \), що\( \mathscr{F}_t = \mathscr{F}^0_{t+} \) для, і в цьому випадку,\( \mathfrak{F} \) називається правильним безперервним уточненням природної фільтрації. Ми також іноді повинні припустити, що\( \mathfrak{F} \) є повним стосовно\( \P \) в тому сенсі, що якщо\( A \in \mathscr{S} \) з\( \P(A) = 0 \) і\( B \subseteq A \) потім\( B \in \mathscr{F}_0 \). Тобто\( \mathscr{F}_0 \) містить всі нульові події (а значить, і всі майже певні події), а отже, так і\( \mathscr{F}_t \) для всіх\( t \in T \).

Визначення

Випадковий процес\( \bs{X} \) є марковським процесом, якщо\[ \P(X_{s+t} \in A \mid \mathscr{F}_s) = \P(X_{s+t} \in A \mid X_s) \] для всіх\( s, \, t \in T \) і\( A \in \mathscr{S} \).

Визначальна умова, відоме досить відповідним чином як властивість Маркова, стверджує, що умовний розподіл\( X_{s+t} \) заданого\( \mathscr{F}_s \) є таким же, як і умовний розподіл\( X_{s+t} \) щойно заданого\( X_s \). \( s \)Думайте про теперішній час, так що\( s + t \) це час у майбутньому. Якщо ми знаємо теперішній стан\( X_s \), то будь-які додаткові знання про події в минулому не мають значення в плані прогнозування майбутнього стану\( X_{s + t} \). Технічно умовні ймовірності у визначенні є випадковими величинами, а рівність повинна інтерпретуватися як утримання з ймовірністю 1. Як ви пам'ятаєте, умовне очікуване значення є більш загальним і корисним поняттям, ніж умовна ймовірність, тому наступна теорема може не здивувати.

Випадковий процес\( \bs{X} \) є марковським процесом, якщо і тільки якщо\[ \E[f(X_{s+t}) \mid \mathscr{F}_s] = \E[f(X_{s+t}) \mid X_s] \] для кожного\( s, \, t \in T \) і кожного\( f \in \mathscr{B} \).

Доказ ескізу

Умова в цій теоремі явно має на увазі властивість Маркова, дозволяючи\( f = \bs{1}_A \), індикаторну функцію\( A \in \mathscr{S} \). Converse - це класичний аргумент bootstrapping: властивість Маркова передбачає умову очікуваного значення

1. По-перше, коли\( f = \bs{1}_A \) для\( A \in \mathscr{S} \) (за визначенням).
2. Далі коли\( f \in \mathscr{B} \) - проста функція, по лінійності.
3. Далі, коли\( f \in \mathscr{B}\) ненегативний, за теоремою монотонної збіжності.
4. Нарешті для загального\( f \in \mathscr{B} \), розглядаючи позитивні та негативні частини.

Технічно слід сказати, що\( \bs{X} \) це марковський процес щодо фільтрації\( \mathfrak{F} \). Якщо\( \bs{X} \) задовольняє властивість Маркова щодо фільтрації, то вона задовольняє властивість Маркова щодо будь-якої грубішої фільтрації.

Припустимо, що стохастичний процес\( \bs{X} = \{X_t: t \in T\} \) адаптований до фільтрації,\( \mathfrak{F} = \{\mathscr{F}_t: t \in T\} \) і\( \mathfrak{G} = \{\mathscr{G}_t: t \in T\} \) це фільтрація, яка тонша, ніж\( \mathfrak{F} \). Якщо\( \bs{X} \) є марковським процесом відносно\( \mathfrak{G} \)\( \bs{X} \) то марковський процес відносно\( \mathfrak{F} \).

Доказ

По-перше, нагадаємо,\( \bs{X} \) що адаптований до\( \mathfrak{G} \) так як\( \bs{X} \) адаптований до\( \mathfrak{F} \). Якщо\( s, \, t \in T \) і\( f \in \mathscr{B} \) тоді\[ \E[f(X_{s+t}) \mid \mathscr{F}_s] = \E\left(\E[f(X_{s+t}) \mid \mathscr{G}_s] \mid \mathscr{F}_s\right)= \E\left(\E[f(X_{s+t}) \mid X_s] \mid \mathscr{F}_s\right) = \E[f(X_{s+t}) \mid X_s] \] перше рівність - це основна властивість умовного очікуваного значення. Другий використовує той факт, що\( \bs{X} \) є Маркова щодо\( \mathfrak{G} \), а третій слід, оскільки\( X_s \) вимірюється щодо\( \mathscr{F}_s \).

Зокрема, якщо\( \bs{X} \) є марковським процесом, то\( \bs{X} \) задовольняє властивість Маркова щодо природної фільтрації\( \mathfrak{F}^0 \). Теорія марковських процесів значно спрощується, якщо додати додаткове припущення.

Марковський процес\( \bs{X} \) - це час однорідний, якщо\[ \P(X_{s+t} \in A \mid X_s = x) = \P(X_t \in A \mid X_0 = x) \] для кожного\( s, \, t \in T \),\( x \in S \) і\( A \in \mathscr{S} \).

Так що якщо\( \bs{X} \) є однорідним (ми зазвичай не турбуємося про час прикметник), то процес\( \{X_{s+t}: t \in T\} \) даний\( X_s = x \) еквівалентний (в розподілі) процесу\( \{X_t: t \in T\} \) заданий\( X_0 = x \). З цієї причини початковий розподіл часто не визначено при вивченні марковських процесів - якщо процес знаходиться в стані в певний\( x \in S \) час\( s \in T \), то насправді не має значення, як процес потрапив до стану\( x \); процес, по суті, починається спочатку, незалежно від того, минуле. Термін стаціонарний іноді використовується замість однорідного.

Відтепер ми зазвичай будемо вважати, що наші марковські процеси однорідні. Це не така велика втрата загальності, як ви могли б подумати. Неоднорідний процес можна перетворити в однорідний процес шляхом збільшення простору стану, як показано нижче. Для однорідного марковського процесу\( s, \, t \in T \), якщо\( x \in S \), і\( f \in \mathscr{B}\), то\[ \E[f(X_{s+t}) \mid X_s = x] = \E[f(X_t) \mid X_0 = x] \]

Валочні процеси

У безперервному часі, або з просторами загального стану, марківські процеси можуть бути дуже дивними без додаткових припущень безперервності. Припустимо (як це зазвичай буває), який\( S \) має топологію LCCB, і\( \mathscr{S} \) це\( \sigma \) алгебра Бореля. Дозвольте\( \mathscr{C} \) позначити сукупність обмежених, неперервних функцій\( f: S \to \R \). Дозвольте\( \mathscr{C}_0 \) позначити сукупність безперервних функцій\( f: S \to \R \), які зникають при\(\infty\). Остання фраза означає, що для кожного\( \epsilon \gt 0 \) існує компактний набір\( C \subseteq S \) такий, що\( \left|f(x)\right| \lt \epsilon \) якщо\( x \notin C \). При звичайних (точкових) операціях додавання і скалярного множення,\( \mathscr{C}_0 \) є векторним підпростором\( \mathscr{C} \), який, в свою чергу, є векторним підпростором\( \mathscr{B} \). Так само\( \mathscr{B} \), як і при, норма супремум використовується для\( \mathscr{C} \) і\( \mathscr{C}_0 \).

Марковський процес\( \bs{X} = \{X_t: t \in T\} \) - це процес валки, якщо виконуються наступні умови.

1. Неперервність у просторі: Для\( t \in T \) і\( y \in S \), розподіл\( X_t \) заданого\( X_0 = x \) збігається з розподілом\( X_t \) заданого\( X_0 = y \) як\( x \to y \).
2. Безперервність у часі:\(X_0 = x \) Задано для\( x \in S \),\( X_t \) сходиться за ймовірністю до\( x \) як\( t \downarrow 0 \).

Додаткові деталі

1. Це означає, що\( \E[f(X_t) \mid X_0 = x] \to \E[f(X_t) \mid X_0 = y] \) як\( x \to y \) для кожного\( f \in \mathscr{C} \).
2. Це означає, що\( \P[X_t \in U \mid X_0 = x] \to 1 \) як\( t \downarrow 0 \) для кожного\( U \) сусідства\( x \).

Феллерівські процеси названі на честь Вільяма Феллера. Зверніть увагу,\( S \) що якщо дискретний, (a) автоматично задовольняється, а якщо\( T \) дискретний, (b) автоматично задовольняється. Зокрема, кожен дискретний марковський ланцюг - це процес Феллера Маркова. Є, звичайно, більш загальні марковські процеси, але більшість важливих процесів, які відбуваються в додатках, - це процеси Феллера, і ряд приємних властивостей випливають з припущень. Ось перший:

Якщо\( \bs{X} = \{X_t: t \in T\} \) це процес валки, то існує версія\( \bs{X} \) такої, яка безперервна\( t \mapsto X_t(\omega) \) справа і має ліві межі для кожного\( \omega \in \Omega \).

Знову ж таки, цей результат цікавий лише в безперервний час\( T = [0, \infty) \). Нагадаємо\( \omega \in \Omega \), що для, функція\( t \mapsto X_t(\omega) \) є зразком шляху процесу. Тому ми часто будемо вважати, що процес Феллера Маркова має вибіркові шляхи, які праві безперервні мають ліві межі, оскільки ми знаємо, що існує версія з цими властивостями.

Зупинка часів і сильна маркова власність

Для нашого наступного обговорення вам може знадобитися знову переглянути розділ про фільтрації та зупинки times.Щоб дати швидкий огляд, припустимо знову, що ми починаємо з нашого простору ймовірностей\( (\Omega, \mathscr{F}, \P) \) та фільтрації\( \mathfrak{F} = \{\mathscr{F}_t: t \in T\} \) (так що у нас є відфільтрований простір ймовірності).

Оскільки час (минуле, сьогодення, майбутнє) відіграє таку фундаментальну роль в марківських процесах, не повинно дивуватися, що випадкові часи важливі. Нам часто потрібно дозволити випадковим часом приймати значення\( \infty \), тому нам потрібно збільшити набір разів до\( T_\infty = T \cup \{\infty\} \). Топологія на\( T \) поширюється\( T_\infty \) на правило\( s \in T \), що для множини\( \{t \in T_\infty: t \gt s\} \) є відкритим сусідством\( \infty \). Це одноточкове ущільнення\( T \) і використовується для того, щоб зберегти поняття часу, що сходиться до нескінченності. \( \sigma \)Алгебра Бореля\( \mathscr{T}_\infty \) використовується на\( T_\infty \), яка знову ж таки є лише потужністю, встановленою в дискретному випадку.

Якщо\( \bs{X} = \{X_t: t \in T\} \) є стохастичним процесом на просторі вибірки\( (\Omega, \mathscr{F}) \), а якщо\( \tau \) випадковий час, то, природно, ми хочемо розглянути стан\( X_\tau \) у випадковий час. Є дві проблеми. По-перше, якщо\( \tau \) приймає значення\( \infty \),\( X_\tau \) не визначено. Звичайне рішення полягає в тому, щоб додати новий стан смерті\( \delta \) до безлічі станів\( S \), а потім дати\( S_\delta = S \cup \{\delta\} \)\( \sigma \) алгебру\( \mathscr{S}_\delta = \mathscr{S} \cup \{A \cup \{\delta\}: A \in \mathscr{S}\} \). \( f \in \mathscr{B} \)Функція\( S_\delta \) поширюється на правило\( f(\delta) = 0 \). Друга проблема полягає в тому, що не\( X_\tau \) може бути дійсною випадковою величиною (тобто вимірюваною), якщо ми не припустимо, що стохастичний процес\( \bs{X} \) є вимірним. Нагадаємо, що це означає, що\( \bs{X}: \Omega \times T \to S \) можна виміряти щодо\( \mathscr{F} \otimes \mathscr{T} \) і\( \mathscr{S} \). (Це завжди вірно в дискретний час.)

Нагадаємо далі, що випадковий час\( \tau \) - це час зупинки (також званий марковським часом або необов'язковим часом) щодо\( \mathfrak{F} \) if\( \{\tau \le t\} \in \mathscr{F}_t \) для кожного\( t \in T \). Інтуїтивно ми можемо сказати, чи є\( \tau \le t \) з інформації, доступної нам в той час\( t \). У певному сенсі час зупинки - це випадковий час, який не вимагає, щоб ми бачили в майбутньому. Звичайно, поняття критично залежить від фільтрації. Нагадаємо, що якщо випадковий час\( \tau \) - це час зупинки для фільтрації,\( \mathfrak{F} = \{\mathscr{F}_t: t \in T\} \) то це також час зупинки для більш тонкої фільтрації\( \mathfrak{G} = \{\mathscr{G}_t: t \in T\} \), так що\( \mathscr{F}_t \subseteq \mathscr{G}_t \) для\( t \in T \). Таким чином, чим тонше фільтрація, тим більша колекція часу зупинки. Насправді, якщо фільтрація тривіальна, де\( \mathscr{F}_t = \mathscr{F} \) для всіх\( t \in T \) (щоб вся інформація була доступна нам з початку часу), то будь-який випадковий час - це час зупинки. Але звичайно, ця тривіальна фільтрація зазвичай не має сенсу.

Далі нагадаємо, що якщо\( \tau \) це час зупинки для фільтрації\( \mathfrak{F} \), то\( \sigma \) -алгебра,\( \mathscr{F}_\tau \)\( \tau \) пов'язана з,\( \mathscr{F}_\tau \) дається\[ \mathscr{F}_\tau = \left\{A \in \mathscr{F}: A \cap \{\tau \le t\} \in \mathscr{F}_t \text{ for all } t \in T\right\} \] інтуїтивно, - це сукупність подій до випадкового часу\( \tau \), аналогічно\( \mathscr{F}_t \) якому є збір подій до детермінованого часу\( t \in T \). Якщо\( \bs{X} = \{X_t: t \in T\} \) це стохастичний процес, адаптований до\( \mathfrak{F} \) і якщо\( \tau \) це час зупинки відносно\( \mathfrak{F} \), то ми сподіваємось, що\( X_\tau \) це вимірюється\( X_t \) стосовно так\( \mathscr{F}_\tau \) само, як вимірюється\( \mathscr{F}_t \) щодо детермінованого\( t \in T \). Однак це, як правило, не буде так, якщо\( \bs{X} \) не буде прогресивно виміряним відносно\( \mathfrak{F} \), а\( \bs{X}: \Omega \times T_t \to S \) це означає, що можна виміряти відносно\( \mathscr{F}_t \otimes \mathscr{T}_t \) і\( \mathscr{S} \) де\( T_t = \{s \in T: s \le t\} \) і\( \mathscr{T}_t \) відповідної Бореля\( \sigma \) -алгебри. Це завжди вірно в дискретний час, звичайно, і більш загалом, якщо\( S \) має топологію LCCB з\( \mathscr{S} \)\( \sigma \) алгеброю Бореля, і\( \bs{X} \) є правильним безперервним. Якщо\( \bs{X} \) прогресивно вимірюється відносно\( \mathfrak{F} \) то\( \bs{X} \) вимірюється і\( \bs{X} \) пристосовується до\( \mathfrak{F} \).

Сильне марковське властивість для нашого стохастичного процесу\( \bs{X} = \{X_t: t \in T\} \) стверджує, що майбутнє незалежне від минулого, враховуючи сьогодення, коли теперішній час - час зупинки.

Випадковий процес\( \bs{X} \) є сильним марковським процесом якщо\[ \E[f(X_{\tau + t}) \mid \mathscr{F}_\tau] = \E[f(X_{\tau + t}) \mid X_\tau] \] для кожного\(t \in T \), зупиняючи час\( \tau \), і\( f \in \mathscr{B} \).

Як і у звичайного марковського властивості, сильне марковське властивість залежить від підстилаючої фільтрації\( \mathfrak{F} \). Якщо властивість тримається щодо заданої фільтрації, то воно тримається щодо більш грубої фільтрації.

Припустимо, що стохастичний процес поступово\( \bs{X} = \{X_t: t \in T\} \) вимірюється щодо фільтрації\( \mathfrak{F} = \{\mathscr{F}_t: t \in T\} \) і що\( \mathfrak{G} = \{\mathscr{G}_t: t \in T\} \) фільтрація тонша, ніж\( \mathfrak{F} \). Якщо\( \bs{X} \) є сильним марковським процесом щодо\( \mathfrak{G} \) то\( \bs{X} \) є сильним марковським процесом щодо\( \mathfrak{F} \).

Доказ

Нагадаємо ще раз, що оскільки\( \bs{X} \) адаптований до\( \mathfrak{F} \), він також адаптований до\( \mathfrak{G} \). Припустимо, що\( \tau \) це кінцевий час зупинки для\( \mathfrak{F} \) і що\( t \in T \) і\( f \in \mathscr{B} \). Потім\( \tau \) також час зупинки для\( \mathfrak{G} \), і\( \mathscr{F}_\tau \subseteq \mathscr{G}_\tau \). \[ \E[f(X_{\tau+t}) \mid \mathscr{F}_\tau] = \E\left(\E[f(X_{\tau+t}) \mid \mathscr{G}_\tau] \mid \mathscr{F}_\tau\right)= \E\left(\E[f(X_{\tau+t}) \mid X_\tau] \mid \mathscr{F}_\tau\right) = \E[f(X_{\tau+t}) \mid X_\tau] \]Звідси перше рівність є основною властивістю умовного очікуваного значення. Друга використовує той факт, що\( \bs{X} \) має сильну марковську властивість щодо\( \mathfrak{G} \), а третя випливає так як\( \bs{X_\tau} \) вимірюється щодо\( \mathscr{F}_\tau \). У безперервному часі це останній крок, який вимагає прогресивної вимірюваності.

Так що якщо\( \bs{X} \) є сильним марковським процесом, то\( \bs{X} \) задовольняє сильне марковське властивість щодо його природної фільтрації. Знову є компроміс: більш тонкі фільтрації дозволяють більше часу зупинки (як правило, хороша річ), але роблять сильну маркову власність важче задовольнити і може бути не розумною (не так добре). Тому ми зазвичай не хочемо фільтрації, які занадто тонкі, ніж природні.

Маючи сильні марковські та однорідні властивості,\( \{X_{\tau + t}: t \in T\} \) даний процес\( X_\tau = x \) еквівалентний за розподілом\( \{X_t: t \in T\} \) заданому процесу\( X_0 = x \). Зрозуміло, що сильне марковське властивість має на увазі звичайне марковське майно, так як\( t \in T \) фіксований час банально теж час зупинки. Зворотне вірно в дискретному часі.

Припустимо, що\( \bs{X} = \{X_n: n \in \N\} \) це (однорідний) марковський процес в дискретний час. Потім\( \bs{X} \) йде сильний марківський процес.

Як завжди в безперервному часі, ситуація складніша і залежить від безперервності процесу\( \bs{X} \) і фільтрації\( \mathfrak{F} \). Ось стандартний результат для Feller процесів.

Якщо\( \bs{X} = \{X_t: t \in [0, \infty) \) це марковський процес Феллера, то\( \bs{X} \) є сильним марковським процесом щодо фільтрації\( \mathfrak{F}^0_+ \), праворуч безперервної доопрацювання природної фільтрації..

Перехідні ядра марковських процесів

Для нашого наступного обговорення вам може знадобитися переглянути розділ про ядра та оператори в розділі про очікуване значення. Припустимо ще раз, що\( \bs{X} = \{X_t: t \in T\} \) це (однорідний) марковський процес з простором стану\( S \) і часовим простором\( T \), як описано вище. Ядра в наступному визначенні мають принципове значення при вивченні\( \bs{X} \)

Для\( t \in T \), нехай\[ P_t(x, A) = \P(X_t \in A \mid X_0 = x), \quad x \in S, \, A \in \mathscr{S} \] Тоді\( P_t \) є ймовірністю ядро на\( (S, \mathscr{S}) \), відоме як перехідне ядро\( \bs{X} \) для часу\( t \).

Доказ

Виправити\( t \in T \). Вимірюваність\( x \mapsto \P(X_t \in A \mid X_0 = x) \) for\( A \in \mathscr{S} \) вбудована в визначення умовної ймовірності. Також, звичайно,\( A \mapsto \P(X_t \in A \mid X_0 = x) \) є мірою ймовірності на\( \mathscr{S} \) для\( x \in S \). Загалом, умовний розподіл однієї випадкової величини, обумовленої значенням іншої випадкової величини, визначає ядро ймовірності.

Тобто,\( P_t(x, \cdot) \) це умовний розподіл\( X_t \) даного\( X_0 = x \) для\( t \in T \) і\( x \in S \). За часом гомогенне властивість, також\( P_t(x, \cdot) \) є умовним розподілом\( X_{s + t} \) заданого\( X_s = x \) для\( s \in T \):\[ P_t(x, A) = \P(X_{s+t} \in A \mid X_s = x), \quad s, \, t \in T, \, x \in S, \, A \in \mathscr{S} \] Зверніть увагу\( P_0 = I \), що, ідентичність ядра на\( (S, \mathscr{S}) \) визначено\( I(x, A) = \bs{1}(x \in A) \) for\( x \in S \) і\( A \in \mathscr{S} \), так що\( I(x, A) = 1 \) якщо \( x \in A \)і\( I(x, A) = 0 \) якщо\( x \notin A \). Нагадаємо також, що зазвичай існує природна\( \lambda \) еталонна міра на\( (S, \mathscr{S}) \). При цьому перехідне ядро часто\( P_t \) матиме щільність\( p_t \) переходу по відношенню до\( \lambda \) for\( t \in T \). Тобто\[ P_t(x, A) = \P(X_t \in A \mid X_0 = x) = \int_A p_t(x, y) \lambda(dy), \quad x \in S, \, A \in \mathscr{S} \] наступна теорема дає рівняння Чапмана-Колмогорова, назване на честь Сіднея Чепмена і Андрія Колмогорова, фундаментальну залежність між ядрами ймовірності і причину назви перехідного ядра.

Припустимо знову, що\( \bs{X} = \{X_t: t \in T\} \) це марковський процес на\( S \) з переходом ядер\( \bs{P} = \{P_t: t \in T\} \). Якщо\( s, \, s \in T \), то\( P_s P_t = P_{s + t} \). Тобто,\[ P_{s+t}(x, A) = \int_S P_s(x, dy) P_t(y, A), \quad x \in S, \, A \in \mathscr{S} \]

Доказ

Властивість Маркова і обумовлюючий аргумент є основоположними інструментами. Згадаймо ще раз, що\( P_s(x, \cdot) \) є умовним розподілом\( X_s \) даного\( X_0 = x \) для\( x \in S \). Нехай\( A \in \mathscr{S} \). Кондиціонування на\( X_s \) дає\[ P_{s+t}(x, A) = \P(X_{s+t} \in A \mid X_0 = x) = \int_S P_s(x, dy) \P(X_{s+t} \in A \mid X_s = y, X_0 = x) \] Але за марковським і часом однорідним властивостям,\[ \P(X_{s+t} \in A \mid X_s = y, X_0 = x) = \P(X_t \in A \mid X_0 = y) = P_t(y, A) \] Замінюючи ми маємо\[ P_{s+t}(x, A) = \int_S P_s(x, dy) P_t(y, A) = (P_s P_t)(x, A) \]

Мовою функціонального аналізу,\( \bs{P} \) є напівгрупою. Нагадаємо, що комутативне властивість взагалі не тримає для роботи продукту на ядрах. Однак властивість дійсно тримає для переходу ядер однорідного марковського процесу. Тобто,\( P_s P_t = P_t P_s = P_{s+t} \) для\( s, \, t \in T \). Як простий наслідок, якщо\( S \) має еталонну міру, те саме базове співвідношення має для щільності переходу.

Припустимо, що\( \lambda \) це еталонна міра на\( (S, \mathscr{S}) \) і\( \bs{X} = \{X_t: t \in T\} \) це марковський процес на\( S \) і з перехідною щільністю\( \{p_t: t \in T\} \). Якщо\( s, \, t \in T \) тоді\( p_s p_t = p_{s+t} \). Тобто,\[ p_t(x, z) = \int_S p_s(x, y) p_t(y, z) \lambda(dy), \quad x, \, z \in S \]

Доказ

Перехід ядра задовольняють\(P_s P_t = P_{s+t} \). Але\( P_s \) має щільність\( p_s \),\( P_t \) має щільність\( p_t \), і\( P_{s+t} \) має щільність\( p_{s+t} \). З базового результату на функції ядра,\( P_s P_t \) має щільність\( p_s p_t \), визначену в теоремі.

Якщо\( T = \N \) (дискретний час), то\( \bs{X} \) перехідні ядра - це всього лише повноваження одноступінчастого перехідного ядра. Тобто, якщо ми дозволимо\( P = P_1 \) тоді\( P_n = P^n \) для\( n \in \N \).

Нагадаємо, що ядро визначає дві операції: операцію зліва з позитивними мірами\( (S, \mathscr{S}) \) і операційну праворуч з вимірними, реально значущими функціями. Для перехідних ядер марковського процесу обидва ці оператори мають природні інтерпретації.

Припустимо, що\( s, \, t \in T \). Якщо\( \mu_s \) це розподіл,\( X_s \) то\( X_{s+t} \) має розподіл\( \mu_{s+t} = \mu_s P_t \). Тобто,\[ \mu_{s+t}(A) = \int_S \mu_s(dx) P_t(x, A), \quad A \in \mathscr{S} \]

Доказ

Нехай\( A \in \mathscr{S} \). Кондиціонування на\( X_s \) дарах\[ \P(X_{s+t} \in A) = \E[\P(X_{s+t} \in A \mid X_s)] = \int_S \mu_s(dx) \P(X_{s+t} \in A \mid X_s = x) = \int_S \mu_s(dx) P_t(x, A) = \mu_s P_t(A) \]

Так що якщо\( \mathscr{P} \) позначає збір ймовірності заходи на\( (S, \mathscr{S}) \), то лівий оператор\( P_t \) карти\( \mathscr{P} \) назад в\( \mathscr{P} \). Зокрема, якщо\( X_0 \) має розподіл\( \mu_0 \) (початковий розподіл), то\( X_t \) має розподіл\( \mu_t = \mu_0 P_t \) для кожного\( t \in T \).

Позитивна міра\( \mu \) на\( (S, \mathscr{S}) \) є інваріантною для\( \bs{X}\) якщо\( \mu P_t = \mu \) для кожного\( t \in T \).

Отже, якщо\( \mu \) є мірою ймовірності, яка є інваріантною для\( \bs{X} \), і\( X_0 \) має розподіл\( \mu \), то\( X_t \) має розподіл\( \mu \) для кожного\( t \in T \) так, щоб процес\( \bs{X} \) був однаково розподілений. У дискретний час зверніть увагу, що якщо\( \mu \) є позитивною мірою, а\( \mu P = \mu \) потім\( \mu P^n = \mu \) для кожного\( n \in \N \), так\( \mu \) є інваріантним для\( \bs{X} \). Далі наведено оператор праворуч.

Припустимо, що\( f: S \to \R \). Якщо\(t \in T\) тоді (припускаючи, що очікуване значення існує),\[ P_t f(x) = \int_S P_t(x, dy) f(y) = \E\left[f(X_t) \mid X_0 = x\right], \quad x \in S \]

Доказ

Це випливає безпосередньо з визначень:\[ P_t f(x) = \int_S P_t(x, dy) f(y), \quad x \in S \] і\( P_t(x, \cdot) \) є умовним розподілом\( X_t \) даного\( X_0 = x \).

Зокрема,\( P_t \) визначається правий оператор на\( \mathscr{B} \), векторному просторі обмежених, лінійних функцій\( f: S \to \R \), і фактично є лінійним оператором on\( \mathscr{B} \). Тобто якщо\( f, \, g \in \mathscr{B} \) і\( c \in \R \), то\( P_t(f + g) = P_t f + P_t g \) і\( P_t(c f) = c P_t f \). Більш того,\( P_t \) є оператором скорочення на\( \mathscr{B} \), так як\( \left\|P_t f\right\| \le \|f\| \) для\( f \in \mathscr{B} \). Потім випливає, що\( P_t \) є безперервним оператором на\( \mathscr{B} \) for\( t \in T \).

Для правого оператора існує поняття, яке доповнює інваріантність позитивної міри для лівого оператора.

Вимірювана функція\( f: S \to \R \) є гармонійною для\( \bs{X} \) якщо\( P_t f = f \) для всіх\( t \in T \).

Знову ж таки, в дискретний час, якщо\( P f = f \) потім\( P^n f = f \) для всіх\( n \in \N \),\( f \) так гармонійно для\( \bs{X} \).

Об'єднання двох результатів вище, якщо\( X_0 \) має розподіл\( \mu_0 \) і\( f: S \to \R \) є вимірним, то (знову припускаючи, що очікуване значення існує),\( \mu_0 P_t f = \E[f(X_t)] \) для\( t \in T \). Тобто,\[ \E[f(X_t)] = \int_S \mu_0(dx) \int_S P_t(x, dy) f(y) \]

Результат вище показує, як отримати розподіл\( X_t \) з розподілу\( X_0 \) і переходу ядра\( P_t \) для\( t \in T \). Але ми можемо зробити більше. Нагадаємо, що одним з основних способів опису стохастичного процесу є надання його кінцевих розмірних розподілів, тобто розподілу\( \left(X_{t_1}, X_{t_2}, \ldots, X_{t_n}\right) \) по кожному\( n \in \N_+ \)\( (t_1, t_2, \ldots, t_n) \in T^n \). Для марковського процесу початковий розподіл і перехідні ядра визначають кінцеві розмірні розподіли. Найпростіше викласти розподіли в диференційній формі.

Припустимо,\( \bs{X} = \{X_t: t \in T\} \) це марковський процес з операторами переходу\( \bs{P} = \{P_t: t \in T\} \), і що\( (t_1, \ldots, t_n) \in T^n \) з\( 0 \lt t_1 \lt \cdots \lt t_n \). Якщо\( X_0 \) має розподіл\( \mu_0 \), то в диференційній формі розподіл\( \left(X_0, X_{t_1}, \ldots, X_{t_n}\right) \) є\[ \mu_0(dx_0) P_{t_1}(x_0, dx_1) P_{t_2 - t_1}(x_1, dx_2) \cdots P_{t_n - t_{n-1}} (x_{n-1}, dx_n) \]

Доказ

Це випливає з індукції і багаторазового використання марковського властивості. Наприклад, якщо\( t \in T \) з\( t \gt 0 \), то кондиціонування\[ \P(X_0 \in A, X_t \in B) = \int_A \P(X_t \in B \mid X_0 = x) \mu_0(dx) = \int_A P_t(x, B) \mu(dx) = \int_A \int_B P_t(x, dy) \mu_0(dx) \] на\( X_0 \) дає\( A, \, B \in \mathscr{S} \). Таким чином, в диференціальній формі, розподіл\( (X_0, X_t) \) є\( \mu(dx) P_t(x, dy)\). Якщо\( s, \, t \in T \) з\( 0 \lt s \lt t \), то кондиціонування\( (X_0, X_s) \) та використання нашого попереднього результату дає\[ \P(X_0 \in A, X_s \in B, X_t \in C) = \int_{A \times B} \P(X_t \in C \mid X_0 = x, X_s = y) \mu_0(dx) P_s(x, dy)\]\( A, \, B, \, C \in \mathscr{S} \). Але за властивістю Маркова,\[ \P(X_t \in C \mid X_0 = x, X_s = y) = \P(X_t \in C \mid X_s = y) = P_{t-s}(y, C) = \int_C P_{t- s}(y, dz) \] Звідси в диференційній формі, розподіл\( (X_0, X_s, X_t) \) є\( \mu_0(dx) P_s(x, dy) P_{t-s}(y, dz) \). Продовження таким чином дає загальний результат.

Цей результат дуже важливий для побудови марковських процесів. Якщо ми знаємо, як визначити перехідні ядра\( P_t \) для\( t \in T \) (на основі міркувань моделювання, наприклад), і якщо ми знаємо початковий розподіл\( \mu_0 \), то останній результат дає послідовний набір скінченних розмірних розподілів. З теореми побудови Колмогорова ми знаємо, що існує стохастичний процес, який має ці скінченно-розмірні розподіли. Однак у безперервному часі залишаються дві серйозні проблеми. По-перше, незрозуміло, як би ми будували перехідні ядра так, щоб вирішальні рівняння Чапмана-Колмогорова були задоволені вище. По-друге, ми зазвичай хочемо, щоб наш процес Маркова мав певні властивості (наприклад, властивості неперервності шляхів вибірки), які виходять за межі кінцевих розмірних розподілів. Перша проблема буде вирішена в наступному розділі, і, на щастя, друга проблема може бути вирішена для процесу Feller.

Припустимо, що\( \bs{X} = \{X_t: t \in T\} \) це марковський процес на просторі стану LCCB\( (S, \mathscr{S}) \) з операторами переходу\( \bs{P} = \{P_t: t \in [0, \infty)\} \). Потім\( \bs{X} \) відбувається процес валки, якщо і тільки якщо дотримуються наступних умов:

1. Безперервність у просторі: Якщо\( f \in \mathscr{C}_0 \) і\( t \in [0, \infty) \) тоді\( P_t f \in \mathscr{C}_0 \)
2. Безперервність у часі: Якщо,\( f \in \mathscr{C}_0 \) а\( x \in S \) потім\( P_t f(x) \to f(x) \) як\( t \downarrow 0 \).

Напівгрупа ядер ймовірності\( \bs{P} = \{P_t: t \in T\} \), яка задовольняє властивостям цієї теореми, називається напівгрупою Феллера. Так теорема стверджує, що марковський процес\(\bs{X}\) є Феллером тоді і тільки тоді, коли перехідна напівгрупа переходу\( \bs{P} \) - Феллер. Як і раніше, (а) автоматично задовольняється, якщо\( S \) дискретний, і (b) автоматично задовольняється, якщо\( T \) дискретний. Умова (a) означає, що\( P_t \) є оператором на векторному просторі\( \mathscr{C}_0 \), крім того, що є оператором на більшому просторі\( \mathscr{B} \). Умова (б) фактично передбачає більш сильну форму безперервності в часі.

Припустимо, що\( \bs{P} = \{P_t: t \in T\} \) це напівгрупа Феллера операторів переходу. Потім\( t \mapsto P_t f \) суцільний (щодо норми супремум) для\( f \in \mathscr{C}_0 \).

Додаткові деталі

Це означає, що для\( f \in \mathscr{C}_0 \) і\( t \in [0, \infty) \),\[ \|P_{t+s} f - P_t f \| = \sup\{\left|P_{t+s}f(x) - P_t f(x)\right|: x \in S\} \to 0 \text{ as } s \to 0 \]

Таким чином, об'єднавши це з зауваженням вище, зверніть увагу, що якщо\( \bs{P} \) є Feller напівгрупа операторів переходу, то\( f \mapsto P_t f \) є безперервним\( \mathscr{C}_0 \) для фіксованих\( t \in T \), і\( t \mapsto P_t f \) безперервно на\( T \) для фіксованих\( f \in \mathscr{C}_0 \). Знову ж таки, важливість цього полягає в тому, що ми часто починаємо з збору ядер ймовірності\( \bs{P} \) і хочемо знати, що існує хороший процес Маркова\( \bs{X} \), який має ці оператори переходу.

Вибірка в часі

Якщо відбирати марковський процес у зростаючій послідовності точок часу, то отримаємо інший марковський процес за дискретний час. Але дискретний часовий процес може бути не однорідним, навіть якщо початковий процес однорідний.

Припустимо, що\( \bs{X} = \{X_t: t \in T\} \) це марковський процес з простором стану,\( (S, \mathscr{S}) \) і\( (t_0, t_1, t_2, \ldots) \) це послідовність в\( T \) с\( 0 = t_0 \lt t_1 \lt t_2 \lt \cdots \). Нехай\( Y_n = X_{t_n} \) для\( n \in \N \). Потім\( \bs{Y} = \{Y_n: n \in \N\}\) йде марковський процес в дискретний час.

Доказ

Для\( n \in \N \), нехай\( \mathscr{G}_n = \sigma\{Y_k: k \in \N, k \le n\} \), так що\( \{\mathscr{G}_n: n \in \N\} \) це природна фільтрація, пов'язана з\( \bs{Y} \). Зверніть увагу, що\( \mathscr{G}_n \subseteq \mathscr{F}_{t_n} \) і\( Y_n = X_{t_n} \) вимірюється по відношенню до\( \mathscr{G}_n \) для\( n \in \N \). Нехай\( k, \, n \in \N \) і нехай\( A \in \mathscr{S} \). Тоді\[ \P\left(Y_{k+n} \in A \mid \mathscr{G}_k\right) = \P\left(X_{t_{n+k}} \in A \mid \mathscr{G}_k\right) = \P\left(X_{t_{n+k}} \in A \mid X_{t_k}\right) = \P\left(Y_{n+k} \in A \mid Y_k\right) \]

Якщо відбирати однорідний марковський процес, кратні фіксованому додатному часу, то отримаємо однорідний марковський процес за дискретний час.

Припустимо, що\( \bs{X} = \{X_t: t \in T\} \) це однорідний марковський процес з простором стану\( (S, \mathscr{S}) \) і переходом ядер\( \bs{P} = \{P_t: t \in T\} \). Виправте\( r \in T \) з\( r \gt 0 \) і визначте\( Y_n = X_{n r} \) для\( n \in \N \). Потім\( \bs{Y} = \{Y_n: n \in \N\} \) відбувається однорідний марковський процес в дискретний час, з одноступінчастим перехідним ядром,\( Q \) заданим\[ Q(x, A) = P_r(x, A); \quad x \in S, \, A \in \mathscr{S} \]

У деяких випадках вибірка сильного марковського процесу при зростаючій послідовності часу зупинки дає інший марковський процес в дискретний час. Сенс цього полягає в тому, що марковські процеси дискретного часу часто зустрічаються природним чином вбудованими в марківські процеси безперервного часу.

Розширення державного простору

Наш перший результат в цій дискусії полягає в тому, що неоднорідний марківський процес можна перетворити в однорідний марківський процес, але тільки за рахунок розширення державного простору.

Припустимо, що\( \bs{X} = \{X_t: t \in T\} \) це неоднорідний марковський процес з державним простором\( (S, \mathscr{S}) \). Припустимо також, що\( \tau \) це випадкова величина, яка приймає значення в\( T \), незалежно від\( \bs{X} \). Нехай\( \tau_t = \tau + t \) і нехай\( Y_t = \left(X_{\tau_t}, \tau_t\right) \) для\( t \in T \). Потім\( \bs{Y} = \{Y_t: t \in T\} \) відбувається однорідний марковський процес з державним простором\( (S \times T, \mathscr{S} \otimes \mathscr{T}) \). Для\( t \in T \),\( P_t \) перехідне ядро задається\[ P_t[(x, r), A \times B] = \P(X_{r+t} \in A \mid X_r = x) \bs{1}(r + t \in B), \quad (x, r) \in S \times T, \, A \times B \in \mathscr{S} \otimes \mathscr{T} \]

Доказ

За визначенням та правилом підстановки,\ begin {align*}\ P [Y_ {s + t}\ в A\ раз B\ середина Y_s = (x, r)] & =\ P\ left (X_ {\ tau_ {s + t}}\ in A,\ tau_ {s + t}\ in B\ mid X_ {\ tau_s} = x,\ tau_s = r\ праворуч)\\ & =\ P\ ліворуч (X_ {\ tau + s + t}\ in A,\ tau + s + t\ in B\ mid X_ {\ tau + s} = x,\ tau + s = r\ праворуч)\\ & ; =\ P (X_ {r + t}\ in A, r + t\ in B\ mid x_r = x,\ tau + s = r)\ end {align*} Але\( \tau \) не залежить від\( \bs{X} \), тому останній член є\[ \P(X_{r + t} \in A, r + t \in B \mid X_r = x) = \P(X_{r+t} \in A \mid X_r = x) \bs{1}(r + t \in B) \] Важливим моментом є те, що останній вираз не залежить від\( s \), тому\( \bs{Y} \) є однорідним.

Хитрість збільшення державного простору є поширеним у вивченні стохастичних процесів. Іноді процес, який має слабшу форму забуття минулого, може бути перетворений в марківський процес шляхом відповідного розширення державного простору. Ось приклад в дискретному часі.

Припустимо, що\( \bs{X} = \{X_n: n \in \N\} \) це випадковий процес з простором стану,\( (S, \mathscr{S}) \) в якому майбутнє стохастично залежить від двох останніх станів. Тобто, для\( n \in \N \)\[ \P(X_{n+2} \in A \mid \mathscr{F}_{n+1}) = \P(X_{n+2} \in A \mid X_n, X_{n+1}), \quad A \in \mathscr{S} \] де\( \{\mathscr{F}_n: n \in \N\} \) знаходиться природна фільтрація, пов'язана з процесом\( \bs{X} \). Припустимо також, що процес часу однорідний в тому сенсі, що\[\P(X_{n+2} \in A \mid X_n = x, X_{n+1} = y) = Q(x, y, A) \] незалежно від\( n \in \N \). Нехай\( Y_n = (X_n, X_{n+1}) \) для\( n \in \N \). Потім\( \bs{Y} = \{Y_n: n \in \N\} \) відбувається однорідний марковський процес з державним простором\( (S \times S, \mathscr{S} \otimes \mathscr{S} \). Ядро переходу в один крок\( P \) задається\[ P[(x, y), A \times B] = I(y, A) Q(x, y, B); \quad x, \, y \in S, \; A, \, B \in \mathscr{S} \]

Доказ

Відзначимо спочатку\( n \in \N \), що для того,\( \sigma\{Y_k: k \le n\} = \sigma\{(X_k, X_{k+1}): k \le n\} = \mathscr{F}_{n+1} \) щоб природна фільтрація пов'язана з процесом\( \bs{Y} \) є\( \{\mathscr{F}_{n+1}: n \in \N\} \). Якщо\( C \in \mathscr{S} \otimes \mathscr{S}) \) потім\ почати {вирівнювати*}\ P (Y_ {n+1}\ in C\ mid\ mathscr {F} _ {n+1}) & =\ P [(X_ {n+1}, X_ {n+2})\ в C\ mid\ mathscr {F} _ {n+1}]\\ & =\ P [(X_ {n+1}, X_ {n+2})\ в C\ середині x_n, X_ {n+1}] =\ P (Y_ {n+1}\ в C\ середині Y_n)\ end {align*} за заданим припущенням на\( \bs{X} \). \( \bs{Y} \)Звідси і марковський процес. Далі,\ почати {вирівнювати*}\ P [Y_ {n+1}\ в A\ раз B\ середина Y_n = (x, y)] & =\ P [(X_ {n+1}, X_ {n+2})\ в A\ раз B\ середина (x_n, X_ {n+1}) = (x, y)]\\ & =\ P (X_ {n+1}) = (x, y)]\\ & =\ P (X_ {n+1}}\ в A, X_ {n+2}\ в B\ середині x_n = x, X_ {n+1} = y) =\ P (y\ в A, X_ {n+2}\ в B\ середині x_n = x, X_ {n + 1} = y)\\ & = I (y, A) Q (x, y, B)\ кінець {вирівня*}

Останній результат узагальнюється абсолютно простим способом до випадку, коли майбутнє випадкового процесу в дискретний час стохастично залежить від останніх\( k \) станів, для деяких фіксованих\( k \in \N \).

Приклади і застосування

Відносини рекуррентів та диференціальні

Як зазначається у вступі, марковські процеси можна розглядати як стохастичні аналоги детермінованих рекуррентних відносин (дискретний час) та диференціальних рівнянь (безперервний час). Наша мета в цій дискусії - вивчити ці зв'язки.

Припустимо, що\( \bs{X} = \{X_n: n \in \N\} \) це стохастичний процес із простором\( (S, \mathscr{S}) \) стану, який\(\bs{X}\) задовольняє рекуррентне відношення,\[ X_{n+1} = g(X_n), \quad n \in \N \] де\( g: S \to S \) є вимірним. Тоді\( \bs{X} \) є однорідним марковським процесом з однокроковим оператором переходу,\( P \) заданим\( P f = f \circ g \) для вимірюваної функції\( f: S \to \R \).

Доказ

\( \bs{X} \)Ясно однозначно визначається початковим станом, а фактично\( X_n = g^n(X_0) \) для\( n \in \N \) де\( g^n \) знаходиться\( n \) -складний склад потужності\( g \). Так що єдино можливе джерело випадковості знаходиться в початковому стані. Марков і час гомогенні властивості просто випливають з банального факту\( g^{m+n}(X_0) = g^n[g^m(X_0)] \), що, так що\( X_{m+n} = g^n(X_m) \). Тобто стан в часі повністю\( m + n \) визначається станом на час\( m \) (незалежно від попередніх станів) і приростом часу\( n \). Зокрема,\( P f(x) = \E[g(X_1) \mid X_0 = x] = f[g(x)] \) для вимірюваних\( f: S \to \R \) і\( x \in S \). Зауважте, що для\( n \in \N \), оператор переходу\( n \) -step задається за допомогою\(P^n f = f \circ g^n \).

У детермінованому світі, як і в стохастичному світі, ситуація складніша в безперервний час. Тим не менш, застосовується та ж основна аналогія.

Припустимо, що\(\bs{X} = \{X_t: t \in [0, \infty)\}\) з простором стану\( (\R, \mathscr{R}) \) задовольняє диференціальне рівняння першого порядку\[ \frac{d}{dt}X_t = g(X_t) \], де\( g: \R \to \R \) є безперервним Ліпшиц. Потім\(\bs{X}\) відбувається процес Феллера Маркова

Доказ

Нагадаємо, що Ліпшиц безперервний означає, що існує константа\( k \in (0, \infty) \) така, що\( \left|g(y) - g(x)\right| \le k \left|x - y\right| \) для\( x, \, y \in \R \). Це стандартна умова\( g \), що гарантує існування та єдиність розв'язку диференціального рівняння на\( [0, \infty) \). Так, як і раніше, єдине джерело випадковості в процесі походить від початкового значення\( X_0 \). Давайте\( t \mapsto X_t(x) \) позначимо унікальне рішення за допомогою\( X_0(x) = x \) for\( x \in \R \). Маркова і однорідні властивості випливають з того, що\( X_{t+s}(x) = X_t(X_s(x)) \) для\( s, \, t \in [0, \infty) \) і\( x \in S \). Тобто стан в часі\( t + s \) залежить тільки від стану на час\( s \) і приросту часу\( t \). Властивості Феллера випливають з безперервності\( t \mapsto X_t(x) \) та безперервності\( x \mapsto X_t(x) \). Остання являє собою безперервну залежність від початкового значення, знову ж таки гарантована припущеннями на\( g \). Зауважте, що оператор переходу задається\( P_t f(x) = f[X_t(x)] \) для вимірюваної функції\( f: S \to \R \) і\( x \in S \).

У диференційній формі процес можна описати шляхом\( d X_t = g(X_t) \, dt \). Цей суттєво детермінований процес можна поширити на дуже важливий клас марковських процесів шляхом додавання стохастичного терміна, пов'язаного з броунівським рухом. Такі стохастичні диференціальні рівняння є основним інструментом побудови марковських процесів, відомих як дифузійні процеси.

Процеси зі стаціонарними, незалежними приростами

Для нашого наступного обговорення ми розглянемо загальний клас стохастичних процесів, які є марківськими процесами. Припустимо, що\( \bs{X} = \{X_t: t \in T\} \) це випадковий процес з\( S \subseteq \R\) як множина станів. Простір стану може бути дискретним (обчислювальним) або безперервним. Як правило,\( S \) є\( \N \) або\( \Z \) в дискретному випадку, і є або\( [0, \infty) \) або\( \R \) в безперервному випадку. У будь-якому випадку\( S \) задана звичайна\( \sigma \) -алгебра\( \mathscr{S} \) підмножин Бореля\( S \) (яка є множиною степеня в дискретному випадку). Також державний простір\( (S, \mathscr{S}) \) має природну еталонну міру\( \lambda \), а саме міру підрахунку в дискретному випадку та міру Лебега в безперервному випадку. Нехай\( \mathfrak{F} = \{\mathscr{F}_t: t \in T\} \) позначимо природну фільтрацію, щоб\( \mathscr{F}_t = \sigma\{X_s: s \in T, s \le t\} \) для\( t \in T \).

Процес\( \bs{X} \) має

1. Незалежні прирости\( X_{s+t} - X_s \), якщо не залежить від\( \mathscr{F}_s \) всіх\( s, \, t \in T \).
2. Стаціонарні прирости, якщо розподіл збігається з розподілом\( X_t - X_0 \) для всіх\( s, \, t \in T \).\( X_{s+t} - X_s \)

Відмінністю форми\( X_{s+t} - X_s \) для\( s, \, t \in T \) є приріст процесу, звідси і назви. Іноді визначення стаціонарних приростів полягає в тому, що\( X_{s+t} - X_s \) мають такий же розподіл, як\( X_t \). Але це змушує\( X_0 = 0 \) з ймовірністю 1, і як зазвичай при марковських процесах, початковий розподіл краще тримати невизначеною. Якщо\( \bs{X} \) має стаціонарні прирости в сенсі нашого визначення, то процес\( \bs{Y} = \{Y_t = X_t - X_0: t \in T\} \) має стаціонарні прирости в більш обмеженому сенсі. Для решти цього обговорення, припустимо, що\( \bs X = \{X_t: t \in T\} \) має стаціонарні, незалежні прирости, і нехай\( Q_t \) позначають розподіл\( X_t - X_0 \) for\( t \in T \).

\( Q_s * Q_t = Q_{s+t} \)для\( s, \, t \in T \).

Доказ

Для\( s, \, t \in T \),\( Q_s \) є розподіл\( X_s - X_0 \), і по стаціонарному майну,\( Q_t \) є розподіл\( X_{s + t} - X_s \). За власністю самостійності\( X_s - X_0 \) і\( X_{s+t} - X_s \) є незалежними. \( Q_s * Q_t \)Звідси і розподіл\( \left[X_s - X_0\right] + \left[X_{s+t} - X_s\right] = X_{s+t} - X_0 \). Але за визначенням ця змінна має розподіл\( Q_{s+t} \)

Таким чином, колекція розподілів\( \bs{Q} = \{Q_t: t \in T\} \) утворює напівгрупу, з згорткою як оператор. Зверніть увагу, що\( Q_0 \) це просто точка маси на 0.

Процес\( \bs{X} \) являє собою однорідний марковський процес. \( t \in T \)For оператор переходу\( P_t \) задається\[ P_t f(x) = \int_S f(x + y) Q_t(dy), \quad f \in \mathscr{B} \]

Доказ

Припустимо, що\( s, \, t \in T \) і\( f \in \mathscr{B} \),\[ \E[f(X_{s+t}) \mid \mathscr{F}_s] = \E[f(X_{s+t} - X_s + X_s) \mid \mathscr{F}_s] = \E[f(X_{s+t}) \mid X_s] \]\( X_{s+t} - X_s \) так як не залежить від\( \mathscr{F}_s \). Більш того, стаціонарним майном,\[ \E[f(X_{s+t}) \mid X_s = x] = \int_S f(x + y) Q_t(dy), \quad x \in S \]

Зрозуміло, що напівгрупова властивість\( \bs{P} = \{P_t: t \in T\} \) (зі звичайним операторним добутком) еквівалентна властивості напівгрупи\( \bs{Q} = \{Q_t: t \in T\} \) (зі згорткою як добуток).

Припустимо\( t \in T \), що для позитивних розподіл\( Q_t \) має функцію\( g_t \) щільності ймовірності щодо еталонної міри\( \lambda \). Тоді щільність переходу дорівнює\[ p_t(x, y) = g_t(y - x), \quad x, \, y \in S \]

Звичайно, з наведеного вище результату випливає, що\( g_s * g_t = g_{s+t} \) для\( s, \, t \in T \), де тут\( * \) мається на увазі операція згортки на функції щільності ймовірності.

Якщо\( Q_t \to Q_0 \) як\( t \downarrow 0 \) то\( \bs{X} \) відбувається марковський процес Феллера.

Таким чином, за загальною теорією, накиданою вище,\( \bs{X} \) є сильним марковським процесом, і існує версія,\( \bs{X} \) яка є правою безперервною і має ліві межі. Такий процес відомий як процес Леві на честь Поля Леві.

Для реального стохастичного процесу\( \bs X = \{X_t: t \in T\} \), нехай\( m \) і\( v \) позначають середнє і дисперсійне функції, так що\[ m(t) = \E(X_t), \; v(t) = \var(X_t); \quad t \in T \] припускаючи, звичайно, що вони існують. Функції середнього та дисперсійного значення для процесу Леві особливо прості.

Припустимо знову, що\( \bs X \) має стаціонарні, незалежні прирости.

1. Якщо\( \mu_0 = \E(X_0) \in \R \) і\( \mu_1 = \E(X_1) \in \R \) то\( m(t) = \mu_0 + (\mu_1 - \mu_0) t \) для\( t \in T \).
2. Якщо на додачу,\( \sigma_1^2 = \var(X_1) \in (0, \infty) \) то\( \sigma_0^2 = \var(X_0) \in (0, \infty) \) і\( v(t) = \sigma_0^2 + (\sigma_1^2 - \sigma_0^2) t \) для\( t \in T \).

Доказ

Докази прості, використовуючи незалежні та стаціонарні властивості приросту. Для\( t \in T \), нехай\( m_0(t) = \E(X_t - X_0) = m(t) - \mu_0 \) і\( v_0(t) = \var(X_t - X_0) = v(t) - \sigma_0^2\). позначають середню і дисперсійну функції для центрованого процесу\( \{X_t - X_0: t \in T\} \). Тепер давайте\( s, \, t \in T \).

1. З адитивної властивості очікуваної вартості та стаціонарного майна,\[ m_0(t + s) = \E(X_{t+s} - X_0) = \E[(X_{t + s} - X_s) + (X_s - X_0)] = \E(X_{t+s} - X_s) + \E(X_s - X_0) = m_0(t) + m_0(s) \]
2. З адитивної властивості дисперсії для незалежних змінних та стаціонарної властивості,\[ v_0(t + s) = \var(X_{t+s} - X_0) = \var[(X_{t + s} - X_s) + (X_s - X_0)] = \var(X_{t+s} - X_s) + \var(X_s - X_0) = v_0(t) + v_0(s) \]

Так\( m_0 \) і\( v_0 \) задовольняють рівняння Коші. У дискретний час просто побачити, що існує\( a \in \R \) і\( b^2 \in (0, \infty) \) таке, що\( m_0(t) = a t \) і\( v_0(t) = b^2 t \). Те ж саме справедливо і в безперервному часі, враховуючи припущення про безперервність, які ми маємо на процесі\( \bs X \). Підставляючи\( t = 1 \) ми\( a = \mu_1 - \mu_0 \) і\( b^2 = \sigma_1^2 - \sigma_0^2 \), таким чином, результати слідують,

Легко описати процеси зі стаціонарними незалежними приростами в дискретному часі.

Процес\( \bs{X} = \{X_n: n \in \N\} \) має незалежні прирости тоді і лише тоді, коли існує послідовність незалежних, дійсних випадкових величин,\( (U_0, U_1, \ldots) \) таких, що\[ X_n = \sum_{i=0}^n U_i \] Крім того,\( \bs{X} \) має стаціонарні прирости тоді і лише тоді,\( (U_1, U_2, \ldots) \) коли однаково розподілені.

Доказ

Припустимо, що спочатку\( \bs{U} = (U_0, U_1, \ldots) \) це послідовність незалежних, реальних випадкових величин, і визначити\( X_n = \sum_{i=0}^n U_i \) для\( n \in \N \). Зверніть увагу, що\(\mathscr{F}_n = \sigma\{X_0, \ldots, X_n\} = \sigma\{U_0, \ldots, U_n\} \) для\( n \in \N \). Якщо\( k, \, n \in \N \) з\( k \le n \), то\( X_n - X_k = \sum_{i=k+1}^n U_i \) який незалежний\( \mathscr{F}_k \) від припущення про незалежність\( \bs{U} \). Звідси\( \bs{X} \) має самостійні прирости. Припустимо, крім того, що\( (U_1, U_2, \ldots) \) однаково розподілені. Тоді приріст\( X_n - X_k \) вище має такий же розподіл, як\( \sum_{i=1}^{n-k} U_i = X_{n-k} - X_0 \). Звідси\( \bs{X} \) має стаціонарні прирости.

І навпаки, припустимо, що\( \bs{X} = \{X_n: n \in \N\} \) має незалежні прирости. Нехай\( U_0 = X_0 \) і\( U_n = X_n - X_{n-1} \) для\( n \in \N_+ \). Тоді\( X_n = \sum_{i=0}^n U_i \) для\( n \in \N \). Як і раніше\(\mathscr{F}_n = \sigma\{X_0, \ldots, X_n\} = \sigma\{U_0, \ldots, U_n\} \) для\( n \in \N \). Оскільки\( \bs{X} \) має незалежні прирости,\( U_n \) є незалежним від\( \mathscr{F}_{n-1} \) for\( n \in \N_+ \), тому\( (U_0, U_1, \ldots) \) взаємно незалежні. Якщо крім того,\( \bs{X} \) має стаціонарні прирости,\( U_n = X_n - X_{n-1} \) має такий же розподіл, як і\( X_1 - X_0 = U_1 \) для\( n \in \N_+ \). Значить\((U_1, U_2, \ldots)\), однаково розподілені.

Таким чином, припустимо, що\( \bs{U} = (U_0, U_1, \ldots) \) це послідовність незалежних, дійсних випадкових величин, з\( (U_1, U_2, \ldots) \) однаково розподіленими із загальним розподілом\( Q \). Тоді з нашого основного результату вище, процес часткової суми,\( \bs{X} = \{X_n: n \in \N\} \)\( \bs{U} \) пов'язаний з однорідним марковським процесом з одним кроковим перехідним ядром,\( P \) заданим\[ P(x, A) = Q(A - x), \quad x \in S, \, A \in \mathscr{S} \] Більш загальним чином, for\( n \in \N \),\( n \) -step перехідне ядро\( P^n(x, A) = Q^{*n}(A - x) \) для\( x \in S \) і \( A \in \mathscr{S} \). Цей процес Маркова відомий як випадкова прогулянка (хоча, на жаль, термін випадкова ходьба використовується і в ряді інших контекстів). Ідея полягає в тому\( n \), що під час ходок переміщається на (спрямоване) відстань\( U_n \) по реальній лінії, і ці кроки є незалежними і однаково розподіленими. Якщо\( Q \) має функцію щільності ймовірності\( g \) щодо еталонної міри\( \lambda \), то одноступінчаста щільність переходу дорівнює\[ p(x, y) = g(y - x), \quad x, \, y \in S \]

Розглянемо випадкову прогулянку\( \R \) з кроками, які мають стандартний нормальний розподіл. Надайте кожне з наведених нижче дій явно:

1. Одноступінчаста щільність переходу.
2. \( n \)-ступінчаста щільність переходу для\( n \in \N_+ \).

Доказ

1. Для\( x \in \R \),\( p(x, \cdot) \) є нормальним PDF із середнім значенням\( x \) та дисперсією 1:\[ p(x, y) = \frac{1}{\sqrt{2 \pi}} \exp\left[-\frac{1}{2} (y - x)^2 \right]; \quad x, \, y \in \R\]
2. Для\( x \in \R \),\( p^n(x, \cdot) \) це звичайний PDF із середнім\( x \) та дисперсійним значенням\( n \):\[ p^n(x, y) = \frac{1}{\sqrt{2 \pi n}} \exp\left[-\frac{1}{2 n} (y - x)^2\right], \quad x, \, y \in \R \]

У безперервному часі є два процеси, які є особливо важливими: один з дискретним простором стану\( \N \) і один з неперервним простором стану\( \R \).

Для\( t \in [0, \infty) \), давайте\( g_t \) позначимо функцію щільності ймовірності розподілу Пуассона з параметром\( t \), і нехай\( p_t(x, y) = g_t(y - x) \) for\( x, \, y \in \N \). Потім\( \{p_t: t \in [0, \infty)\} \) проводиться колекція щільностей переходу для напівгрупи Феллера на\( \N \)

Доказ

Нагадаємо, що\[ g_t(n) = e^{-t} \frac{t^n}{n!}, \quad n \in \N \] нам просто потрібно показати, що\( \{g_t: t \in [0, \infty)\} \) задовольняє властивість напівгрупи, і що результат безперервності тримає. Але ми вже знаємо, що якщо\( U, \, V \) є незалежними змінними, що мають розподіли Пуассона з параметрами\( s, \, t \in [0, \infty) \), відповідно, то\( U + V \) має розподіл Пуассона з параметром\( s + t \). Тобто,\( g_s * g_t = g_{s+t} \). Більш того,\( g_t \to g_0 \) як\( t \downarrow 0 \).

Таким чином, процес Леві\( \bs{N} = \{N_t: t \in [0, \infty)\} \) з цими щільностями переходу був би марковським процесом зі стаціонарними, незалежними приростами, а шляхи вибірки є правими безперервними і мають ліві межі. Ми знаємо про такий процес, а саме процес Пуассона зі швидкістю 1.

Відкрийте експеримент Пуассона і встановіть параметр швидкості на 1, а параметр часу - 10. Проведіть експеримент кілька разів в однокроковому режимі і відзначте поведінку процесу.

Для\( t \in (0, \infty) \), давайте\( g_t \) позначимо функцію щільності ймовірності нормального розподілу із середнім 0 і дисперсією\( t \), і нехай\( p_t(x, y) = g_t(y - x) \) для\( x, \, y \in \R \). Потім\(\{p_t: t \in [0, \infty)\} \) відбувається збір густини переходу напівгрупи Феллера на\( \R \).

Доказ

Нагадаємо, що для\( t \in (0, \infty) \),\[ g_t(z) = \frac{1}{\sqrt{2 \pi t}} \exp\left(-\frac{z^2}{2 t}\right), \quad z \in \R \] нам просто потрібно показати, що\( \{g_t: t \in [0, \infty)\} \) задовольняє властивість напівгрупи, і що результат безперервності тримає. Але ми вже знаємо, що якщо\( U, \, V \) незалежні змінні мають нормальні розподіли зі середнім 0 і дисперсіями відповідно\( s, \, t \in (0, \infty) \), то\( U + V \) має нормальний розподіл із середнім 0 і дисперсією\( s + t \). Тобто,\( g_s * g_t = g_{s+t} \). Більше того, ми також знаємо, що нормальний розподіл з дисперсією\( t \) сходиться до точкової маси при 0 як\( t \downarrow 0 \).

Отже, процес\( \bs{X} = \{X_t: t \in [0, \infty)\} \) Леві\( \R \) з цими щільностями переходу був би марковським процесом зі стаціонарними незалежними приростами, і шляхи вибірки якого безперервні праворуч і мають ліві межі. Насправді існує такий процес з безперервними шляхами вибірки. Цей процес є броунівським рухом, процесом, досить важливим, щоб мати власну главу.

Запустіть моделювання стандартного броунівського руху і відзначте поведінку процесу.