16.19: Зворот часу в безперервних ланцюгах часу

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)\( \newcommand{\cl}{\text{cl}} \)

Раніше ми вивчали часовий розворот марковських ланцюгів дискретного часу. У безперервний час питання в основному однакові. По-перше, властивість Маркова, викладене в тому вигляді, що минуле і майбутнє незалежні з огляду на сьогодення, по суті ставиться до минулого і майбутнього симетрично. Однак є недолік симетрії в тому, що в звичайній формулюванні ми маємо початковий час 0, але не кінцевий час. Якщо ми введемо термінальний час, то ми можемо запустити процес назад у часі. У цьому розділі нас цікавлять наступні питання:

• Новий процес все ж Марков?
• Якщо так, то як різні параметри зворотного ланцюга Маркова пов'язані з параметрами оригінального ланцюга?
• За яких умов вперед і назад ланцюги Маркова стохастично однакові?

Розгляд цих питань призводить до зворотних ланцюгів, важливої та цікавої частини теорії безперервного часу марковських ланцюгів. Як завжди, нас цікавить також взаємозв'язок між властивостями ланцюга безперервного часу та відповідними властивостями його ланцюга стрибка дискретного часу. У цьому розділі ми побачимо, що існують прості та елегантні зв'язки між часовим розворотом ланцюга безперервного часу та часовим розворотом ланцюга стрибка.

Основна теорія

Зворотні ланцюги

Нашою відправною точкою є (однорідна) безперервно-часова ланцюг Маркова\( \bs X = \{X_t: t \in [0, \infty)\} \) з (рахунковим) простором стану\( S \). Будемо вважати, що\( \bs X \) це незвідне, так що кожна держава в\( S \) веде в будь-який інший стан, і щоб уникнути дрібниць, будемо вважати, що є як мінімум дві держави. Припущення про нескорочуваність не передбачає серйозної втрати загальності, оскільки в іншому випадку ми могли б просто обмежити нашу увагу нескорочуваним класом еквівалентності станів. За допомогою наших звичних позначень ми дозволимо\( \bs{P} = \{P_t: t \in [0, \infty)\} \) позначити напівгрупу перехідних матриць\( \bs X \) і\( G \) нескінченно малий генератор. \( \lambda(x) \)Позначимо експоненціальний параметр часу утримання в стані\( x \in S \) і матрицю\( Q \) переходу для ланцюга стрибка дискретного часу\( \bs{Y} = (Y_0, Y_1, \ldots) \). Нарешті,\( \bs U = \{U_\alpha: \alpha \in [0, \infty)\} \) позначимо колекцію потенційних матриць\( \bs X \). Будемо вважати,\( \bs X \) що ланцюг регулярна, що дає нам такі властивості:

• \( P_t(x, x) \to 1 \)що\( t \downarrow 0 \) стосується\( x \in S \).
• Миттєвих станів немає, так\( \lambda(x) \lt \infty \) для\( x \in S \).
• Перехідні часи\( (\tau_1, \tau_2, \ldots) \) задовольняють\( \tau_n \to \infty \) як\( n \to \infty \).
• Можна припустити, що ланцюг\( \bs X \) правий безперервний і має ліві межі.

Припущення регулярності виключає різні типи дивної поведінки, які, хоча і математично можливі, зазвичай не підходять в додатках. Якщо\( \bs X \) однорідне, більш сильне припущення, ніж регулярність, ми маємо наступні додаткові властивості:

• \( P_t(x, x) \to 1 \)як\( t \downarrow 0 \) рівномірно в\( x \in S \).
• \( \lambda \)обмежений.
• \( P_t = e^{t G} \)для\( t \in [0, \infty) \).
• \( U_\alpha = (\alpha I - G)^{-1} \)для\( \alpha \in (0, \infty) \).

Тепер давайте\( h \in (0, \infty) \). Ми будемо думати про термінальний час або часовий горизонт, тому ланцюги в нашому першому обговоренні будуть визначені на часовому інтервалі\( [0, h] \).\( h \) Умовно, ми не будемо турбуватися вказувати на залежність від\( h \), оскільки в кінцевому підсумку часовий горизонт не матиме значення. Визначте\( \hat X_t = X_{h-t} \) для\( t \in [0, h] \). Таким чином, процес вперед у часі - це\( \bs X = \{X_t: t \in [0, h]\} \) той час як процес назад у часі\[ \hat{\bs X} = \{\hat X_t: t \in [0, h]\} = \{X_{h-t}: t \in [0, h]\} \] Аналогічно нехай\[\hat{\mathscr F}_t = \sigma\{\hat X_s: s \in [0, t]\} = \sigma\{X_{h-s}: s \in [0, t]\} = \sigma\{X_r: r \in [h - t, h]\}, \quad t \in [0, h]\] Так\( \hat{\mathscr{F}}_t \) само\( \sigma \) -алгебра подій процесу\( \hat{\bs X} \) до часу\( t \), що, звичайно, також\( \sigma \) -алгебра подій\( \bs X \) з часу\( h - t \) вперед. Наш перший результат полягає в тому, що ланцюг, що змінився в часі, все ж Марков.

Процес\( \hat{\bs X } = \{\hat X_t: t \in [0, h]\} \) являє собою марковський ланцюжок, але в цілому не є однорідним часом. Для\( s, \, t \in [0, h] \)\( s \lt t \) with матриця переходу від\( s \) до\( t \) дорівнює\[ \hat{P}_{s, t}(x, y) = \frac{\P(X_{h - t} = y)}{\P(X_{h - s} = x)} P_{t - s}(y, x), \quad (x, y) \in S^2 \]

Доказ

Нехай\( A \in \hat{\mathscr{F}}_s \) і\( x, \, y \in S \). Потім\ почати {вирівнювати*}\ P (\ капелюх x_t = у\ середині\ капелюх x_S = х, А) & =\ розриву {\ P (\ капелюх x_t = у,\ капелюх x_S = х, А)} {\ P (\ капелюх x_s = х, А)} =\ frac {\ P (X_ {h - t} = y, X_ {h - s} = х, А)} {\ P (X_ {h - s} = х, А)}\\ & =\ фракція {\ P (А\ середина X_ {h - t} = у, X_ {h - s} = х)\ P (X_ {h - s} = х\ середина X_ {h - t} = y)\ P (X_ {h - t} = y)} {\ P (А\ mid X_ {h - s} = x)\ P (X_ {h - s} = x)}\ end {align*} Але\( A \in \sigma\{X_r: r \in [h - s, h]\} \) і\( h - t \lt h - s \), таким чином, властивістю Маркова для\( \bs X \),\[ \P(A \mid X_{h - t} = y, X_{h - s} = x) = \P(A \mid X_{h - s} = x) \] За часом однорідності\( \bs X \),\(\P(X_{h - s} = x \mid X_{h - t} = y) = P_{t - s}(y, x)\). Підміна та спрощення дає\[ \P(\hat X_t = y \mid \hat X_s = x, A) = \frac{\P(X_{h - t} = y)}{\P(X_{h - s} = x)} P_{t - s}(y, x) \]

Однак зворотний ланцюг буде однорідною за часом, якщо\( X_0 \) має інваріантний розподіл.

Припустимо,\( \bs X \) що позитивна рекуррентна, з (унікальною) інваріантною функцією щільності ймовірності\( f \). Якщо\( X_0 \) має інваріантний розподіл, то\( \hat{\bs X} \) є однорідною в часі ланцюг Маркова. Матриця переходу за часом\( t \in [0, \infty) \) (для кожного термінального часу\( h \ge t \)), задається\[ \hat P_t(x, y) = \frac{f(y)}{f(x)} P_t(y, x), \quad (x, y) \in S^2 \]

Доказ

Це випливає з результату вище. Нагадаємо, що якщо\( X_0 \) є PDF\( f \), то\( X_{h - t} \) і\( X_{h - s} \) теж є PDF\( f \).

Попередній результат тримається в межі термінального часу, незалежно від початкового розподілу.

Припустимо ще раз,\( \bs X \) що позитивний рекуррент, з (унікальною) інваріантною функцією щільності ймовірності\( f \). Незалежно від розподілу\( X_0 \),\[\P(\hat X_{s+t} = y \mid \hat X_s = x) \to \frac{f(y)}{f(x)} P_t(y, x) \text{ as } h \to \infty\]

Доказ

Це випливає з умовної ймовірності вище і нашого дослідження граничної поведінки безперервно-часових ланцюгів Маркова. Так як\( \bs X \) є незведеним і позитивним рецидивом,\( \P(X_{h - s} = x) \to f(x) \) і\( \P(X_{h - t} = y) \to f(y) \) як\( h \to \infty \) для кожного\( x, \, y \in S \).

Ці три результати є мотивацією до наступного визначення. Ми можемо узагальнити, визначивши розворот незведеного ланцюга Маркова, доки існує позитивна, інваріантна функція. Нагадаємо, що позитивна інваріантна функція визначає позитивну міру на\( S \), але звичайно не взагалі міру ймовірності.

Припустимо, що\( g: S \to (0, \infty) \) є інваріантним для\( \bs X \). Розворот відносно марковського ланцюга\( \bs X \) з\( \hat{\bs X} = \{\hat X_t: t \in [0, \infty)\} \) перехідною півгрупою, що\( \hat{\bs{P}} \) визначається\( g \)\[\hat P_t (x, y) = \frac{g(y)}{g(x)} P_t(y, x), \quad (x, y) \in S^2, \; t \in [0, \infty)\]

обгрунтування

Потрібно показати, що визначення має сенс, а саме те, що\( \hat{\bs P} \) визначає перехідну півгрупу для ланцюга Маркова, що\( \hat{\bs X} \) задовольняє ті самі припущення, які ми нав'язували\( \bs X \). Спочатку нехай\( t \in [0, \infty) \). Оскільки\( g \) є інваріантним для\( \bs X \),\[\sum_{y \in S} \hat P_t(x, y) = \frac{1}{g(x)} \sum_{y \in S} g(y) P_t(y, x) = \frac{g(x)}{g(x)} = 1, \quad x \in S\] Отже,\( \hat P_t \) дійсна матриця переходу. Далі ми покажемо, що рівняння Чапмана-Колмогорова (властивість напівгрупи) тримає. Нехай\( s, \, t \in [0, \infty) \) і\( x, \, z \in S \). Потім\ почати {вирівнювати*}\ капелюх P_s\ капелюх p_t (x, z) & =\ sum_ {y\ in S}\ капелюх P_s (x, y)\ капелюх p_t (y, z) =\ sum_ {y\ in S}\ frac {g (y)} {g (x)} p_s (y, x)\ frac {g (y) (g (x)}} {g (y)} p_t (z, y)\\ & =\ frac {g (z)} {g (x)}\ sum_ {y\ in S} p_t (z, y) P_s (у, х) =\ frac {g (z (z)} {г (х)} P_ {s+t} (z, x) =\ капелюх {s+t}} (x, z)\ end {align*} Далі Зверніть увагу, що\( \hat P_t(x, x) = P_t(x, x) \) для кожного\( x \in S \). Звідси, що\( \hat P_t(x, x) \to 1 \)\( t \downarrow 0 \) стосується\( x \), так само\( \hat{\bs P} \) є стандартною перехідною напівгрупою. Зверніть увагу також,\( \bs P \) що якщо рівномірний, то так і є\( \hat{\bs P} \). Нарешті, оскільки\( \bs X \) є незвідним,\( P_t(x, y) \gt 0 \) для кожного\( (x, y) \in S^2 \) і\( t \in (0, \infty) \). Так як\( g \) позитивний, то випливає, що\( \hat P_t(y, x) \gt 0 \) для кожного\( (x, y) \in S^2 \) і\( t \in (0, \infty) \), отже,\( \hat{\bs X} \) теж нескоротний.

Нагадаємо, що якщо\( g \) є позитивною інваріантною функцією для\( \bs X \) то так є\( c g \) для кожної константи\( c \in (0, \infty) \). Зверніть увагу, що\( g \) і\( c g \) генеруйте таку ж зворотну ланцюжок. Отже, розглянемо випадки:

Припустимо ще раз, що\( \bs X \) це ланцюг Маркова, що задовольняє наведені вище припущення.

1. Якщо\( \bs X \) рецидивна, то\( \bs X \) завжди має позитивну інваріантну функцію\( g \), унікальну аж до множення на позитивні константи. Отже, розворот повторюваного ланцюга\( \bs X \) завжди існує і є унікальним, і тому ми можемо посилатися на розворот\( \bs X \) без посилання на інваріантну функцію.
2. Ще краще, якщо\( \bs X \) позитивний рекуррент, то існує унікальна інваріантна функція щільності ймовірності, а розворот\( \bs X \) може бути інтерпретований як часовий розворот (щодо часового горизонту), коли\( \bs X \) має інваріантний розподіл, як у мотивуючому результат вище.
3. Якщо\( \bs X \) є перехідним, то може існувати або не існувати додатна інваріантна функція, а якщо така існує, вона може бути не унікальною (аж до множення на позитивні константи). Таким чином, перехідний ланцюг може не мати розворотів або більше одного.

Тим не менш, загальне визначення є природним, тому що більшість важливих властивостей зворотного ланцюга випливають з основного рівняння балансу, що стосується перехідних напівгруп\( \bs{P} \) і\( \hat{\bs{P}} \), і інваріантної функції\( g \):\[ g(x) \hat P_t(x, y) = g(y) P_t(y, x), \quad (x, y) \in S^2, \; t \in [0, \infty) \] Ми побачимо рівняння балансу повторюється для інших об'єктів, пов'язаних з ланцюгами Маркова.

Припустимо ще раз\( \bs X \), що\( \hat{\bs X} \) є інваріантним для, і це час зміни щодо\( g \).\( g: S \to (0, \infty) \)\( \bs X \) Тоді

1. \( g \)також є інваріантним для\( \hat{\bs X} \).
2. \( \bs X \)є час розвороту по\( \hat{\bs X} \) відношенню до\( g \).

Доказ

1. Для\( y \in S \),\[ g \hat P_t(y) = \sum_{x \in S} g(x) \hat P_t(x, y) = \sum_{x \in S} g(y) P_t(y, x) = g(y) \sum_{x \in S} P_t(y, x) = g(y) \]
2. Це випливає з симетрії фундаментального рівняння:\( g(x) \hat P_t(x, y) = g(y) P_t (y, x) \) для\( (x, y) \in S^2 \) і\( t \in [0, \infty) \).

У рівнянні балансу для перехідних напівгруп не потрібно апріорі знати, що функція\( g \) є інваріантною, якщо ми знаємо дві перехідні напівгрупи.

Припустимо, що\( g: S \to (0, \infty) \). Потім\( g \) є інваріантними і ланцюгами Маркова\( \bs X \) і\( \hat{\bs X} \) є час розворотів по відношенню до\( g \) якщо і тільки якщо\[ g(x) \hat P_t(x, y) = g(y) P_t(y, x), \quad (x, y) \in S^2, \; t \in [0, \infty) \]

Доказ

Все, що залишається показати, це те, що рівняння балансу означає, що\( g \) є інваріантним. Обчислення відбувається точно так само, як і в останньому результаті:\[ g P_t(x) = \sum_{y \in S} g(y) P_t(y, x) = \sum_{y \in S} g(x) \hat P_t (x, y) = g(x) \sum_{y \in S} \hat P_t(x, y) = g(x), \quad x \in S \]

Ось дещо складніший (але еквівалентний) варіант рівняння балансу для ймовірностей переходу.

Припустимо ще раз, що\( g: S \to (0, \infty) \). Потім\( g \) є інваріантними і ланцюгами\( \bs X \) і\( \hat{\bs X} \) є час розвороти по відношенню до\( g \) якщо і тільки якщо\[ g(x_1) \hat P_{t_1}(x_1, x_2) \hat P_{t_2}(x_2, x_3) \cdots \hat P_{t_n}(x_n, x_{n+1}) = g(x_{n+1}) P_{t_n}(x_{n+1}, x_n) P_{t_{n-1}}(x_n, x_{n-1}) \cdots P_{t_1}(x_2, x_1) \] для всіх\( n \in \N_+ \)\( (t_1, t_2, \ldots, t_n) \in [0, \infty)^n \), і\( (x_1, x_2, \ldots, x_{n+1}) \in S^{n+1} \).

Доказ

Все, що потрібно - це показати, що базове рівняння балансу має на увазі рівняння балансу в теоремі. Коли\( n = 1 \), ми маємо базове рівняння балансу саме:\[g(x_1) \hat P_{t_1}(x_1, x_2) = g(x_2) P_{t_1}(x_2, x_1)\] Для\( n = 2 \),\[g(x_1) \hat P_{t_1}(x_1, x_2) \hat P_{t_2}(x_2, x_3) = g(x_2)P_{t_1}(x_2, x_1) \hat P_{t_2}(x_2, x_3) = g(x_3)P_{t_2}(x_3, x_2) P_{t_1}(x_2, x_1)\] Продовжуючи таким чином (або використовуючи індукцію) дає загальний результат.

Рівняння балансу призначено для потенційних матриць.

Припустимо ще раз, що\( g: S \to (0, \infty) \). Потім\( g \) є інваріантним і ланцюжками\( \bs X \) і\( \hat{\bs X} \) є часовими розворотами щодо\( g \) якщо і тільки тоді, коли потенційні матриці задовольняють\[ g(x) \hat U_\alpha(x, y) = g(y) U_\alpha(y, x), \quad (x, y) \in S^2, \; \alpha \in [0, \infty) \]

Доказ

Нам просто потрібно показати, що рівняння балансу для перехідних напівгруп еквівалентно рівнянню балансу вище для потенційних матриць. Припустимо, спочатку\( g(x) \hat P_t(x, y) = g(y) P_t(y, x) \) для\( t \in [0, \infty) \) і\( (x, y) \in S^2 \). Потім\ почати {align*} g (x)\ капелюх U_\ альфа (x, y) & = g (x)\ int_0^\ int_0^\ infty e^ {-\ альфа т}\ капелюх p_t (x, y) dt =\ int_0^\ infty e^ {-\ альфа т} г (х)\ капелюх p_t (x, y) DT\\\ & =\ int_0^\ infty e^ {-\ альфа т} г (у) p_t (у, х) DT = г (y)\ int_0^\ infty e^ {-\ альфа т} p_t (y, x) dt = г (у) U_\ альфа (y, x)\ end {align*} Навпаки, припустимо, що\( g(x) \hat U_\alpha(x, y) = g(y) U_\alpha(y, x) \) для\( (x, y) \in S^2 \) і\( \alpha \in [0, \infty) \). Як вище,\[ g(x) \hat U_\alpha(x, y) = \int_0^\infty e^{-\alpha t} g(x) \hat P_t(x, y) dt \] Так для фіксованого\( (x, y) \in S^2 \), функція\( \alpha \mapsto g(x) \hat U_\alpha(x, y) \) є перетворення Лапласа функції часу\( t \mapsto g(x) \hat P_t(x, y) \). Точно\( \alpha \mapsto g(y) U_\alpha(x, y) \) так само відбувається перетворення Лапласа з\( t \mapsto g(y) P_t(x, y) \). Перетворення Лапласа неперервної функції однозначно визначає функцію, тому випливає, що\( g(x) \hat P_t(x, y) = g(y) P_t(y, x) \) для\( t \in [0, \infty) \) і\( (x, y) \in S^2 \).

Як наслідок, ланцюги безперервного часу, які є часовими розворотами, мають один і той же тип.

Якщо\( \bs X \) і\( \hat{\bs X} \) є часовими реверсами, то\( \bs X \) і\( \hat{\bs X} \) бувають одного типу: перехідні, нульові рекурентні або позитивні рецидивні.

Доказ

Припустимо, що\( \bs X \) і\( \hat{\bs X} \) є часовими розворотами щодо інваріантної функції\( g: S \to (0, \infty) \). Потім з попереднього результату,\( \hat U(x, x) = U(x, x) \) для\( x \in S \). Ланцюги є перехідними, якщо загальний потенціал є кінцевим для кожного\( x \in S \) і рецидивуючим, якщо потенціал нескінченний для кожного\( x \in S \). Припустимо, що ланцюга рецидивні. Тоді\( g \) є унікальним до множення на позитивні константи, а ланцюги є як позитивними рекуррентними if, так\( \sum_{x \in S} g(x) \lt \infty \) і обидва null повторювані if\( \sum_{x \in S} g(x) = \infty \).

Рівняння балансу поширюється на нескінченно малі матриці генератора.

Припустимо ще раз, що\( g: S \to (0, \infty) \). Потім\( g \) є інваріантними і ланцюгами Маркова,\( \bs X \) і\( \hat{\bs X} \) є часовими реверсами тоді і тільки тоді, коли нескінченно малі генератори задовольняють.\[ g(x) \hat G(x, y) = g(y) G(y, x), \quad (x, y) \in S^2 \]

Доказ

Потрібно показати, що рівняння балансу для перехідних напівгруп еквівалентно рівнянню балансу для генераторів. Припустимо спочатку, що\(g(x) \hat P_t(x, y) = g(y) P_t(y, x)\) для\(t \in [0, \infty)\) і\((x, y) \in S^2\). Взяття похідних відносно\( t \) і використання зворотного рівняння Колмогорова дає\( g(x) \hat G \hat P_t(x, y) = g(y) G P_t(y, x) \) для\( t \in [0, \infty) \) і\( (x, y) \in S^2\). Оцінюючи при\( t = 0 \) дає\( g(x) \hat G(x, y) = g(y) G(y, x)\). І навпаки, припустимо, що\(g(x) \hat G(x, y) = g(y) G(y, x)\) для\( (x, y) \in S^2 \). Потім повторне нанесення (або індукція) показує, що\( g(x) \hat G^n(x, y) = g(y) G^n(y, x) \) для кожного\( n \in \N \) і\((x, y) \in S^2\). Якщо матриці переходу однорідні, ми можемо висловити їх у вигляді експоненціальних показників генераторів. Звідси для\( t \in [0, \infty) \) і\( (x, y) \in S^2 \),\ почати {align*} g (x)\ капелюх p_t (x, y) & = г (x) e^ {t\ капелюх G (x, y)} = г (x)\ sum_ {n = 0} ^\ infty\ frac {t^n} {n!} \ капелюх G^n (x, y) =\ sum_ {n=0} ^\ infty\ frac {t^n} {n!} g (x)\ капелюх G^n (x, y)\\ & =\ sum_ {n=0} ^\ infty\ frac {t^n} {n!} g (y) G^n (у, х) = г (у)\ сума_ {n=0} ^\ infty\ frac {t^n} {n!} G^n (у, х) = г (у) e^ {т Г (у, х)} = г (у) р_т (у, х)\ кінець {вирівнювати*}

Це призводить до подальших результатів і зв'язків:

Припустимо ще раз, що\( g: S \to (0, \infty) \). Тоді\( g \) є інваріантним\( \bs X \) і і\( \hat{\bs X} \) є час розвороти по відношенню до\( g \) якщо і тільки якщо

1. \( \hat{\bs X} \)і\( \bs X \) мають однакову функцію експоненціального параметра\( \lambda \).
2. Стрибок ланцюга\( \bs Y \) і\( \hat{\bs Y} \) є (дискретні) час розворотів по відношенню до\( \lambda g \).

Доказ

Функції експоненціальних параметрів пов'язані з матрицями генератора за\( \lambda(x) = - G(x, x) \) і\( \hat \lambda(x) = -\hat G(x, x) \) за\( x \in S \). Матриці переходу для ланцюгів стрибків пов'язані з матрицями генераторів по\( Q(x, y) = G(x, y) / \lambda(x) \) і\( \hat Q(x, y) = \hat G(x, y) / \hat \lambda(x) \) для\( (x, y) \in S^2 \) с\( x \ne y \). Звідси умови (а) і (b) еквівалентні\[ g(x) \hat G(x, y) = g(y) G(y, x), \quad (x, y) \in S^2 \] Відкликати також із загальної теорії, що якщо\( g \) є інваріантним для\( \bs X \) тоді\( \lambda g \) є інваріантним для ланцюга стрибка\( \bs Y \).

У нашому первісному обговоренні зміни часу в позитивному повторюваному випадку ми могли б стверджувати, що попередні результати повинні бути правдивими. Якщо ми запускаємо позитивний повторюваний ланцюг\( \bs X = \{X_t: t \in [0, h]\} \) назад у часі, щоб отримати час зворотного ланцюга\( \hat{\bs X} = \{\hat X_t: t \in [0, h]\} \), то експоненціальні параметри для\( \hat{\bs X} \) повинні бути такими ж, як і для\( \bs X \), а ланцюг стрибка\( \hat{\bs Y} \) для\( \hat{\bs X} \) повинен бути час розвороту ланцюга стрибків\( \bs Y \) для \( \bs X \).

Реверсивні ланцюги

Ясно цікавий особливий випадок, коли часовий розворот марковського ланцюга безперервного часу стохастично збігається з початковим ланцюгом. Ще раз припускаємо, що у нас є регулярний ланцюжок Маркова\( \bs X = \{X_t: t \in [0, \infty)\} \), який є незведеним на державному просторі\( S \), з перехідною напівгрупою\( \bs P = \{P_t: t \in [0, \infty)\} \). Як і раніше,\( \bs U = \{U_\alpha: \alpha \in [0, \infty)\} \) позначає колекцію потенційних матриць, і\( G \) нескінченно малий генератор. Нарешті,\( \lambda \) позначає функцію експоненціального параметра,\( \bs Y = \{Y_n: n \in \N\} \) ланцюг стрибків та\( Q \) матрицю переходу\( \bs Y \). Ось визначення оборотності:

Припустимо, що\( g: S \to (0, \infty) \) є інваріантним для\( \bs X \). Потім\( \bs X \) є оборотним щодо того,\( g \) якщо час зворотного ланцюга\( \hat{\bs X} = \{\hat X_t: t \in [0, \infty)\} \) також має перехідну напівгрупу\( \bs P \). Тобто,\[ g(x) P_t(x, y) = g(y) P_t(y, x), \quad (x, y) \in S^2, \; t \in [0, \infty) \]

\( \bs X \)Зрозуміло, що якщо є оборотним щодо\( g \) то\( \bs X \) є оборотним\( c g \) щодо кожного\( c \in (0, \infty) \). Отже, ось ще один огляд справ:

Припустимо, що\( \bs X \) це ланцюг Маркова, що задовольняє наведені вище припущення.

1. Якщо\( \bs X \) рецидивна, то існує інваріантна функція\( g: S \to (0, \infty) \), яка є унікальною аж до множення на позитивні константи. Так\( \bs X \) що або оборотний, або ні, і ми не повинні посилатися на інваріантну функцію.
2. Ще краще, якщо\( \bs X \) позитивний рецидив, то існує унікальна інваріантна функція щільності ймовірності\( f \). Знову ж таки,\( \bs X \) або оборотна, або ні, але якщо вона є, то при інваріантному розподілі ланцюг\( \bs X \) стохастично однакова, вперед в часі або назад в часі.
3. Якщо\( \bs X \) є перехідним, то позитивна інваріантна функція може існувати, а може і не існувати. Якщо така функція дійсно існує, вона може бути не унікальною, аж до множення на позитивні константи. Таким чином, у перехідному випадку,\( \bs X \) може бути оборотним щодо однієї інваріантної функції, але не стосовно інших.

Наступні результати є наслідками наведених вище результатів для розворотів часу. По-перше, нам не потрібно апріорі знати, що функція\( g \) є інваріантною.

Припустимо, що\( g: S \to (0, \infty) \). Тоді\( g \) є інваріантним і\( \bs X \) є оборотним щодо\( g \) якщо і тільки якщо\[ g(x) P_t(x, y) = g(y) P_t(y, x), \quad (x, y) \in S^2, \; t \in [0, \infty) \]

Припустимо ще раз, що\( g: S \to (0, \infty) \). Тоді\( g \) є інваріантним і\( \bs X \) є оборотним щодо\( g \) якщо і тільки якщо\[ g(x_1) P_{t_1}(x_1, x_2) P_{t_2}(x_2, x_3) \cdots P_{t_n}(x_n, x_{n+1}) = g(x_{n+1}) P_{t_n}(x_{n+1}, x_n) P_{t_{n-1}}(x_n, x_{n-1}) \cdots P_{t_1}(x_2, x_1) \] для всіх\( n \in \N_+ \)\( (t_1, t_2, \ldots, t_n) \in [0, \infty)^n \), і\( (x_1, x_2, \ldots, x_{n+1}) \in S^{n+1} \).

Припустимо ще раз, що\( g: S \to (0, \infty) \). Тоді\( g \) є інваріантним і\( \bs X \) є оборотним щодо\( g \) якщо і тільки якщо\[ g(x) U_\alpha(x, y) = g(y) U_\alpha(y, x), \quad (x, y) \in S^2, \; \alpha \in [0, \infty) \]

Припустимо ще раз, що\( g: S \to (0, \infty) \). Тоді\( g \) є інваріантним і\( \bs X \) є оборотним щодо\( g \) якщо і тільки якщо\[ g(x) G(x, y) = g(y) G(y, x), \quad (x, y) \in S^2 \]

Припустимо ще раз, що\( g: S \to (0, \infty) \). Потім\( g \) є інваріантним і\( \bs X \) є оборотним тоді і тільки в тому випадку, якщо стрибок ланцюг\( \bs Y \) оборотний щодо\( \lambda g \).

Нагадаємо, що\( \bs X \) повторюється тоді і тільки в тому випадку, якщо ланцюг стрибка\( \bs Y \) повторюється. При цьому інваріантні функції для\( \bs X \) і\( \bs Y \) існують і є унікальними аж до позитивних констант. Таким чином, в цьому випадку попередня теорема стверджує, що\( \bs X \) є оборотним тоді і тільки тоді, коли\( \bs Y \) є оборотним. У додатному рекуррентному випадку (найважливіший випадок) наступна теорема дає умову оборотності, яка безпосередньо не посилається на інваріантний розподіл. Стан відомий як умова циклу Колмогорова, і названий на честь Андрія Колмогорова

Припустимо, що\( \bs X \) це позитивний рецидив. Потім\( \bs X \) є оборотним тоді і тільки тоді, коли для кожної послідовності різних станів\( (x_1, x_2, \ldots, x_n) \),\[ G(x_1, x_2) G(x_2, x_3) \cdots G(x_{n-1}, x_n) G(x_n, x_1) = G(x_1, x_n) G(x_n, x_{n-1}) \cdots G(x_3, x_2) G(x_2, x_1) \]

Доказ

Припустимо, що\( \bs X \) є оборотним, і нехай\( f \) позначимо інваріантний PDF з\( \bs X \). Тоді\( G(x, y) = \frac{f(y)}{f(x)} G(x, y) \) для\( (x, y) \in S^2 \). Заміна дає умову циклу Колмогорова. І навпаки, припустимо, що умова циклу Колмогорова тримає за\( \bs X \). Нагадаємо, що\( G(x, y) = \lambda(x) Q(x, y) \) для\( (x, y) \in S^2 \). Підставляючи умову циклу для\( \bs X \) дає умову циклу для\( \bs Y \). Отже\( \bs Y \), є оборотним і тому так є\( \bs X \).

Відзначимо, що умова циклу Колмогорова говорить про те, що швидкість переходу відвідуваних\( (x_2, x_3, \ldots, x_n, x_1) \) держав\( x_1 \) послідовно, починаючи в стані, така ж, як і швидкість переходу відвідуваних\( (x_n, x_{n-1}, \ldots, x_2, x_1) \) держав послідовно, починаючи з стану\( x_1 \). Умова циклу також відома як рівняння балансу для циклів.

Малюнок\(\PageIndex{1}\): Умова циклу Колмогорова

Додатки та вправи

Ланцюг двох держав

Безперервний, дводержавний ланцюг вивчався в наших попередніх розділах на ланцюгах безперервного часу, тому, природно, нас цікавить розворот часу.

Розглянемо безперервний час ланцюга Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \) на\( S = \{0, 1\} \) зі швидкістю переходу\( a \in (0, \infty) \) від 0 до 1 і швидкістю переходу\( b \in (0, \infty) \) від 1 до 0. Показати, що\( \bs X \) є оборотним

1. Використання перехідної напівгрупи\( \bs P = \{P_t: t \in [0, \infty)\} \).
2. Використання ресольвента\( \bs U = \{U_\alpha: \alpha \in (0, \infty)\} \).
3. Використання матриці генератора\( G \).

Рішення

По-перше, зверніть увагу,\( \bs X \) що не можна скоротити, так як\( a \gt 0 \) і\( b \gt 0 \). Оскільки\( S \) є кінцевим,\( \bs X \) є позитивним рецидивом.

1. Нагадаємо, що\[ P_t = \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] - \frac{1}{a + b} e^{-(a + b)t} \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right], \quad t \in [0, \infty) \] Все, що нам потрібно зробити, це знайти позитивну функцію\( g \) на\( S \) з властивістю, що\( g(0) P_t(0, 1) = g(1) P_t(1, 0) \). Інші умови тривіально виконуються. Зверніть увагу\( g(0) = b \), що,\( g(1) = a \) задовольняє об'єкт нерухомості. Звідси випливає, що\( g \) є інваріантним для\( \bs X \), унікальним до множення на позитивні константи, і\( \bs X \) це оборотно.
2. Нагадаємо, що\[ U_\alpha = \frac{1}{\alpha (a + b)} \left[\begin{matrix} b & a \\ b & a \end{matrix}\right] - \frac{1}{(\alpha + a + b)(a + b)} \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right], \quad \alpha \in (0, \infty) \] Знову ж таки, нам просто потрібно знайти позитивну функцію\( g \) на\( S \) з властивістю що\( g(0) U_\alpha(0, 1) = g(1) U_\alpha(1, 0) \). Інші умови тривіально виконуються. Функція\( g \) частково (а) задовольняє, умова, яка, звичайно, повинна бути випадком.
3. Нагадаємо, що\( G = \left[\begin{matrix} -a & a \\ b & -b \end{matrix} \right] \). Ще раз, нам просто потрібно знайти позитивну функцію\( g \) на\( S \) з властивістю, що\( g(0) G(0, 1) = g(1) G(1, 0) \). Функція,\( g \) задана в (a), задовольняє умові. Відзначимо, що дана процедура є найпростішою з трьох.

Звичайно, інваріантним PDF\( f \) є\( f(0) = b / (a + b) \),\( f(1) = a / (a + b) \).

Обчислювальні вправи

Ланцюг Маркова в наступній вправі також вивчалася в попередніх розділах.

Розглянемо ланцюжок Маркова\( \bs X = \{X_t: t \in [0, \infty)\} \) на\( S = \{0, 1, 2\} \) з експоненціальним параметром функції\( \lambda = (4, 1, 3) \) і матрицею переходу стрибка.\[ Q = \left[\begin{matrix} 0 & \frac{1}{2} & \frac{1}{2} \\ 1 & 0 & 0 \\ \frac{1}{3} & \frac{2}{3} & 0\end{matrix}\right] \] Дайте кожному з наступних для часу зворотного ланцюга\( \hat{\bs X} \):

1. Граф стану.
2. Напівгрупа перехідних матриць\( \hat{\bs P} = \{\hat P_t: t \in [0, \infty)\} \).
3. Ресольвент потенційних матриць\( \hat{\bs U} = \{\hat U_\alpha: \alpha \in (0, \infty)\} \).
4. Генераторна матриця\( \hat G \).
5. Матриця переходу ланцюга стрибка\( \hat{\bs Y} \).

Рішення

Зверніть увагу, що ланцюг є нескорочуваною, а оскільки\( S \) є кінцевою, позитивною рецидивуючою. Раніше ми виявили, що інваріантна функція (унікальна аж до множення на позитивні константи) є\( g = (3, 10, 2) \).

1. Край набір є\( \hat E = \{(1, 0), (2, 0), (0, 1), (0, 2), (1, 2)\} \). Функція експоненціального параметра\( \lambda = (4, 1, 3) \) така ж, як і для\( \bs X \).
2. Матриця переходу\( t \in [0, \infty) \) при\[ \hat P_t = \frac{1}{15} \left[\begin{matrix} 3 + 12 e^{-5 t} & 10 - 10 e^{-5 t} & 2 - 2 e^{-5 t} \\ 3 - 3 e^{-3 t} & 10 + 5 e^{-3 t} & 2 - 2 e^{-3 t} \\ 3 - 18 e^{-5 t} + 15 e^{-3 t} & 10 + 15 e^{-5 t} - 25 e^{-3 t} & 2 + 3 e^{-5 t} + 10 e^{-3 t} \end{matrix}\right] \]
3. Потенційна матриця\( \alpha \in (0, \infty) \) при\[ \hat U_\alpha = \frac{1}{15 \alpha + 8 \alpha^2 + \alpha^3} \left[\begin{matrix} 3 + 4 \alpha + \alpha^2 & 10 + \frac{10}{3} \alpha & 2 + \frac{2}{3} \alpha \\ 3 + \frac{3}{5} \alpha & 10 + 7 \alpha + \alpha^2 & 2 + \frac{2}{5} \alpha \\ 3 + 3 \alpha & 10 & 2 + 5 \alpha + \alpha^2\end{matrix}\right]\]
4. Матриця генератора\[ \hat G = \left[\begin{matrix} -4 & \frac{10}{3} & \frac{2}{3} \\ \frac{3}{5} & -1 & \frac{2}{5} \\ 3 & 0 & -3 \end{matrix}\right] \]
5. Матриця переходу ланцюга стрибка дорівнює\[ \hat Q = \left[ \begin{matrix} 0 & \frac{5}{6} & \frac{1}{6} \\ \frac{3}{5} & 0 & \frac{2}{5} \\ 1 & 0 & 0 \end{matrix} \right] \]

Спеціальні моделі

Прочитайте обговорення розвороту часу для ланцюгів, підлеглих процесу Пуассона.

Прочитайте обговорення зміни часу для ланцюгів народження-смерті безперервного часу.