16.18: Стаціонарні та обмежувальні розподіли безперервних часових ланцюгів

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)\(\newcommand{\var}{\text{var}}\)\(\newcommand{\cl}{\text{cl}}\)

У цьому розділі ми вивчаємо граничну поведінку марковських ланцюгів безперервного часу, зосередившись на двох взаємопов'язаних ідеях: інваріантних (або стаціонарних) розподілах і граничних розподілах. У деякому сенсі гранична поведінка ланцюгів безперервного часу простіша, ніж гранична поведінка ланцюгів дискретного часу, частково тому, що ускладнення, спричинені періодичністю у випадку дискретного часу, не відбуваються у випадку безперервного часу. Тим не менш, як ми побачимо, обмежуюча поведінка безперервного ланцюга часу тісно пов'язана з обмежуючою поведінкою вбудованого ланцюга стрибка дискретного часу.

Рецензія

Знову ж таки, нашою відправною точкою є однорідний за часом ланцюг Маркова, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) визначається на базовому просторі ймовірностей\( (\Omega, \mathscr{F}, \P) \) та з дискретним простором стану\( (S, \mathscr{S}) \). За визначенням, це означає, що\( S \) підраховується з дискретною топологією, так що\( \mathscr{S} \) це\( \sigma \) -алгебра всіх підмножин\( S \).

Давайте розглянемо, що ми маємо до цих пір. Припускаємо, що ланцюг\( \bs{X} \) Маркова регулярна. Крім усього іншого, це означає, що основна структура\( \bs{X} \) визначається часом переходу\( \bs{\tau} = (\tau_0, \tau_1, \tau_2, \ldots) \) і ланцюгом стрибка\( \bs{Y} = (Y_0, Y_1, Y_2, \ldots) \). По-перше,\( \tau_0 = 0 \) і\( \tau_1 = \tau = \inf\{t \gt 0: X_t \ne X_0\} \). Тимчасово-однорідні та марковські властивості припускають, що розподіл\( \tau \) заданого\( X_0 = x \) є експоненціальним з параметром\( \lambda(x) \in [0, \infty) \). Частина регулярності полягає в тому, що\( \bs{X} \) є правильним безперервним, так що немає миттєвих станів де\( \lambda(x) = \infty \), що означало б\( \P(\tau = 0 \mid X_0 = x) = 1 \). З іншого боку,\( \lambda(x) \in (0, \infty) \) означає, що\( x \) є стабільним станом, так що\( \tau \) має належний експоненціальний розподіл\( X_0 = x \), з\( \P(0 \lt \tau \lt \infty \mid X_0 = x) = 1 \). Нарешті,\( \lambda(x) = 0 \) означає, що\( x \) це поглинаючий стан, так що\( \P(\tau = \infty \mid X_0 = x) = 1 \). Решта часу переходу визначаються рекурсивно:\( \tau_{n+1} = \inf\left\{t \gt \tau_n: X_t \ne X_{\tau_n}\right\} \) if\( \tau_n \lt \infty \) і\( \tau_{n+1} = \infty \) if\( \tau_n = \infty \). Ще однією складовою закономірності є те, що з ймовірністю 1\( n \to \infty \),\( \tau_n \to \infty \) як, виключаючи вибухові події нескінченно багато стрибків за скінченний час. Ланцюг стрибка\( \bs{Y} \) формується шляхом відбору проб\( \bs{X} \) в часи переходу (поки ланцюг не буде всмоктується в поглинаючий стан, якщо це станеться). Тобто, з\( M = \sup\{n: \tau_n \lt \infty\} \) і для\( n \in \N \), ми визначаємо,\( Y_n = X_{\tau_n} \) якщо\( n \le M \) і\( Y_n = X_{\tau_M} \) якщо\( n \gt M \). Потім\( \bs{Y} \) йде дискретний марковський ланцюг з одноступінчастою матрицею переходу\( Q \),\( Q(x, y) = \P(X_\tau = y \mid X_0 = x) \) якщо\( (x, y) \in S^2 \) зі\( x \) стабільною і\( Q(x, x) = 1 \) якщо\( x \in S \) поглинає.

Матриця переходу\( P_t \) за часом\( t \in [0, \infty) \) задається за допомогою\( P_t(x, y) = \P(X_t = y \mid X_0 = x) \) for\( (x, y) \in S^2 \). Час-гомогенні і марковські властивості припускають, що колекція перехідних матриць\( \bs{P} = \{P_t: t \in [0, \infty)\} \) задовольняє рівняння Чапмана-Колмогорова\( P_s P_t = P_{s+t} \) для\( s, \, t \in [0, \infty) \), а отже, є напівгрупою. перехідних матриць Перехідна напівгрупа\( \bs{P} \) і початкова розподіл\( X_0 \) визначають всі скінченновимірні розподіли\( \bs{X} \). Оскільки миттєвих станів немає,\( P \) є стандартним, що означає, що\( P_t \to I \) як\( t \downarrow 0 \) (як матриці, так і точково). Фундаментальна залежність між\( \bs{P} \), з одного боку,\( \lambda \) і з іншого, є.\[ P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \int_0^t \lambda(x) e^{-\lambda(x) s} Q P_{t - s} (x, y) \, ds, \quad (x, y) \in S^2 \] З цього випливає, що\( t \mapsto P_t \) матрична функція\( Q \) диференційовна (знову ж таки, точково) і задовольняє зворотному рівнянню Колмогорова\( \frac{d}{dt} P_t = G P_t \), де нескінченно мала матриця генератора\( G \) задається за допомогою\( G(x, y) = -\lambda(x) I(x, y) + \lambda(x) Q(x, y) \) for\( (x, y) \in S^2 \). Якщо накласти більш сильне припущення, яке\( \bs{P} \) є рівномірним, що означає, що\( P_t \to I \)\( t \downarrow 0 \) як оператори на\( \mathscr{B} \) (так по відношенню до супремум норми), то зворотне рівняння так само, як і супутник Колмогорова вперед рівняння\( \frac{d}{dt} P_t = = P_t G \) тримають як операторів на\( \mathscr{B} \). Крім того, у нас є матричне експоненціальне представлення\( P_t = e^{t G} \) для\( t \in [0, \infty) \). Рівномірне припущення еквівалентно обмеженій функції експоненціального параметра.

Нарешті, для\( \alpha \in [0, \infty) \),\( \alpha \) потенційна\( U_\alpha \) матриця\( \bs{X} \) є\( U_\alpha = \int_0^\infty e^{-\alpha t} P_t \, dt \). \( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \)Резольвентом є перетворення Лапласа\( \bs{P} \) і, отже, дає ту ж інформацію, що і\( \bs{P} \). З цієї точки зору за часом однорідні та марковські властивості призводять до рівняння резольвенту\( U_\alpha = U_\beta + (\beta - \alpha) U_\alpha U_\beta \) для\( \alpha, \, \beta \in (0, \infty) \) с\( \alpha \le \beta \). \( \alpha \in (0, \infty) \)Бо матриця\( \alpha \) потенціалів пов'язана з генератором фундаментальним рівнянням\( \alpha U_\alpha = I + G U_\alpha \). Якщо\( \bs{P} \) однорідне, то це рівняння, а також супутник\( \alpha U_\alpha = I + U_\alpha G \) утримують як оператори на\( \mathscr{B} \), що призводить до\( U_\alpha = (\alpha I - G)^{-1} \).

Основна теорія

Відносини та класифікація

Ми починаємо нашу дискусію з відносин між державами і класифікацій держав. Це ті самі, які ми вивчали для ланцюгів дискретного часу в нашому дослідженні рецидивів і швидкоплинності, застосованих тут до ланцюга стрибків\( \bs{Y} \). Але, як ми побачимо, відносини та класифікації мають сенс і для безперервного часового ланцюга\( \bs{X} \). Обговорення трохи ускладнюється, коли є поглинаючі стани. Тільки коли\( \bs{X} \) знаходиться в поглинаючому стані, ми не можемо інтерпретувати значення\( \bs{Y} \) як значення\( \bs{X} \) в час переходу (тому що, звичайно, немає переходів, коли\( \bs{X} \) знаходиться в поглинаючому стані). Але\( x \in S \) поглинає для безперервного ланцюга часу,\( \bs{X} \) якщо і тільки тоді, коли\( x \) поглинає для стрибка ланцюга\( \bs{Y} \), тому з цим банальним винятком легко впоратися.

Для\( y \in S \) нехай\( \rho_y = \inf\{n \in \N_+: Y_n = y\} \), (дискретний) удару час\( y \) для стрибка ланцюга\( \bs{Y} \), де, як зазвичай,\( \inf(\emptyset) = \infty \). Тобто є першим позитивним (дискретним) часом, що\( \rho_y \) знаходиться\( \bs{Y} \) в стані\( y \). Аналогічний випадковий час для ланцюга безперервного часу\( \bs{X} \) є\(\tau_{\rho_y} \), де природно ми беремо\( \tau_\infty = \infty \). Це перший раз, який\( \bs{X} \) знаходиться в стані\( y \), не рахуючи можливого початкового періоду в\( y \). Зокрема, припустимо\( X_0 = x \). Якщо\( x \ne y \) тоді\( \tau_{\rho_y} = \inf\{t \gt 0: X_t = y\} \). Якщо\( x = y \) тоді\( \tau_{\rho_y} = \inf\{t \gt \tau_1: X_t = y\} \).

Визначте матрицю ударів за\( H \) допомогою\[ H(x, y) = \P(\rho_y \lt \infty \mid Y_0 = x), \quad (x, y) \in S^2 \] Тоді,\(H(x, y) = \P\left(\tau_{\rho_y} \lt \infty \mid X_0 = x\right)\) за винятком випадків\( x \), коли поглинає і\( y = x \).

Таким чином, для безперервного ланцюга часу, якщо\( x \in S \) є стабільним, то\( H(x, x) \) є ймовірність того, що, починаючи\( x \), ланцюг\( \bs{X} \) повертається до\( x \) після його початкового періоду в\( x \). Якщо\( x, \, y \in S \) виразні, то\( H(x, y) \) це просто ймовірність того\( \bs{X} \), що, починаючи з\( x \), врешті-решт досягає\( y \). Звідси випливає, що основне співвідношення між державами має сенс як для безперервного ланцюга часу,\( \bs{X} \) так і для його ланцюга стрибків\( \bs{Y} \).

Визначте відношення\( \to \)\( S^2 \) на\( x \to y \) якщо\( x = y \) або\( H(x, y) \gt 0 \).

Веде до відношення\( \to \) є рефлексивним за визначенням:\( x \to x \) для кожного\( x \in S \). З нашого попереднього дослідження ланцюгів дискретного часу ми знаємо, що це також перехідний: якщо\( x \to y \) і\( y \to z \) тоді\( x \to z \) для\( x, \, y, \, z \in S \). Ми також знаємо, що\( x \to y \) якщо і тільки в тому випадку, якщо в графі стану є спрямований шлях від\( x \) до\( y \), якщо і тільки якщо\( Q^n(x, y) \gt 0 \) для деяких\( n \in \N \). Для матриць безперервного часу переходу ми маємо сильніший результат, який, в свою чергу, робить сильніший випадок, що призводить до відношення є основоположним для\( \bs{X} \).

Припустимо\( (x, y) \in S^2 \).

1. Якщо\( x \to y \) то\( P_t(x, y) \gt 0 \) для всіх\( t \in (0, \infty) \).
2. Якщо\( x \not \to y \) то\( P_t(x, y) = 0 \) для всіх\( t \in (0, \infty) \).

Доказ

Цей результат доведений у розділі про перехідні матриці та генератори.

Цей результат відомий як дихотомія Леві і названий на честь Пола Леві. Згадаймо ще пару визначень:

Припустимо, що\( A \) це непорожня підмножина\( S \).

1. \( A \)закривається, якщо\( x \in A \) і\( x \to y \) має на увазі\( y \in A \).
2. \( A \)є нескоротним, якщо\( A \) закритий і не має належної замкнутої підмножини.

Якщо\( S \) незвідний, ми також говоримо про те, що\( \bs{X} \) сама ланцюг є нескорочуваною.

Якщо\( A \) є непорожньою підмножиною\( S \), то\( \cl(A) = \{y \in S: x \to y \text{ for some } x \in A\} \) є найменшою замкнутою множиною\( A \), що містить, і називається закриттям\( A \).

Припустимо,\( A \subseteq S \) що закрито. Тоді

1. \( P^A_t \), обмеження\( P_t \) до\( A \times A\), є матрицею ймовірності переходу\( A \) для кожного\( t \in [0, \infty) \).
2. \( \bs{X} \)\( A \)limited to - це безперервний марковський ланцюг з перехідною напівгрупою\( \bs{P}^A = \left\{P^A_t: t \in [0, \infty)\right\} \).

Доказ

1. Якщо\( x \in A \) і\( y \notin A \), то\( x \) не призводить до\( y \) цього зокрема\( P_t(x, y) = 0 \). Звідси випливає, що\( \sum_{y \in A} P_t(x, y) = 1 \) для\( x \in A \)\( P^A_t \) so є матрицею ймовірностей переходу.
2. Це випливає з (а). Якщо ланцюг починається в\( A \), то ланцюг залишається в\( A \) на весь час, і звичайно ж, властивість Маркова все одно тримається.

Визначте відношення\( \leftrightarrow \)\( S \) по\( x \leftrightarrow y \) if\( x \to y \) і\( y \to x \) for\( (x, y) \in S^2 \).

Відношення до і від\( \leftrightarrow \) визначає відношення еквівалентності на\( S \) і, отже,\( S \) розділах на взаємно неспільні класи еквівалентності. Нагадаємо з нашого дослідження ланцюгів дискретного часу, що замкнута множина не обов'язково є класом еквівалентності, а також клас еквівалентності не обов'язково закритий. Однак нескорочувана множина є класом еквівалентності, але клас еквівалентності може бути нескорочуваним. Важливість співвідношення\( \leftrightarrow \) випливає з того, що багато важливих властивостей ланцюгів Маркова (в дискретному або безперервному часі) виявляються класовими властивостями, поділеними всіма станами в класі еквівалентності. Наступне визначення є фундаментальним, і знову ж таки, має сенс або для безперервного ланцюга часу,\( \bs{X} \) або для його ланцюга стрибків\( \bs{Y} \).

Нехай\( x \in S \).

1. Стан\( x \) є перехідним, якщо\( H(x, x) \lt 1 \)
2. Стан\( x \) рецидивуючий, якщо\( H(x, x) = 1 \).

Нагадаємо з нашого дослідження дискретних часових ланцюгів, що якщо\( x \) є рецидивуючим, а\( x \to y \) потім\( y \) рецидивуючим і\( y \to x \). Таким чином, рекуррентність і перехідність - це властивості класу, розділені всіма станами в класі еквівалентності.

Час, проведений у державі

Для\( x \in S \), нехай\( N_x \) позначають кількість відвідувань до стану\( x \) ланцюгом стрибків\( \bs{Y} \), і нехай\( T_x \) позначають загальний час, проведений в стані\( x \) безперервного ланцюга часу\( \bs{X} \). Таким чином\[ N_x = \sum_{n=0}^\infty \bs{1}(Y_n = x), \quad T_x = \int_0^\infty \bs{1}(X_t = x) \, dt \], Очікувані значення\( R(x, y) = \E(N_y \mid Y_0 = x) \) і\( U(x, y) = \E(T_y \mid X_0 = x) \) для\( (x, y) \in S^2 \) визначають потенційні матриці\( \bs{Y} \) і\( \bs{X} \), відповідно. З нашого попереднього дослідження дискретно-часових ланцюгів ми знаємо розподіл і середнє значення\( N_y \) заданого\( Y_0 = x \) в терміні матриці ударів\( H \). Наступні два результати дають огляд:

Припустимо\( x, \, y \in S \), що відрізняються. Тоді

1. \(\P(N_y = n \mid Y_0 = y) = H^{n-1}(y, y)[1 - H(y, y)]\)для\( n \in \N_+ \)
2. \( \P(N_y = 0 \mid Y_0 = x) = 1 - H(x, y) \)і\( \P(N_y = n \mid Y_0 = x) = H(x, y) H^{n-1}(y, y) [1 - H(y, y)] \) для\( n \in \N_+ \)

Візьмемо кейси. По-перше, припустимо,\( y \) що рецидивує. Частково (а),\( \P(N_y = n \mid Y_0 = y) = 0 \) для всіх\( n \in \N_+ \), а отже\( \P(N_y = \infty \mid Y_0 = y) = 1 \). У частині (b),\( \P(N_y = n \mid Y_0 = x) = 0 \) for\( n \in \N_+ \),\( \P(N_y = 0 \mid Y_0 = x) = 1 - H(x, y) \) а отже і while\( \P(N_y = \infty \mid Y_0 = x) = H(x, y) \). Припустимо, що наступне, що\( y \) є тимчасовим. Частина (a) визначає належний геометричний розподіл на\( \N_+ \) той час як у частині (b), ймовірність\( 1 - H(x, y) \) присвоюється 0, а решта ймовірності\( H(x, y) \) геометрично розподіляється\( \N_+ \) як у (a). В обох випадках\( N_y \) є кінцевим з ймовірністю 1. Далі розглянемо очікуване значення, тобто (дискретний) потенціал. Щоб коротко констатувати результати, ми будемо використовувати конвенцію, що\( a / 0 = \infty \) якщо\( a \gt 0 \) і\( 0 / 0 = 0 \).

Припустимо, знову ж таки\( x, \, y \in S \), що відрізняються. Тоді

1. \( R(y, y) = 1 \big/ [1 - H(y, y)] \)
2. \( R(x, y) = H(x, y) \big/ [1 - H(y, y)] \)

Давайте знову візьмемо справи. Якщо\( y \in S \) рецидивує то\( R(y, y) = \infty \), і для\( x \in S \) з\( x \ne y \), або\( R(x, y) = \infty \) якщо\( x \to y \) або\( R(x, y) = 0 \) якщо\( x \not \to y \). Якщо\( y \in S \) є перехідним,\( R(y, y) \) є кінцевим, як і\( R(x, y) \) для кожного\( x \in S \) з\( x \ne y \). Більш того, існує зворотна залежність свого роду між потенціалом і ймовірностями удару.

Природно, наша наступна мета - знайти аналогічні результати для безперервного часового ланцюга\( \bs{X} \). Для розподілу\( T_y \) найкраще використовувати правильну функцію розподілу.

Припустимо\( x, \, y \in S \), що відрізняються. Тоді для\( t \in [0, \infty) \)

1. \( \P(T_y \gt t \mid X_0 = y) = \exp\left\{-\lambda(y) [1 - H(y, y)] t\right\} \)
2. \(\P(T_y \gt t \mid X_0 = x) = H(x, y) \exp\{-\lambda(y) [1 - H(y, y)] t\}\)

Доказ

Доказ є шляхом кондиціонування\( N_y \).

1. По-перше, якщо\( H(y, y) = 1 \) (так що\( y \) рецидивує), то або\( y \) поглинає з\( \P(\tau_1 = \infty \mid X_0 = y) = 1 \) або\( y \) є стабільним і рецидивуючим, так що\( \P(N_y = \infty \mid X_0 = y) = 1 \). У другому випадку, починаючи з стану\( y \),\( T_y \) це сума нескінченно багатьох незалежних змінних, кожна з яких має експоненціальний розподіл з параметром\( \lambda(y) \in (0, \infty) \). В обох випадках\( \P(T_y = \infty \mid X_0 = y) = 1 \) і так\( \P(T_y \gt t \mid X_0 = y) = 1 \) для кожного\( t \in [0, \infty) \). Так що припустимо, що\( H(y, y) \lt 1 \) так, що\( y \) є тимчасовим. Тоді\[ \P(T_y \gt t \mid X_0 = y) = \sum_{n=1}^\infty \P(T_y \gt t \mid X_0 = y, N_y = n) \P(N_y = n \mid X_0 = y) \]\( N_y = n \) Gived,\( T_y \) - сума\( n \) незалежних змінних, кожна з яких має експоненціальний розподіл з параметром\( \lambda(y) \). Так\( T_y \) має гамма-розподіл з параметрами\( n \)\( \lambda(y) \) і, отже,\[ \P(T_y \gt t \mid X_0 = y, N_y = n) = \sum_{k=0}^{n-1} e^{-\lambda(y) t} \frac{[\lambda(y) t]^k}{k!} \] з попереднього результату,\( \P(N_y = n \mid X_0 = y) = \P(N_y = n \mid Y_0 = y) = H^{n-1}(y, y) [1 - H(y, y)] \). Підставляємо, змінюємо порядок підсумовування, використовуємо геометричні ряди, а потім експоненціальні ряди:\ begin {align*}\ P (T_y\ gt t\ mid X_0 = y) & =\ sum_ {n=1} ^\ infty\ left (\ sum_ {k=0} ^ {n-1} e^ {-\ лямбда (y) t}\ frac {[\ лямбда (y) т] ^k} {k!} \ право) H ^ {n-1} (y, y) [1 - H (y, y)]\\ & = e^ {-\ лямбда (y) t} [1 - H (y, y)]\ sum_ {k=0} ^\ infty\ frac {[\ лямбда (y) t] ^k} {k!} \ sum_ {n=k+1} ^\ infty H ^ {n-1} (y, y)\\ & = e^ {-\ лямбда (y) t}\ sum_ {k=0} ^\ infty\ frac {[\ лямбда (y) t] ^k} {k!} H^k (y, y) = e^ {-\ лямбда (y) t}\ exp [\ лямбда (y) H (y, y) t]\ end {align*} Спрощення дає результат.
2. Доказ аналогічний. Якщо\( H(y, y) = 1 \) так,\( y \) що рецидивує, то починаючи в стані\( x \), або\( T_y = 0\) якщо\( N_y = 0 \), що відбувається з ймовірністю,\( 1 - H(x, y) \) або\( T_y = \infty \) якщо\( N_y = \infty \), що відбувається з ймовірністю\( H(x, y) \). Якщо\( H(y, y) \lt 1 \) так, що\( y \) є перехідним, то результат випливає з кондиціонування на\( N_y \) як в (а), крім цього\( \P(T_y = 0 \mid X_0 = x) = \P(N_y = 0 \mid Y_0 = x) = 1 - H(x, y)\).

Візьмемо випадки, як і раніше. Припустимо, спочатку,\( y \) що рецидивує. Частково (а),\( \P(T_y \gt t \mid X_0 = y) = 1 \) для кожного\( t \in [0, \infty) \) і, отже,\( \P(T_y = \infty \mid X_0 = y) = 1 \). У частині (b),\( \P(T_y \gt t \mid X_0 = x) = H(x, y) \) на кожен\( t \in [0, \infty) \) і, отже,\( \P(T_y = 0 \mid X_0 = x) = 1 - H(x, y) \) час\( \P(T_y = \infty \mid X_0 = x) = H(x, y) \). Припустимо, що наступне, що\( y \) є тимчасовим. З частини (а) розподіл\( T_y \) заданого\( X_0 = y \) є експоненціальним з параметром\( \lambda(y) [1 - H(y, y)] \). У частині (b) розподіл\( H(x, y) \) призначає ймовірність\(1 - H(x, y) \) 0, тоді як решта ймовірності експоненціально розподіляється\( (0, \infty) \) як у (a). Беручи очікуване значення, ми отримуємо дуже приємну залежність між потенційною матрицею\( U \) безперервного ланцюга часу\( \bs{X} \) та потенційною матрицею ланцюга стрибка\( R \) дискретного часу\( \bs{Y} \):

Для кожного\( (x, y) \in S^2 \),\[ U(x, y) = \frac{R(x, y)}{\lambda(y)} \]

Доказ

Якщо\( y \) є повторюваним, то\( U(x, y) = R(x, y) \) і загальним значенням є або 0 if\( H(x, y) = 0 \) або\( \infty \) if\( H(x, y) = 1 \). Так що припустимо, що\( y \) це тимчасово. Ми можемо обчислити очікуване значення\( T_y \) шляхом інтеграції правильної функції розподілу в попередню теорему. У випадку\( x = y \), у нас є\[ U(y, y) = \int_0^\infty \exp\{-\lambda(y)[1 - H(y, y)]t\} \, dt = \frac{1}{\lambda(y)[1 - H(y, y)]} = \frac{R(y, y)}{\lambda(y)}\] У випадку, що\( x \) і\( y \) є відмінними,\[ U(x, y) = \int_0^\infty H(x, y)\exp\{-\lambda(y)[1 - H(y, y)]t\} \, dt = \frac{H(x, y)}{\lambda(y)[1 - H(y, y)]} = \frac{R(x, y)}{\lambda(y)} \]

Зокрема,\( y \in S \) є тимчасовим, якщо і тільки якщо\( R(x, y) \lt \infty \) для кожного\( x \in S \), якщо і тільки якщо\( U(x, y) \lt \infty \) для кожного\( x \in S \). З іншого боку,\( y \) повторюється тоді і лише тоді,\( R(x, y) = U(x, y) = \infty \) коли\( x \to y \) і\( R(x, y) = U(x, y) = 0 \) якщо\( x \not \to y \).

Нульовий і позитивний повторення

На відміну від швидкоплинності та рекуррентності, визначення нульового та позитивного повторення стану\( x \in S \) відрізняються для ланцюга безперервного часу\( \bs{X} \) та його ланцюга стрибків\( \bs{Y} \). Це пов'язано з тим, що ці визначення залежать від очікуваного часу удару до\( x \)\( x \), починаючи, а не тільки кінцевість цього ударного часу. Для\( x \in S \), нехай\( \nu(x) = \E(\rho_x \mid Y_0 = x) \), очікуваний (дискретний) час повернення до\( x \) початку\( x \). Нагадаємо, що\( x \) є позитивним рецидивуючим для\( \bs{Y} \) якщо\( \nu(x) \lt \infty \) і\( x \) є нульовим повторюваним якщо\( x \) є рецидивуючим, але не позитивним рецидивом, так що\( H(x, x) = 1 \)\( \nu(x) = \infty \) Визначення аналогічні для\( \bs{X} \), але з використанням безперервного часу удару\( \tau_{\rho_x} \).

Для\( x \in S \),\( \mu(x) = 0 \) нехай він\( x \)\( x \) поглинає і\( \mu(x) = \E\left(\tau_{\rho_x} \mid X_0 = x\right) \) якщо стабільний. Отже, якщо\( x \) стабільний,\( \mu(x) \) це очікуваний час повернення до\( x \) початку\( x \) (після початкового періоду в\( x \)).

1. Стан\( x \) позитивний рецидивуючий для\( \bs{X} \) якщо\( \mu(x) \lt \infty \).
2. Стан\( x \) є нульовим повторюваним для\( \bs{X} \) якщо\( x \) повторюваний, але не позитивний рецидивуючий, так що\( H(x, x) = 1 \) але\( \mu(x) = \infty \).

Стан\( x \in S \) може бути позитивним повторюваним для,\( \bs{X} \) але нульовим повторюваним для його ланцюга стрибків\( \bs{Y} \) або може бути нульовим повторюваним для,\( \bs{X} \) але позитивним повторюваним для\( \bs{Y} \). Але, як і перехідність і рекуррентність, позитивний і нульовий рекуррентність - це властивості класу, розділені всіма станами в класі еквівалентності під співвідношенням до і від еквівалентності\( \leftrightarrow \).

інваріантні функції

Наступне обговорення стосується функцій, які є інваріантними для матриці переходу ланцюга\( Q \) стрибків,\( \bs{Y} \) та функцій, які є інваріантними для\( \bs{P} = \{P_t: t \in [0, \infty)\} \) перехідної напівгрупи безперервно-часового ланцюга\( \bs{X} \). Як для дискретних, так і для безперервно-часових ланцюгів існує тісний зв'язок між інваріантними функціями та обмежуючою поведінкою у часі.

Для початку згадаємо визначення. Функція\( f: S \to [0, \infty) \) є інваріантною для\( Q \) (або для ланцюга\( \bs{Y} \)) if\( f Q = f \). Потім випливає, що\( f Q^n = f \) для кожного\( n \in \N \). У безперервний час ми повинні припускати незмінність кожного разу. Тобто функція\( f: S \to [0, \infty) \) інваріантна для\( \bs{P} \) (або для ланцюга\( \bs{X} \)) якщо\( f P_t = f \) для всіх\( t \in [0, \infty) \). Наш інтерес полягає в ненегативних функціях, тому що ми можемо думати про таку функцію, як функція щільності, щодо міри підрахунку, позитивної міри\( S \). Нас особливо цікавить особливий випадок, який\( f \) є функцією щільності ймовірності, так що\( \sum_{x \in S} f(x) = 1 \). Якщо\( Y_0 \) має функцію щільності ймовірності\( f \), яка є інваріантною для\( Q \), то\( Y_n \) має функцію щільності ймовірності\( f \) для всіх\( n \in \N \) і, отже,\( \bs{Y} \) є стаціонарною. Аналогічно, якщо\( X_0 \) має функцію щільності ймовірності\( f \), яка є\( \bs{P} \) інваріантною для потім\( X_t \) має функцію щільності ймовірності\( f \) для кожного\( t \in [0, \infty) \) і знову, ланцюг\( \bs{X} \) нерухомий.

Наш перший результат показує, що існує відповідність один до одного між інваріантними функціями for\( Q \) і нульовими функціями для генератора\( G \).

Припустимо\( f: S \to [0, \infty) \). Тоді\( f G = 0 \) якщо і тільки якщо\( (\lambda f) Q = \lambda f \), так що\( \lambda f \) є інваріантним для\( Q \).

Доказ

Це простий наслідок визначення генератора:\[ f G(y) = \sum_{x \in S} f(x) G(x, y) = -\lambda(y) f(y) + \sum_{x \in S} f(x) \lambda(x) Q(x, y), \quad y \in S \] або в функціональній формі,\( f G = - \lambda f + (\lambda f) Q \)

Якщо наша ланцюг не\( \bs{X} \) має поглинаючих станів, то\( f: S \to [0, \infty) \) є інваріантним для\( Q \) якщо і тільки якщо\( (f / \lambda ) G = 0 \).

Припустимо, що\( f: S \to [0, \infty) \). Тоді\( f \) є інваріантним для\( \bs{P} \) якщо і тільки якщо\( f G = 0 \).

Доказ 1

Припустимо, що\( \lambda \) обмежена, так що перехідна напівгрупа\( \bs{P} \) є рівномірною. Тоді\( P_t = e^{t G} \) для\( t \in [0, \infty) \). Так що якщо\( f: S \to [0, \infty) \) тоді\[ f P_t = f (e^{t G}) = f \sum_{n=0}^\infty \frac{t^n}{n!} G^n = f + \sum_{n=1}^\infty \frac{t^n}{n!} f G^n \]\( f \) Since є невід'ємним,\( f P_t = f \) якщо і тільки якщо\( f G = 0 \) (в цьому випадку\( f G^n = 0 \) для кожного\( n \in \N_+ \)).

Доказ 2

Припустимо, що\( f P_t = f \) для\( t \in [0, \infty) \). Тоді\( \frac{d}{dt} (f P_t) = 0 \) для\( t \in [0, \infty) \). Але використовуючи зворотне рівняння Колмогорова,\( \frac{d}{dt} (f P_t) = f \frac{d}{dt} P_t = f G P_t = 0 \). \( t = 0 \)Дозволимо зробити висновок про це\( f G = 0 \). І навпаки, якщо\( f G = 0 \) тоді\( \frac{d}{dt} (f P_t) = f \frac{d}{dt} P_t = f G P_t = 0 \) для\( t \in [0, \infty) \). Звідси випливає,\( f P_t \) що постійна в\( t \in [0, \infty) \). Так як\( f P_0 = f \) випливає, що\( f P_t = f \) для всіх\( t \in [0, \infty) \).

Таким чином, покласти два основні результати разом ми бачимо, що\( f \) є інваріантним для безперервної ланцюга часу,\( \bs{X} \) якщо і тільки якщо\( \lambda f \) є інваріантним для стрибка ланцюга\( \bs{Y} \). Наш наступний результат показує, як функції, які є інваріантними для\( \bs{X} \), пов'язані з резольвентом\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \). Щоб оцінити отриманий результат, нагадаємо, що для\( \alpha \in (0, \infty) \) матриці\( \alpha U_\alpha \) є матрицею ймовірностей, а по суті\( \alpha U_\alpha(x, \cdot) \) є умовною функцією щільності ймовірності\( X_T \)\( X_0 = x \), заданої, де\( T \) незалежна\( \bs{X} \) і має експоненціальний розподіл з параметром\( \alpha \). Так\( \alpha U_\alpha \) це матриця переходу так само, як\( P_t \) і матриця переходу, але відповідає експоненціально розподіленого випадкового часу\( T \) з параметром,\( \alpha \in (0, \infty) \) а не детермінованим часом\( t \in [0, \infty) \).

Припустимо, що\( f: S \to [0, \infty) \). Якщо\( f G = 0 \) тоді\( f (\alpha U_\alpha) = f\) для\( \alpha \in (0, \infty) \). І навпаки, якщо\( f (\alpha U_\alpha) = f \) для\( \alpha \in (0, \infty) \) того\( f G = 0 \).

Доказ

Нагадаємо, що\( I + G U_\alpha = \alpha U_\alpha \) для\( \alpha \in (0, \infty) \). Отже, якщо\( f G = 0 \) потім\[ f (\alpha U_\alpha) = f + f G U_\alpha = f \] навпаки, припустимо, що\( f (\alpha U_\alpha) = f \). Тоді\[ f G U_\alpha = \int_0^\infty e^{-\alpha t} f G P_t dt = 0 \] як функція\( \alpha \in (0, \infty) \), інтеграл з правого боку є перетворення Лапласа функції часу\( t \mapsto f G P_t \). Звідси ми повинні мати\( f G P_t = 0 \) для\( t \in (0, \infty) \), і нехай\( t \downarrow 0 \) дає\( f G = 0 \).

Таким чином, розширення нашого резюме,\( f: S \to [0, \infty) \) є інваріантним для перехідної напівгрупи,\( \bs{P} = \{P_t: t \in [0, \infty)\} \) якщо і тільки якщо\( \lambda f \) є інваріантним для стрибка перехідних матриць\( \{Q^n: n \in \N\} \),\( f G = 0 \) якщо і тільки якщо і тільки якщо\( f \) є інваріантним для збору матриць ймовірності\( \{\alpha U_\alpha: \alpha \in (0, \infty)\} \). З наших знань теорії для дискретно-часових ланцюгів ми тепер маємо наступний фундаментальний результат:

Припустимо, що\( \bs{X} \) є нескоротним і рецидивуючим.

1. Існує\( g: S \to (0, \infty) \), що є інваріантним для\( \bs{X} \).
2. Якщо\( f \) інваріантний для\( \bs{X} \), то\(f = c g \) для якоїсь постійної\( c \in [0, \infty) \).

Доказ

Результат тривіальний, якщо\( S \) складається з єдиного, обов'язково поглинає, стану. В іншому випадку немає поглинаючих станів, так як\( \bs{X} \) є нескорочуваним і так\( \lambda(x) \gt 0 \) для\( x \in S \). З наведеного вище результату\( f \) є інваріантним для\( \bs{X} \) якщо і тільки якщо\( \lambda f \) є інваріантним для\( \bs{Y} \). Але також\( \bs{Y} \) є незведеним і рецидивуючим, тому ми знаємо, що існує суворо позитивна функція, яка є інваріантною для\( \bs{Y} \), і будь-яка інша функція, яка\( \bs{Y} \) є інваріантною для є ненегативним кратним цьому. Звідси те ж саме справедливо і для\( \bs{X} \).

Інваріантні функції мають приємну інтерпретацію з точки зору часу занять, інтерпретацію, яка паралельна дискретному випадку. Потенціал дає очікуваний загальний час у стані, починаючи в іншому стані, але тут нам потрібно враховувати очікуваний час у стані під час циклу, який починається і закінчується в іншому стані.

Для\( x \in S \), визначте функцію\( \gamma_x \)\[ \gamma_x(y) = \E\left(\int_0^{\tau_{\rho_x}} \bs{1}(X_s = y) \, ds \biggm| X_0 = x\right), \quad y \in S \] таким чином, що\( \gamma_x(y) \) це очікуваний час занять у стані\( y \) до першого повернення\( x \), починаючи з\( x \).

Припустимо ще раз, що\( \bs{X} \) є незвідним і рецидивуючим. Для\( x \in S \),

1. \( \gamma_x: S \to (0, \infty) \)
2. \( \gamma_x \)є інваріантним для\( \bs X \)
3. \( \gamma_x(x) = 1 / \lambda(x) \)
4. \(\mu(x) = \sum_{y \in S} \gamma_x(y)\)

Доказ

Як це часто буває, доказ базується на результатах, які ми вже маємо для вбудованого ланцюга стрибків. Для\( x \in S \), визначте\[ \delta_x(y) = \E\left(\sum_{n=0}^{\rho_x - 1} \bs{1}(Y_n = y) \biggm| Y_0 = x\right), \quad y \in S \] так, що\( \delta_x(y) \) очікувана кількість відвідувань\( y \) перед першим поверненням до\( x \), починаючи з\( x \), для ланцюга стрибків\( \bs Y = (Y_0, Y_1, \ldots) \). Оскільки\( \bs X \) є нескоротним і рецидивуючим, так і є\( \bs Y \). З наших результатів у дискретному випадку ми знаємо, що

1. \( \delta_x: S \to (0, \infty) \)
2. \( \delta_x \)є інваріантним для\( \bs Y \)
3. \( \delta_x(x) = 1 \)

З наших результатів вище випливає, що функція\( y \mapsto \delta_x(y) / \lambda(y) \) задовольняє властивості (a), (b) і (c) в теоремі. Але кожен візит до\( y \) ланцюга стрибка\( \bs Y \) очікував довжину\( 1 / \lambda(y) \) для безперервного ланцюга часу\( \bs X \). Звідси випливає, що\( \gamma_x(y) = \delta_x(y) / \lambda(y) \) для\( x, \, y \in S \). За визначенням,\( \gamma_x(y) \) це очікуваний час занять\( y \) перед першим поверненням до\( x \), починаючи з\( x \). Отже, підсумовування\( y \in S \) дає очікуваний час повернення\( x \), починаючи з\( x \), так (d) тримає.

Так що тепер у нас є деяке додаткове розуміння позитивного і нульового повторення для безперервного ланцюга часу\( \bs{X} \) і пов'язаного ланцюга стрибка\( \bs{Y} \). Припустимо ще раз, що ланцюга нескорочувані і рецидивуючі. Існує\( g: S \to (0, \infty) \) те, що є інваріантним для\( \bs{Y} \), а потім\( g / \lambda \) є інваріантним для\( \bs{X} \). Інваріантні функції є унікальними аж до множення на позитивні константи. Ланцюг стрибка\( \bs{Y} \) є позитивним повторюваним тоді і тільки\( \sum_{x \in S} g(x) \lt \infty\) тоді, коли ланцюг безперервного часу\( \bs{X} \) є позитивним повторюваним, якщо і тільки якщо\( \sum_{x \in S} g(x) \big/ \lambda(x) \lt \infty \). Зауважте, що якщо\( \lambda \) обмежений (що еквівалентно однорідній\( \bs{P} \) напівгрупі переходу), то позитивний\( \bs{X} \) рекуррент тоді і тільки тоді, коли\( \bs{Y} \) позитивний рекуррент.

Припустимо ще раз, що\( \bs{X} \) є незвідним і рецидивуючим.

1. Якщо\( \bs{X} \) є нульовим рекуррентом, то\( \bs{X} \) не має інваріантної функції щільності ймовірності.
2. Якщо\( \bs{X} \) позитивний рецидив, то\( \bs{X} \) має унікальну, позитивну інваріантну функцію щільності ймовірності.

Доказ

З попереднього результату існує,\( g: S \to (0, \infty) \) що є інваріантним для\( \bs{X} \), і кожна інша інваріантна функція є невід'ємною кратною цій. Функція,\( f \) задана,\[ f(y) = \frac{g(y)}{\sum_{x \in S} g(x)}, \quad y \in S \] однозначно визначена (тобто незмінна, якщо замінити\( g \) на\( c g \) де\( c \gt 0 \)).

1. Якщо\( \sum_{x \in S} g(x) = \infty \) то\( f(y) = 0 \) для кожного\( y \in S \).
2. Якщо\( \sum_{x \in S} g(x) \lt \infty \) то\( f(y) \gt 0 \) для кожного\( y \in S \) і\( \sum_{y \in S} f(y) = 1 \).

Обмеження поведінки

Наша наступна дискусія зосереджена на граничній поведінці перехідної напівгрупи\( \bs{P} = \{P_t: t \in [0, \infty)\} \). Наш перший результат - це простий наслідок результату вище для потенціалів.

Якщо\( y \in S \) перехідний, то\( P_t(x, y) \to 0 \) як\( t \to \infty \) для кожного\( x \in S \).

Доказ

Це випливає з попереднього результату. Якщо\( y \in S \) перехідний, то для будь-якого\( x \in S \),\[ U(x, y) = \int_0^\infty P_t(x, y) \, dt \lt \infty \] і так ми повинні мати\( P_t(x, y) \to 0 \) як\( t \to \infty \).

Тому ми повинні звернути свою увагу на рецидивуючі стани. Безліч рекурентних станів розділяється на еквівалентні класи під\( \leftrightarrow \), і кожен з цих класів є нескорочуваним. Отже, ми можемо припустити без втрати спільності, що наш безперервний часовий ланцюг\( \bs{X} = \{X_t: t \in [0, \infty)\} \) є нескорочуваним і повторюваним. Щоб уникнути дрібниць, ми також будемо вважати, що\( S \) має принаймні два стани. Таким чином, відсутні поглинаючі стани і так далі\( \lambda(x) \gt 0 \)\( x \in S \). Ось основний результат.

Припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) є нескоротним і рецидивуючим. Тоді\(f(y) = \lim_{t \to \infty} P_t(x, y)\) існує для кожного\( y \in S \), незалежно від\( x \in S \). \( f \)Функція інваріантна для\( \bs{X} \) і\[ f(y) = \frac{\gamma_x(y)}{\mu(x)}, \quad y \in S \]

1. Якщо\( \bs{X} \) нульовий повторюваний, то\( f(y) = 0 \) для всіх\( y \in S \).
2. Якщо\( \bs{X} \) позитивний рецидивуючий то\( f(y) \gt 0 \) для всіх\( y \in S \) і\( \sum_{y \in S} f(y) = 1 \).

Доказ ескізу

Основна ідея полягає в тому, що\[ \lim_{t \to \infty} P_t(x, y) = \lim_{t \to \infty} \frac{1}{t} \int_0^t P_s(x, y) ds \] вираз праворуч - це гранична частка часу, проведеного в\( y \in S \), починаючи з\( x \in S \). Ця пропорція є\( \gamma_x(y) \big/ \mu(x) \), тому результати випливають з теореми вище.

Граничну функцію\( f \) можна обчислити декількома способами. Спочатку ми знаходимо функцію\( g: S \to (0, \infty) \), яка є інваріантною для\( \bs{X} \). Ми можемо це зробити, вирішивши

• \( g P_t = g \)для\( t \in (0, \infty) \)
• \( g G = 0 \)
• \( g (\alpha U_\alpha) = g \)для\( \alpha \in (0, \infty) \)
• \( h Q = h \)а потім\( g = h / \lambda \)

Функція\( g \) є унікальною аж до множення на позитивні константи. Якщо\( \sum_{x \in S} g(x) \lt \infty \), то ми знаходимося в позитивному повторюваному випадку і так\( f \) просто\( g \) нормалізується:\[ f(y) = \frac{g(y)}{\sum_{x \in S} g(x)}, \quad y \in S \]

Наступний результат відомий як ергодична теорема для марковських ланцюгів безперервного часу. Його також можна розглядати як сильний закон великих чисел для безперервного часу марковських ланцюгів.

Припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) є незведеним і позитивним рецидивом, з (унікальною) інваріантною функцією щільності ймовірності\( f \). Якщо\( h: S \to \R \) то\[ \frac{1}{t} \int_0^t h(X_s) ds \to \sum_{x \in S} f(x) h(x) \text{ as } t \to \infty \] з ймовірністю 1, припускаючи, що сума справа сходиться абсолютно.

Нотатки

По-перше, нехай\( x, \, y \in S \) і нехай\( h = \bs{1}_y \), індикаторна функція\( y \). Потім дається\( X_0 = x \),\( \frac{1}{t} \int_0^t h(X_s) ds \) це середній час заняття в штаті\( y \), починаючи в штаті\( x \), за часовим інтервалом\( [0, t] \). У очікуваному значенні це те,\( \frac{1}{t} \int_0^t P_s(x, y) ds \) що ми знаємо, сходиться до\( f(y) \) як\( t \to \infty \), незалежно від\( x \). Таким чином, в цьому особливому випадку ергодична теорема стверджує, що збіжність з ймовірністю 1 також. Загальна функція\( h: S \to \R \) - це лінійна комбінація індикаторних функцій точок в\( S \), тому ергодична теорема є правдоподібною.

Зверніть увагу, що ніяких припущень не робиться про\( X_0 \), тому межа не залежить від початкового стану. До теперішнього часу це не повинно стати несподіванкою. Через тривалий проміжок часу ланцюг Маркова\( \bs{X} \) забуває про початковий стан. Зверніть увагу також, що\( \sum_{x \in S} f(x) h(x) \) це очікуване значення\( h \), розглядається як випадкова величина на\( S \) з мірою ймовірності, визначеною\( f \). З іншого боку,\( \frac{1}{t} \int_0^t h(X_s) ds \) це середнє значення функції часу\( s \mapsto h(X_s) \) на проміжку\( [0, t] \). Отже, ергодична теорема стверджує, що граничне середнє за часом зліва таке ж, як і просторове середнє праворуч.

Додатки та вправи

Ланцюг двох держав

В останніх кількох розділах вивчено ланцюг безперервного часу з двома станами. Наступний результат поєднує шматки разом і завершує картину.

Розглянемо безперервний час ланцюга Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \) на\( S = \{0, 1\} \) зі швидкістю переходу\( a \in (0, \infty) \) від 0 до 1 і швидкістю переходу\( b \in (0, \infty) \) від 1 до 0. Дайте кожному з наступних

1. Матриця переходу\( Q^n \) для\( \bs{Y} \) at\( n \in \N \).
2. Нескінченно малий генератор\( G \).
3. Матриця переходу\( P_t \) для\( \bs{X} \) at\( t \in [0, \infty) \).
4. Інваріантна функція щільності ймовірності для\( \bs{Y} \).
5. Інваріантна функція щільності ймовірності для\( \bs{X} \).
6. Обмежуюча поведінка\( Q^n \) як\( n \to \infty \).
7. Обмежуюча поведінка\( P_t \) як\( t \to \infty \).

Відповідь

Відзначимо, що оскільки показники переходу\( a \) і\( b \) є позитивними, ланцюжок є нескорочуваною.

1. Спочатку,\( Q = \left[\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} \right] \) а потім для\( n \in \N \),\( Q^n = Q \) якщо\( n \) непарно, а\( Q^n = I \) якщо\( n \) парне.
2. \( G = \left[\begin{matrix} -a & a \\ b & -b \end{matrix} \right] \).
3. \( P_t = \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] - \frac{1}{a + b} e^{-(a + b)t} \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right]\)для\( t \in [0, \infty) \).
4. \( f_d = \left[\begin{matrix} \frac{1}{2} & \frac{1}{2} \end{matrix}\right] \)
5. \( f_c = \left[\begin{matrix} \frac{b}{a + b} & \frac{a}{a + b} \end{matrix} \right]\)
6. Як в (а), так\( Q^{2 n} = I \) і\( Q^{2 n + 1} = Q \) для\( n \in \N \). Таким чином, є два підпослідовних межі. Ланцюг\( \bs{Y} \) стрибків періодична з періодом 2.
7. \( P_t \to \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] \)як\( t \to \infty \). Кожен ряд є\( f_c \).

Обчислювальні вправи

Наступний безперервний часовий ланцюг також вивчався в попередніх трьох розділах.

Розглянемо ланцюжок Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \) on\( S = \{0, 1, 2\} \) з функцією експоненціального параметра\( \lambda = (4, 1, 3) \) та матрицею переходу стрибка\[ Q = \left[\begin{matrix} 0 & \frac{1}{2} & \frac{1}{2} \\ 1 & 0 & 0 \\ \frac{1}{3} & \frac{2}{3} & 0\end{matrix}\right] \]

1. Згадаймо матрицю генератора\( G \).
2. Знайти інваріантну функцію щільності ймовірності\( f_d \) для\( \bs{Y} \) розв'язування\( f_d Q = f_d \).
3. Знайти інваріантну функцію щільності ймовірності\( f_c \) для\( \bs{X} \) розв'язування\( f_c G = 0 \).
4. Переконайтеся, що\( \lambda f_c \) це кратна\( f_d \).
5. Опишіть обмежуючу поведінку\( Q^n \) як\( n \to \infty \).
6. Опишіть обмежуючу поведінку\( P_t \) як\( t \to \infty \).
7. Перевірте результат в (f), згадавши матрицю переходу\( P_t \) для\( \bs{X} \) at\( t \in [0, \infty) \).

Відповідь

1. \( G = \left[\begin{matrix} -4 & 2 & 2 \\ 1 & -1 & 0 \\ 1 & 2 & -3 \end{matrix}\right] \)
2. \( f_d = \frac{1}{14} \left[\begin{matrix} 6 & 5 & 3 \end{matrix} \right] \)
3. \( f_c = \frac{1}{15} \left[\begin{matrix} 3 & 10 & 2 \end{matrix} \right] \)
4. \( \lambda f_c = \frac{1}{15} \left[\begin{matrix} 12 & 10 & 6\end{matrix} \right] = \frac{28}{15} f_d\)
5. \( Q^n \to \frac{1}{14} \left[\begin{matrix} 6 & 5 & 3 \\ 6 & 5 & 3 \\ 6 & 5 & 3 \end{matrix} \right] \)як\( n \to \infty \)
6. \( P_t \to \frac{1}{15} \left[\begin{matrix} 3 & 10 & 2 \\ 3 & 10 & 2 \\ 3 & 10 & 2 \end{matrix}\right] \)як\( t \to \infty \)
7. \( P_t = \frac{1}{15} \left[\begin{matrix} 3 + 12 e^{-5 t} & 10 - 10 e^{-3 t} & 2 - 12 e^{-5 t} + 10 e^{-3 t} \\ 3 - 3 e^{-5 t} & 10 + 5 e^{-3 t} & 2 + 3 e^{-5t} - 5 e^{-3 t} \\ 3 - 3 e^{-5 t} & 10 - 10 e^{-3 t} & 2 + 3 e^{-5 t} + 10 e^{-3 t} \end{matrix}\right] \)для\( t \in [0, \infty) \)

Спеціальні моделі

Прочитайте обговорення стаціонарних і граничних розподілів для ланцюгів, підлеглих процесу Пуассона.

Прочитайте обговорення стаціонарних та обмежувальних розподілів для ланцюгів безперервного часу народження-смерті.

Прочитайте обговорення класифікації та обмежувальних розподілів для ланцюгів черг безперервного часу.