16.16: Матриці переходів та генератори ланцюгів безперервного часу

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)\(\newcommand{\var}{\text{var}}\)

16. Матриці переходів та генератори безперервно-часових ланцюгів

Попередні етапи

Це другий з трьох вступних розділів про безперервно-часових марковських ланцюгах. Таким чином, припустимо,\( \bs{X} = \{X_t: t \in [0, \infty)\} \) що марковський ланцюг безперервного часу визначено на базовому просторі ймовірностей\( (\Omega, \mathscr{F}, \P) \) та з простором стану\( (S, \mathscr{S}) \). За самим значенням ланцюга Маркова множина станів\( S \) є підрахунковою, а\( \sigma \) -алгебра\( \mathscr{S} \) - це сукупність всіх підмножин\( S \). Таким чином, кожна підмножина\( S \) вимірюється, як і кожна функція від\( S \) до іншого вимірюваного простору. Нагадаємо,\( \mathscr{S} \) що також\( \sigma \) алгебра Бореля відповідає дискретної топології на\( S \). За допомогою цієї топології кожна функція від\( S \) до іншого топологічного простору є безперервною. Міра підрахунку\( \# \) є природною мірою на\( (S, \mathscr{S}) \), тому в контексті загального введення\( S \) інтеграли над просто суми. Крім того, ядра на\( S \) можна розглядати як матриці, з рядками та сумами, проіндексованими\( S \). Операції лівого та правого ядра є узагальненням множення матриць.

Простір функцій на\( S \) відіграє важливу роль. \( \mathscr{B} \)Дозвольте позначити сукупність обмежених функцій\( f: S \to \R \). При звичайних точкових визначеннях додавання і скалярного множення,\( \mathscr{B} \) являє собою векторний простір. Норма supremum on\( \mathscr{B} \)\( S \) задається\[ \|f\| = \sup\{\left|f(x)\right|: x \in S\}, \quad f \in \mathscr{B} \] Звичайно, якщо скінченна,\( \mathscr{B} \) є множиною всіх реальних функцій on\( S \), and\( \|f\| = \max\{\left|f(x)\right|: x \in S\}\) for\(f \in \mathscr{B} \).

В останньому розділі ми вивчали з\( \bs{X} \) точки зору того, коли і як змінюється стан. Коротко ознайомимося з оглядом, давайте\( \tau = \inf\{t \in (0, \infty): X_t \ne X_0\} \). Припускаючи, що\( \bs{X} \) це право безперервно, властивість Маркова\( \bs{X} \) має на увазі властивість без пам'яті\( \tau \), і, отже, розподіл\( \tau \) заданого\( X_0 = x \) є експоненціальним з параметром\( \lambda(x) \in [0, \infty) \) для кожного\( x \in S \). Припущення правильної безперервності виключає патологічну можливість\( \lambda(x) = \infty \), що означало б, що\( x \) це миттєвий стан, так що\( \P(\tau = 0 \mid X_0 = x) = 1 \). З іншого боку, якщо\( \lambda(x) \in (0, \infty) \) тоді\( x \) є стабільним станом, так що\( \tau \) має належний експоненціальний розподіл, заданий\( X_0 = x \) с\( \P(0 \lt \tau \lt \infty \mid X_0 = x) = 1 \). Нарешті, якщо\( \lambda(x) = 0 \) тоді\( x \) є поглинаючим станом, так що\( \P(\tau = \infty \mid X_0 = x) = 1 \). Далі визначаємо послідовність часу зупинки: First\( \tau_0 = 0 \) and\( \tau_1 = \tau\). Рекурсивно, якщо\( \tau_n \lt \infty \) потім\( \tau_n = \inf\left\{t \gt \tau_n: X_t \ne X_{\tau_n}\right\} \), а якщо\( \tau_n = \infty \) тоді\( \tau_{n+1} = \infty \). З\( M = \sup\{n \in \N: \tau_n \lt \infty\} \) ми визначаємо,\( Y_n = X_{\tau_n} \) якщо\( n \in \N \) з\( n \le M \) і\( Y_n = Y_M \) якщо\( n \in \N \) з\( n \gt M \). Послідовність\( \bs{Y} = (Y_0, Y_1, \ldots) \) являє собою дискретний марковський ланцюжок на\( S \) з одноступінчастою матрицею переходу,\( Q \)\(Q(x, y) = \P(X_\tau = y \mid X_0 = x)\) заданою\( x, \, y \in S \) if зі\( x \) стабільним, а\( Q(x, x) = 1\) якщо\( x \in S \) поглинає. Припускаючи, що\( \bs{X} \) це регулярне, що означає, що,\( \tau_n \to \infty \) як і\( n \to \infty \) з ймовірністю 1 (виключаючи вибухові події нескінченно багатьох переходів за скінченний час), структура повністю\( \bs{X} \) визначається послідовністю зупинок часу \( \bs{\tau} = (\tau_0, \tau_1, \ldots) \)і дискретний стрибок ланцюга часу\( \bs{Y} = (Y_0, Y_1, \ldots) \). Аналітично розподіл\( \bs{X} \) визначається функцією експоненціальних параметрів\( \lambda \) і одноступінчастою матрицею переходу ланцюга\( Q \) стрибків.

У цьому розділі ми вивчимо ланцюг\( \bs{X} \) Маркова з точки зору матриць переходу в безперервний час і принципово важливу матрицю, відому як генератор. Природно, що зв'язку між двома точками зору особливо цікаві.

Перехідна напівгрупа

Визначення та основні властивості

Перша частина нашого обговорення дуже схожа на обробку загальних марковських процесів, за винятком спрощень, викликаних дискретним простором станів. Припускаємо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це ланцюг Маркова на\( S \).

Матриця\( P_t \) ймовірності переходу\( \bs{X} \)\( t \in [0, \infty) \) відповідає,\[ P_t(x, y) = \P(X_t = y \mid X_0 = x), \quad (x, y) \in S^2 \] зокрема\( P_0 = I \), матриця ідентичності на\( S \)

Доказ

Відображення\( y \mapsto P_t(x, y) \) - це PDF-файл\( X_t \) даного\( X_0 = x \). \( P_t \)Звідси і матриця ймовірностей. Тобто\( P_t(x, y) \ge 0 \) за\( (x, y) \in S^2 \) і\( \sum_{y \in S} P_t(x, y) = 1 \) за\( x \in S \). Тривіально,\( P_0 = I \) за визначенням.

Зауважимо, що оскільки ми припускаємо, що ланцюг Маркова\[ P_t(x, y) = \P(X_{s + t} = y \mid X_s = x), \quad (x, y) \in S^2 \] однорідна, для кожного\( s, \, t \in [0, \infty) \). Рівняння Чапмана-Колмогорова, наведене далі, є по суті ще одним повторенням властивості Маркова. Рівняння названо на ім'я Андрія Колмогорова і Сіднея Чепмена,

Припустимо, що\( \bs{P} = \{P_t: t \in [0, \infty)\} \) це збірка матриць переходу для ланцюга\( \bs{X} \). Тоді\( P_s P_t = P_{s+t} \) для\( s, \, t \in [0, \infty) \). Явно,\[ P_{s+t}(x, z) = \sum_{y \in S} P_s(x, y) P_t(y, z), \quad x, \, z \in S \]

Доказ

Ми умовимо на\( X_s \). \[ P_{s+t}(x, z) = \P(X_{s + t} = z \mid X_0 = x) = \sum_{y \in S} \P(X_{s+t} = z \mid X_s = y, X_0 = x) \P(X_s = y \mid X_0 = x) \]Але за марківським і часом однорідні властивості,\[ \P(X_{s+t} = z \mid X_s = y, X_0 = x) = \P(X_{s+t} = z \mid X_s = y) = P_t(y, z) \] звичайно за визначенням,\( \P(X_s = y \mid X_0 = x) = P_s(x, y) \). Таким чином, перше відображене рівняння вище стає\[ P_{s+t}(x, y) = \sum_{y \in S} P_s(x, y) P_t(y, z) = P_s P_t(x, z) \]

Повторена в іншій формі жаргону, колекція\( \bs{P} = \{P_t: t \in [0, \infty)\} \) являє собою півгрупу матриць ймовірностей. Напівгрупа перехідних матриць\( \bs{P}\), поряд з початковим розподілом, визначають скінченновимірні розподіли\( \bs{X} \).

Припустимо, що\( X_0 \) має функцію щільності ймовірності\( f \). Якщо\( (t_1, t_2, \ldots, t_n) \in [0, \infty)^n \) є часовою послідовністю з\( 0 \lt t_1 \lt \cdots \lt t_n \) і\( (x_0, x_1, \ldots, x_n) \in S^{n+1} \) є послідовністю стану, то\[ \P\left(X_0 = x_0, X_{t_1} = x_1, \ldots X_{t_n} = x_n\right) = f(x_0) P_{t_1}(x_0, x_1) P_{t_2 - t_1}(x_1, x_2) \cdots P_{t_n - t_{n-1}}(x_{n-1}, x_n) \]

Доказ

Щоб спростити позначення, ми просто наведемо відмінки\( n = 1 \) і\( n = 2 \), які фіксують суть доказу. Спочатку припустимо\( x, \, y \in S \) і\( t \in [0, \infty) \). Тоді\[ \P(X_0 = x, X_t = y) = \P(X_0 = x) \P(X_t = y \mid X_0 = x) = f(x) P_t(x, y) \] Далі припустимо, що\( x, \, y, \, z \in S \) і\( s, \, t \in [0, \infty) \) с\( s \lt t \). Тоді\[ \P(X_0 = x, X_s = y, X_t = z) = \P(X_t = z \mid X_0 = x, X_s = y) \P(X_0 = x, X_s = y) \] Але за марківським і часом однорідним властивостям,\( \P(X_t = z \mid X_0 = x, X_s = y) = P_{t - s}(y, z) \). До\( n = 1 \) речі,\( \P(X_0 = x, X_s = y) = f(x) P_s(x, y) \). Звідси\[ \P(X_0 = x, X_s = y, X_t = z) = f(x) P_s(x, y) P_{t-s}(y, z) \]

Як і будь-яка матриця на\( S \), матриці переходу визначають ліву та праву операції над функціями, які є узагальненням множення матриць. Для матриці переходу обидва мають природні інтерпретації.

Припустимо\( f: S \to \R \), що, і що або\( f \) є ненегативним або\( f \in \mathscr{B} \). Тоді для\( t \in [0, \infty) \),\[ P_t f(x) = \sum_{y \in S} P_t(x, y) f(y) = \E[f(X_t) \mid X_0 = x], \quad x \in S \] Відображення\( f \mapsto P_t f \) є обмеженим, лінійним оператором на\( \mathscr{B} \) і\( \|P_t\| = 1 \).

Доказ

Оскільки\( P_t(x, \cdot) \) є умовною функцією щільності ймовірності\( X_t \) заданої\( X_0 = x \), то випливає, що\( P_t f(x) = \E[f(X_t) \mid X_0 = x] \). Твердження про\( f \mapsto P_t f \) випливає із загальних результатів щодо ймовірності ядер.

Якщо\( f \) ненегативний і\( S \) нескінченний, то можливо, що\( P_t f(x) = \infty \). Загалом, ліва операція позитивного ядра діє на позитивні заходи на державному просторі. У налаштуванні тут, якщо\( \mu \) є додатною мірою (Борель)\( (S, \mathscr{S}) \), то функція,\( f: S \to [0, \infty) \) задана\( f(x) = \mu\{x\} \) for,\( x \in S \) є функцією щільності щодо міри підрахунку\( \# \) на\( (S, \mathscr{S}) \).\( \mu \) Це просто означає, що\( \mu(A) = \sum_{x \in A} f(x) \) для\( A \subseteq S \). І навпаки\( f: S \to [0, \infty) \), задана функція множини\( \mu(A) = \sum_{x \in A} f(x) \) для\( A \subseteq S \) визначає позитивну міру on\( (S, \mathscr{S}) \) with\( f \) як свою функцію щільності. Таким чином, для лівої операції\( P_t \), це природно, щоб розглянути тільки ненегативні функції.

\[ f P_t(y) = \sum_{x \in S} f(x) P_t(x, y), \quad y \in S\]Якщо\( f: S \to [0, \infty) \) тоді If\( X_0 \) має функцію щільності ймовірності,\( f \) то\( X_t \) має функцію щільності ймовірності\( f P_t \).

Доказ

Якщо\( X_0 \) має PDF\( f \), то кондиціонування дає\[ \P(X_t = y) = \sum_{x \in S} \P(X_t = y \mid X_0 = x) \P(X_0 = x) = \sum_{x \in S} P_t(x, y) f(x) = f P_t(x), \quad y \in S \]

Більш загально, якщо\( f \) функція щільності позитивної міри\( \mu \) на,\( (S, \mathscr{S}) \) то\( f P_t \) це функція щільності міри\( \mu P_t \), визначена\[ \mu P_t(A) = \sum_{x \in S} \mu\{x\} P_t(x, A) = \sum_{x \in S} f(x) P_t(x, A), \quad A \subseteq S \]

Функція\( f : S \to [0, \infty) \) є інваріантною для ланцюга Маркова\(\bs{X}\) (або для перехідної напівгрупи\( \bs{P} \)), якщо\( f P_t = f \) для кожного\( t \in [0, \infty) \).

Звідси випливає, що якщо\( X_0 \) має інваріантну функцію щільності ймовірності\( f \), то\( X_t \) має функцію щільності ймовірності\( f \) для кожного\( t \in [0, \infty) \), тому\( \bs{X} \) розподіляється однаково. Інваріантні та граничні розподіли принципово важливі для марковських ланцюгів безперервного часу.

Стандартні напівгрупи

Припустимо ще раз, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це ланцюг Маркова на\( S \) з перехідною напівгрупою\( \bs{P} = \{P_t: t \in [0, \infty)\} \). Знову ж таки, слід нав'язувати припущення про\( \bs{X} \) безперервність, щоб виключити дивну поведінку, яка інакше сильно ускладнила б теорію. З точки зору перехідної напівгрупи\( \bs{P} \), ось основне припущення:

Перехідна напівгрупа\( \bs{P} \) стандартна\( P_t(x, x) \to 1 \), якщо є\( t \downarrow 0 \) для кожної\( x \in S \).

Оскільки\( P_0(x, x) = 1 \) для\( x \in S \), стандартне припущення явно є припущенням безперервності. Це насправді має на увазі набагато сильніші властивості гладкості, які ми будемо нарощувати поетапно.

Якщо перехідна напівгрупа\( \bs{P} = \{P_t: t \in [0, \infty)\} \) стандартна, то функція\( t \mapsto P_t(x, y) \) є правильною безперервною для кожної\( (x, y) \in S^2 \).

Доказ

Спочатку зверніть увагу, що якщо\( (x, y) \in S^2 \) з\( x \ne y \) то\( P_h(x, y) \le 1 - P_h(x, x) \to 0 \) як\( h \downarrow 0 \). Звідси\( P_h(x, y) \to I(x, y) \) як\( h \downarrow 0 \) і для всіх\( (x, y) \in S^2 \). Припустимо, що поруч, що\( t \in (0, \infty) \) і\( (x, y) \in S^2 \). За напівгруповим властивістю,\[ P_{t+h}(x, y) = P_t P_h(x, y) = \sum_{z \in S} P_t(x, z) P_h(z, y) \] Але\( P_h(z, y) \to I(z, y) \) як\( h \downarrow 0 \) і по обмеженій теоремі збіжності,\( P_{t+h}(x, y) \to P_t(x, y) \) як\( h \downarrow 0 \).

Наш наступний результат пов'язує одне з основних припущень у розділі про час переходу та вбудований ланцюжок зі стандартним припущенням тут.

Якщо ланцюг Маркова не\( \bs{X} \) має миттєвих станів, то перехідна напівгрупа\( \bs{P}\) стандартна.

Доказ

Наведено\( X_0 = x \in S \) зауваження, що\( \tau \gt t \) має на увазі\( X_t = x \). Звідси\[ P_t(x, x) = \P(X_t = x \mid X_0 = x) \ge \P(\tau \gt t \mid X_0 = x) = e^{-\lambda(x) t} \] Since не\( \bs{X} \) має миттєвих станів,\( 0 \le \lambda(x) \lt \infty\) так\( e^{-\lambda(x) t} \to 1 \) як\( t \downarrow 0 \).

Нагадаємо, що неіснування миттєвих станів по суті еквівалентно правій безперервності\( \bs{X} \). Таким чином, у нас є хороший результат,\( \bs{X} \) що якщо правильно безперервно, то так є\( \bs{P} \). Для решти нашого обговорення ми припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це регулярний ланцюжок Маркова на\( S \) з перехідною напівгрупою\( \bs{P} = \{P_t: t \in [0, \infty)\} \), експоненціальною функцією\( \lambda \) та одноступінчастою матрицею переходу\( Q \) для ланцюга стрибка. Наш наступний результат - фундаментальні інтегральні рівняння\( \bs{P} \), що стосуються\( \lambda \), і\( Q \).

Для\( t \in [0, \infty) \),\[ P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \int_0^t \lambda(x) e^{-\lambda(x) s} Q P_{t - s} (x, y) \, ds, \quad (x, y) \in S^2 \]

Доказ

Якщо\( x \) є поглинаючим станом, то рівняння тривіально тримає, так як\( \lambda(x) = 0 \) і\( P_t(x, y) = I(x, y) \). Так що припустимо, що\( x \) це стабільний стан, і як вище, нехай\( \tau = \inf\{t \in [0, \infty): X_t \ne X_0\} \). Задано\( X_0 = x \),\( \tau \) має належний експоненціальний розподіл з параметром\( \lambda(x) \in (0, \infty) \). Беручи випадки,\[ P_t(x, y) = \P(X_t = y \mid X_0 = x) = \P(X_t = y, \tau \gt t \mid X_0 = x) + \P(X_t = y, \tau \le t \mid X_0 = x) \] Перший член праворуч дорівнює 0 якщо\( y \ne x \) і є\( \P(\tau \gt t \mid X_0 = x) = e^{-\lambda(x) t} \) якщо\( y = x \). Коротше кажучи,\[ \P(X_t = y, \tau \gt t \mid X_0 = x) = I(x, y) e^{-\lambda(x)s} \] для другого члена праворуч у відображеному рівнянні ми умова на\( \tau \) і\( Y_1 = X_\tau \). За результатом в останньому розділі про часи переходу і вбудованому ланцюжку, спільний PDF\( (\tau, Y_1) \) at\( s \in [0, \infty) \) і\( z \in S \), заданий\( X_0 = x \), є\( \lambda(x) e^{-\lambda(x) s} Q(x, z) \) (безперервним у часі, дискретним у просторі). Крім того, враховуючи\(\tau = s \in [0, t] \) і\( Y_1 = z \in S \), ми можемо використовувати сильну властивість Маркова, щоб перезапустити годинник при\( s \) даванні\[ \P(X_t = y \mid X_0 = x, \tau = s, Y_1 = z) = \P(X_{t-s} = y \mid X_0 = z) = P_{t-s}(z, y) \] Збираючи шматки разом у нас є\[ \P(X_t = y, \tau \le t \mid X_0 = x) = \int_0^t \lambda(x) e^{-\lambda(x) s} \sum_{z \in S} Q(x, z) P_{t-s}(z, y) \, ds = \int_0^t \lambda(x) e^{-\lambda(x) s} QP_{t - s} (x, y) \, ds\]

Тепер ми можемо покращити результат безперервності, який ми отримали раніше. Спочатку нагадаємо призводить до відношення для ланцюга стрибка\( \bs{Y} \): Для\( (x, y) \in S^2 \),\( x \) призводить до\( y \) якщо\( Q^n(x, y) \gt 0 \) для деяких\( n \in \N \). Так за визначенням,\( x \) призводить до\( x \) для кожного\( x \in S \), і для\( (x, y) \in S^2 \) з\( x \ne y \),\( x \) призводить до\( y \) якщо і тільки якщо дискретний час ланцюг, починаючи в\( x \) кінцевому підсумку досягає\( y \) з позитивною ймовірністю.

Для\( (x, y) \in S^2 \),

1. \( t \mapsto P_t(x, y) \)є безперервним.
2. Якщо\( x \) призводить до\( y \) то\( P_t(x, y) \gt 0 \) для кожного\( t \in (0, \infty) \).
3. Якщо\( x \) не призводить до\( y \) то\( P_t(x, y) = 0 \) для кожного\( t \in (0, \infty) \).

Для\( t \in [0, \infty) \), ми можемо використовувати зміну змінних\( r = t - s \) в фундаментальному інтегральному рівнянні, щоб отримати\[ P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \lambda(x) e^{-\lambda(x) t} \int_0^t e^{\lambda(x) r} Q P_r (x, y) \, dr, \quad (x, y) \in S^2 \]

Доказ

1. У відображеному рівнянні,\( r \mapsto P_r(x, y) \) є правильним безперервним для кожного\( (x, y) \in S^2 \), а отже, обмеженою теоремою збіжності знову, так і є\( r \mapsto QP_r(x, y) \). Оскільки інтеграл у відображуваному рівнянні обмежений і правий неперервний, інтеграл є неперервною функцією\( t \). Звідси\( t \mapsto P_t(x, y) \) є безперервним для\( (x, y) \in S^2 \).
2. Для\( x \in S \), зверніть увагу, що\( P_t(x, x) \ge e^{-\lambda(x) t} \gt 0 \) для\( t \in [0, \infty) \). Якщо\( x \) призводить до\( y \) і\( x \ne y \) то існує\( n \in \N_+ \) і\( (x_1, x_2, \ldots, x_{n-1}) \in S^{n-1} \) таке, що\( Q(x, x_1) \gt 0, \, \ldots Q(x_{n-1}, y) \gt 0\). Тоді\[ P_t(x, y) = \P(X_t = y \mid X_0 = x) \ge \P(Y_1 = x_1, \ldots, Y_{n-1} = x_{n-1}, Y_n = y, \tau_n \le t \lt \tau_{n+1}) \gt 0 \]
3. Це зрозуміло з визначення вбудованої ланцюга\( \bs{Y} \).

Частини (b) і (c) відомі як дихотомія Леві, названа на честь Пола Леві. Довести дихотомію Леві можна лише з властивості напівгрупи\( \bs{P} \), але цей доказ значно складніший. У світлі дихотомії призводить до відношення явно має сенс для безперервного ланцюга часу, а\( \bs{X} \) також вбудованого ланцюга дискретного часу\( \bs{Y} \).

Генератор матриці

Визначення та основні властивості

У цій дискусії ми знову припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це регулярний ланцюжок Маркова на\( S \) з перехідною напівгрупою\( \bs{P} = \{P_t: t \in [0, \infty)\} \), функцією експоненціального параметру\( \bs{\lambda} \) та матрицею одноступінчастого переходу\( Q \) для вбудованого ланцюга стрибків. Фундаментальне інтегральне рівняння вище тепер означає, що матриця ймовірностей переходу\( P_t \) диференційовна в\( t \). Похідна при особливо\( 0 \) важлива.

Матрична функція\( t \mapsto P_t \) має (праву) похідну в 0:\[ \frac{P_t - I}{t} \to G \text { as } t \downarrow 0 \] де нескінченно мала матриця генератора\( G \) задається\( G(x, y) = -\lambda(x) I(x, y) + \lambda(x) Q(x, y) \) for\( (x, y) \in S^2 \).

Доказ

Як і раніше зміна змінних\( r = t - s \) в фундаментальному інтегральному рівнянні дає\[ P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \lambda(x) e^{-\lambda(x) t} \int_0^t e^{\lambda(x) r} Q P_r (x, y) \, dr \] Перший член чітко диференційовний в\( t \), а другий член також диференційовний,\( t \) оскільки тепер ми знаємо, що integrand є безперервною функцією\( r \). Результат потім випливає зі стандартного обчислення.

Зверніть увагу, що\( \lambda(x) Q(x, x) = 0 \) для кожного\( x \in S \), так як\( \lambda(x) = 0 \)\( x \) це поглинає, в той\( Q(x, x) = 0 \) час як\( x \) він стабільний. Так і\( G(x, x) = -\lambda(x) \) для\( x \in S \), і\( G(x, y) = \lambda(x) Q(x, y) \) для\( (x, y) \in S^2 \) с\( y \ne x \). Таким чином, матриця генератора\( G \) визначає функцію експоненціального параметра\( \lambda \) і матрицю переходу стрибка\( Q \), і таким чином визначає розподіл ланцюга Маркова\( \bs{X} \).

З огляду на матрицю\( G \) генератора\( \bs{X} \),

1. \( \lambda(x) = -G(x, x) \)для\( x \in S \)
2. \( Q(x, y) = - G(x, y) \big/ G(x, x)\)якщо\( x \in S \) є стабільним і\( y \in S - \{x\} \)

Нескінченно малий генератор має приємну інтерпретацію з точки зору нашого обговорення в останньому розділі. Нагадаємо, що коли ланцюг вперше входить в стабільний стан\( x \), ми встановлюємо незалежні, експоненціально розподілені таймери на (x, y), для кожного\( y \in S - \{x\} \). Зауважте, що\( G(x, y) \) це експоненціальний параметр для таймера увімкнено\( (x, y) \). Як тільки для конкретного пролунає тривога\( (x, y) \), ланцюг переходить в стан\( y \) і процес триває.

Матриця генератора\( G \) задовольняє наступним властивостям для кожного\( x \in S \):

1. \( G(x, x) \le 0 \)
2. \( \sum_{y \in S} G(x, y) = 0 \)

\( t \mapsto P_t \)Матрична функція диференційовна на\( [0, \infty) \), і задовольняє зворотному рівнянню Колмогорова:\( P^\prime_t = G P_t \). Явно,\[ P^\prime_t(x, y) = -\lambda(x) P_t(x, y) + \sum_{z \in S} \lambda(x) Q(x, z) P_t(z, y), \quad (x, y) \in S^2 \]

Доказ

Доказ так само, як і раніше, і випливає зі стандартного числення та інтегрального рівняння\[ P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \lambda(x) e^{-\lambda(x) t} \int_0^t e^{\lambda(x) r} Q P_r (x, y) \, dr \]

Відстале рівняння названо на ім'я Андрія Колмогорова. У безперервний час перехідна напівгрупа\( \bs{P} = \{P_t: t \in [0, \infty)\} \) може бути отримана з одиночної, генераторної матриці\( G \) таким чином, що нагадує той факт, що в дискретний час перехідна напівгрупа\( \bs{P} = \{P^n: n \in \N\} \) може бути отримана з одиночної, одноступінчастої матриці\( P \). З точки зору моделювання ми часто починаємо з матриці генератора,\( G \) а потім вирішуємо зворотне рівняння, за умови початкової умови\( P_0 = I \), для отримання напівгрупи перехідних матриць\( \bs{P} \).

Як і будь-яка матриця включена\( S \), матриця генератора\( G \) визначає операції вліво і вправо над функціями, аналогічними звичайному множенню матриці. Правильна операція визначена для функцій в\( \mathscr{B} \).

Якщо\( f \in \mathscr{B} \) потім\( Gf \) дається\[ G f(x) = -\lambda(x) f(x) + \sum_{y \in S} \lambda(x) Q(x, y) f(y), \quad x \in S \]

Доказ

За визначенням,\[ G f(x) = \sum_{y \in S} G(x, y) f(y) = -\lambda(x) f(x) + \sum_{y \in S - \{x\}} \lambda(x) Q(x, y) f(y) \] У другому семестрі ми можемо підсумувати все,\( y \in S \) оскільки\( \lambda(x) = 0 \) якщо\( x \) поглинає, а\( Q(x, x) = 0 \) якщо\( x \) стабільний. Зверніть увагу, що\( G f \) це добре визначено, оскільки\[ \sum_{y \in S-\{x\}} \lambda(x) Q(x, y) \left|f(x)\right| \le \sum_{y \in S-\{x\}} \lambda(x) Q(x, y) \|f\| = \lambda(x) \|f\| \]

Але зверніть увагу,\( G f \) що не в\( \mathscr{B} \) хіба що\( \lambda \in \mathscr{B} \). Без цього додаткового припущення\( G \) є лінійним оператором з\( \mathscr{B} \) векторного простору обмежених функцій\( S \)\( \R \) from to у векторний простір усіх функцій від\( S \) до\( \R \). Ми повернемося до цього моменту в нашому наступному обговоренні.

Однорідні перехідні напівгрупи

Ми можемо отримати більш сильні результати для матриці генератора, якщо ми накладемо на більш сильні припущення безперервності\( \bs{P} \).

Перехідна напівгрупа\( \bs{P} = \{P_t: t \in [0, \infty)\} \) є рівномірною\( P_t(x, x) \to 1 \), якщо\( t \downarrow 0 \) рівномірно в\( x \in S \).

Якщо\( \bs{P} \) однорідна, то операторна функція\( t \mapsto P_t \) є неперервною на векторному просторі\( \mathscr{B} \).

Доказ

Твердження означає, що для\( f \in \mathscr{B} \), функція\( t \mapsto P_t f \) є безперервною по відношенню до супремум норми на\( \mathscr{B} \).

Як завжди, ми хочемо подивитися на це нове припущення з різних точок зору.

Наступні еквівалентні:

1. Перехідна напівгрупа\( \bs{P} \) однорідна.
2. Функція експоненціального параметра\( \lambda \) обмежена.
3. Генераторна\( G \) матриця визначає обмежений лінійний оператор на\( \mathscr{B} \).

Доказ

З наших зауважень вище ми знаємо, що\( \lambda \in \mathscr{B} \) якщо і тільки тоді, коли матриця генератора\( G \) визначає обмежений лінійний оператор на\( \mathscr{B} \). Таким чином, нам просто потрібно показати еквівалентність (a) і (b). Якщо\( \lambda \in \mathscr{B} \) потім\[ P_t(x, x) = \P(X_t = x \mid X_0 = x) \ge \P(\tau \gt t \mid X_0 = x) = \exp[-\lambda(x) t] \ge \exp(-\|\lambda\|t) \] Останній член сходиться до 1 як\( t \downarrow 0 \) рівномірно в\( x \).

Так що при виконанні еквівалентних умов ланцюг\( \bs X = \{X_t: t \in [0, \infty)\} \) Маркова також кажуть, що рівномірна. Як ми побачимо в більш пізньому розділі, рівномірний ланцюг Маркова безперервного часу може бути побудована з дискретного ланцюга Маркова і незалежного процесу Пуассона. Для однорідної напівгрупи переходу у нас є супутник зворотного рівняння.

Припустимо, що\( \bs{P} \) це рівномірний перехід напівгрупи. Потім\( t \mapsto P_t \) задовольняє рівняння Колмогорова вперед\( P^\prime_t = P_t G \). Явно,\[ P^\prime_t(x,y) = -\lambda(y) P_t(x, y) + \sum_{z \in S} P_t(x, z) \lambda(z) Q(z, y), \quad (x, y) \in S^2 \]

Зворотне рівняння має більшу загальність, ніж рівняння вперед, оскільки нам потрібна лише перехідна напівгрупа,\( \bs{P} \) щоб бути стандартною, а не рівномірною. Здавалося б, нам потрібні більш сильні умови, щоб тримати рівняння вперед, бо інакше це навіть не очевидно, що\( \sum_{z \in S} P_t(x, z) \lambda(z) Q(z, y) \) є кінцевим для\( (x, y) \in S \).\( \lambda \) З іншого боку, рівняння вперед іноді легше вирішити, ніж зворотне рівняння, і припущення, яке\( \lambda \) обмежене, виконується в багатьох додатках (і, звичайно, тримається автоматично, якщо\( S \) є кінцевим).

Як простий наслідок, матриці переходу і матриця генератора комутують для однорідної напівгрупи:\( P_t G = G P_t \) for\( t \in [0, \infty) \). Рівняння вперед і назад формально виглядають як диференціальні рівняння для експоненціальної функції. Це насправді тримається з оператором експоненціальний.

Припустимо ще раз, що\( \bs{P} = \{P_t: t \in [0, \infty)\} \) є рівномірним переходом напівгрупи з генератором\( G \). Тоді\[ P_t = e^{t G} = \sum_{n=0}^\infty \frac{t^n}{n!} G^n, \quad t \in [0, \infty) \]

Доказ

Перший добре\( e^{t G} \) визначається як обмежений лінійний оператор on\( \mathscr{B} \) for\( t \in [0, \infty) \) (а отже, також просто як матриця), оскільки\( G \) є обмеженим лінійним оператором on\( \mathscr{B} \). Тривіально\( e^{0 G} = I\), і за основними властивостями матриці експоненціальної,\[ \frac{d}{dt} e^{t G} = G e^{t G}, \quad t \in (0, \infty) \] випливає, що\( P_t = e^{t G} \) для\( t \in [0, \infty) \).

Можна охарактеризувати генератори однорідних перехідних напівгруп. Нам просто потрібні мінімальні умови, що діагональні записи є непозитивними, а суми рядків 0.

Припустимо\( G \), що матриця на\( S \) с\( \|G\| \lt \infty \). Тоді\( G \) є генератором однорідного переходу напівгрупи\( \bs{P} = \{P_t: t \in [0, \infty)\} \) якщо і тільки якщо для кожного\( x \in S \),

1. \( G(x, x) \le 0 \)
2. \(\sum_{y \in S} G(x, y) = 0\)

Доказ

Ми знаємо, звичайно, що якщо\( G \) є генератором перехідної напівгрупи, то умови (a) і (b) утримують. Для зворотного ми можемо використовувати попередній результат. Нехай\[ P_t = e^{t G} = \sum_{n=0}^\infty \frac{t^n}{n!} G^n, \quad t \in [0, \infty) \] що має сенс, оскільки\( G \) обмежена в нормі. Тоді\( P_t(x, y) \ge 0 \) для\( (x, y) \in S^2 \). За частиною (b),\( \sum_{y \in S} G^n(x, y) = 0 \) для кожного\( x \in S \) і\( n \in \N_+ \), отже,\( \sum_{y \in S} P_t(x, y) = \sum_{y \in S} I(x, y) = 1 \) для\( x \in S \). Нарешті, властивість напівгрупи є наслідком закону експонентів, який тримає для експоненції матриці. \[ P_s P_t = e^{s G} e^{t G} = e^{(s+t) G} = P_{s+t} \]

Приклади і вправи

Ланцюг двох держав

\( \bs{X} = \{X_t: t \in [0, \infty)\} \)Дозволяти ланцюжок Маркова на множині станів\( S = \{0, 1\} \), зі швидкістю переходу\( a \in [0, \infty) \) від 0 до 1 і швидкістю переходу\( b \in [0, \infty) \) від 1 до 0. Ця дводержавна марковський ланцюг вивчалася в попередньому розділі. Щоб уникнути тривіального випадку з обома станами поглинання, ми будемо вважати, що\( a + b \gt 0 \).

Матриця генератора\[ G = \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right] \]

Покажіть, що для\( t \in [0, \infty) \),\[ P_t = \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] - \frac{1}{a + b} e^{-(a + b)t} \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right] \]

1. Розв'язуючи зворотне рівняння Колмогорова.
2. Розв'язуючи рівняння Колмогорова вперед.
3. За допомогою обчислень\( P_t = e^{t G} \).

Ви, напевно, помітили, що рівняння вперед легше вирішити, оскільки існує менша зв'язок термінів, ніж у зворотному рівнянні.

Визначте функцію щільності ймовірності\( f \) на\( S \) by\( f(0) = \frac{b}{a + b} \),\( f(1) = \frac{a}{a + b} \). Покажіть, що

1. \( P_t \to \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] \)як\(t \to \infty \), матриця з\( f \) в обох рядках.
2. \( f P_t = f \)для всіх\( t \in [0, \infty) \), так що\( f \) є інваріантним для\( \bs{P} \).
3. \( f G = 0 \).

Обчислювальні вправи

Розглянемо ланцюжок Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \) on\( S = \{0, 1, 2\} \) з функцією експоненціальних параметрів\( \lambda = (4, 1, 3) \) та вбудованою матрицею переходу\[ Q = \left[\begin{matrix} 0 & \frac{1}{2} & \frac{1}{2} \\ 1 & 0 & 0 \\ \frac{1}{3} & \frac{2}{3} & 0\end{matrix}\right] \]

1. Намалюйте граф стану і класифікуйте стани.
2. Знайдіть матрицю генератора\( G \).
3. Знайдіть матрицю переходу\( P_t \) для\( t \in [0, \infty) \).
4. Знайти\( \lim_{t \to \infty} P_t \).

Відповідь

1. Край набір є\( E = \{(0, 1), (0, 2), (1, 0), (2, 0), (2, 1)\} \). Всі держави стабільні.
2. Матриця генератора\[ G = \left[\begin{matrix} -4 & 2 & 2 \\ 1 & -1 & 0 \\ 1 & 2 & -3 \end{matrix}\right] \]
3. Для\( t \in [0, \infty) \),\[ P_t = \frac{1}{15} \left[\begin{matrix} 3 + 12 e^{-5 t} & 10 - 10 e^{-3 t} & 2 - 12 e^{-5 t} + 10 e^{-3 t} \\ 3 - 3 e^{-5 t} & 10 + 5 e^{-3 t} & 2 + 3 e^{-5t} - 5 e^{-3 t} \\ 3 - 3 e^{-5 t} & 10 - 10 e^{-3 t} & 2 + 3 e^{-5 t} + 10 e^{-3 t} \end{matrix}\right] \]
4. \[ P_t \to \frac{1}{15} \left[\begin{matrix} 3 & 10 & 2 \\ 3 & 10 & 2 \\ 3 & 10 & 2 \end{matrix}\right] \]

Спеціальні моделі

Читайте обговорення генераторних і перехідних матриць для ланцюгів, підлеглих процесу Пуассона.

Прочитайте дискусію про нескінченно малий генератор для ланцюгів безперервного часу народження-смерть.

Прочитайте обговорення нескінченно малих генераторів для безперервних ланцюгів черги часу.

Прочитайте обговорення нескінченно малих генераторів для безперервних розгалужених ланцюгів часу.