16.20: Ланцюги, підлеглі процесу Пуассона

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)

Основна теорія

Вступ

Нагадаємо, що стандартний процес Пуассона з параметром швидкості\( r \in (0, \infty) \) передбачає три взаємопов'язаних стохастичних процесу. Спочатку послідовність часу \(\bs{T} = (T_1, T_2, \ldots) \)міжприбуття незалежна, і кожна змінна має експоненціальний розподіл з параметром\( r \). Далі послідовність часу прибуття\( \bs{\tau} = (\tau_0, \tau_1, \ldots) \) - це часткова послідовність суми, пов'язана з послідовністю інтервалу\( \bs{T} \):\[ \tau_n = \sum_{i=1}^n T_i, \quad n \in \N \] For\( n \in \N_+ \), час прибуття\( \tau_n \) має гамма-розподіл з параметрами\( n \) і\( r \). Нарешті, процес підрахунку Пуассона\( \bs{N} = \{N_t: t \in [0, \infty)\} \) визначається\[ N_t = \max\{n \in \N: \tau_n \le t\}, \quad t \in [0, \infty) \] таким чином, що\( N_t \) кількість прибуття в\( (0, t] \) for\( t \in [0, \infty) \). Змінна підрахунку\( N_t \) має розподіл Пуассона з параметром\( r t \) for\( t \in [0, \infty) \). Процес підрахунку\( \bs{N} \) і процес часу прибуття\( \bs{\tau} \) обертаються в тому сенсі, що\( \tau_n \le t \) якщо і тільки якщо\( N_t \ge n \) для\( t \in [0, \infty) \) і\( n \in \N \). Процес підрахунку Пуассона можна розглядати як ланцюг Маркова безперервного часу.

Припустимо, що\( X_0 \) приймає значення в\( \N \) і не залежить від\( \bs{N} \). Визначте\( X_t = X_0 + N_t \) для\( t \in [0, \infty) \). Потім\( \bs{X} = \{X_t: t \in [0, \infty)\} \) йде марковський ланцюжок безперервного часу\( \N \) з експоненціальною функцією параметру, заданою матрицею переходу\( \lambda(x) = r \) for\( x \in \N \) та перехідною матрицею переходу,\( Q \) заданою\( Q(x, x + 1) = 1 \) for\( x \in S \).

Доказ

Це випливає безпосередньо з базової структури безперервного марковського ланцюга часу. Враховуючи\( X_t = x \), що час утримання в стані\( x \in \N \) є експоненціальним з параметром\( r \), а наступний стан детерміновано\( x + 1 \). Зауважимо, що додавання\( X_0 \) змінної якраз дозволить нам свободу довільних початкових розподілів на просторі стану, як це відбувається з марківськими процесами.

Відзначимо, що процес Пуассона, розглядається як ланцюг Маркова, є чистою ланцюгом народження. Зрозуміло, що ми можемо узагальнити цей ланцюг маркова безперервного часу простим способом, дозволивши загальну вбудовану ланцюг стрибка.

Припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це ланцюжок Маркова з (зліченним) простором стану\( S \), і з постійним експоненціальним параметром\( \lambda(x) = r \in (0, \infty) \) for\( x \in S \), і матрицею переходу стрибка\( Q \). Тоді\( \bs{X} \), як кажуть, підпорядкований процесу Пуассона з параметром швидкості\( r \).

1. Час переходу\( (\tau_1, \tau_2, \ldots) \) - це час прибуття процесу Пуассона зі швидкістю\( r \).
2. \( (\tau_1, \tau_2 - \tau_1, \ldots) \)Міжперехідні часи - це час міжприбуття процесу Пуассона зі швидкістю\( r \) (незалежний, і кожен з експоненціальним розподілом зі швидкістю\( r \)).
3. \( \bs{N} = \{N_t: t \in [0, \infty)\} \)це процес підрахунку Пуассона, де\( N_t \) - кількість переходів в (0, t] for\( t \in [0, \infty) \).
4. Процес Пуассона і ланцюг стрибка\( \bs{Y} = (Y_0, Y_1, \ldots) \) незалежні, причому\( X_t = Y_{N_t} \) для\( t \in [0, \infty) \).

Доказ

Всі ці результати випливають з базової структури безперервного марковського ланцюга часу.

Оскільки всі держави стабільні, зверніть увагу, що ми повинні мати\( Q(x, x) = 0 \) для\( x \in S \). Відзначимо також, що для\( x, \, y \in S \)\( x \ne y \) with, параметр експоненціальної швидкості для переходу від\( x \) до\( y \) є\( \mu(x, y) = r Q(x, y) \). І навпаки, припустимо, що\( \mu: S^2 \to (0, \infty) \) задовольняє\( \mu(x, x) = 0 \) і\( \sum_{y \in S} \mu(x, y) = r \) для кожного\( x \in S \). Тоді ланцюг Маркова з заданими ставками переходу\( \mu \) підпорядковується процесу Пуассона зі ставкою\( r \). Легко побудувати ланцюг Маркова, підпорядковану процесу Пуассона.

Припустимо, що\( \bs N = \{N_t: t \in [0, \infty)\} \) це процес підрахунку Пуассона зі швидкістю,\( r \in (0, \infty) \) і\( \bs Y = \{Y_n: n \in \N\} \) це дискретний час ланцюга Маркова на\( S \), незалежно від того\( \bs N \), чия матриця переходу задовольняє\( Q(x, x) = 0 \) для кожного\( x \in S \). Нехай\( X_t = Y_{N_t} \) для\( t \in [0, \infty) \). Потім\( \bs X = \{X_t: t \in [0, \infty)\} \) йде безперервна ланцюг Маркова, підпорядкована процесу Пуассона.

Генератор і матриці переходів

Далі знайдемо матрицю генератора і напівгрупу переходу. Припустимо ще раз, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) є безперервно-часовим ланцюгом Маркова на\( S \) підпорядкованому Пуассонівському процесу зі швидкістю\( r \in (0, \infty) \) і з матрицею переходу стрибка\( Q \). Як завжди, давайте\( \bs P = \{P_t: t \in [0, \infty)\} \) позначимо перехідну напівгрупу і\( G \) нескінченно малий генератор.

\( G \)Генераторна матриця\( \bs{X} \) є\( G = r (Q - I) \). Звідси для\( t \in [0, \infty) \)

1. Зворотне рівняння Колмогорова\( P^\prime_t = r (Q - I) P_t \)
2. Рівняння вперед Колмогорова дорівнює\( P^\prime_t = r P_t (Q - I) \)

Доказ

Це випливає безпосередньо із загальної теорії, оскільки\( G(x, x) = -\lambda(x) = -r \) для\( x \in S \) і\( G(x, y) = \lambda(x) Q(x, y) = r Q(x, y) \) для виразних\( x, \, y \in S \).

Існує кілька способів знайти перехідну напівгрупу\( \bs{P} = \{P_t: t \in [0, \infty)\} \). Найкращий спосіб - ймовірнісний аргумент з використанням основного процесу Пуассона.

Для\( t \in [0, \infty) \), матриця переходу\( P_t \) задається\[ P_t = \sum_{n=0}^\infty e^{-r t} \frac{(r t)^n}{n!} Q^n \]

Доказ від основного процесу Пуассона

Нехай\( N_t \) позначимо кількість переходів в\( (0, t] \) for\( t \in [0, \infty) \), так що\( \bs{N} = \{N_t: t \in [0, \infty)\} \) це процес підрахунку Пуассона. Нехай\( \bs{Y} = (Y_0, Y_1, \ldots) \) позначимо ланцюг стрибків, з матрицею переходу\( Q \). Тоді\( \bs{N} \) і\( \bs{Y} \) є самостійними, і\( X_t = Y_{N_t} \) для\( t \in [0, \infty) \). Кондиціонування ми маємо\ почати {align*} p_t (x, y) & =\ P (x_t = y\ середина X_0 = x) =\ P\ ліво (Y_ {n_t} = y\ середина Y_0 = х\ вправо)\\ & =\ sum_ {n=0} ^\ infty\ P\ ліворуч (Y_ {n_t} = y\ mid Т = п, Y_0 = у\ праворуч)\ P (n_t = п\ середина Y_0 = у)\\ & =\ sum_ {n=0} ^\ infty\ P (Y_n = у\ середина Y_0 = х)\ P (n_t = п) =\ сума {n = 0} ^\ infty e^ {- r t}\ frac {(r t) ^n} {n!} Q^n (x, y)\ end {вирівнювати*}

Доказ за допомогою матриці генератора

Зверніть увагу спочатку, що для\( n \in \N \),\[ G^n = [r (Q - I)]^n = r^n \sum_{k = 0}^n \binom{n}{k}(-1)^{n-k} Q^k \] Отже\ begin {align*} p_t & = e^ {t G} =\ sum_ {n=0} ^\ infty\ fty\ frac {t^n} {n!} G^n =\ sum_ {n=0} ^\ infty\ Фрак {t^n} {n!} r^n\ sum_ {k=0} ^\ інфти\ біном {n} {k} (-1) ^ {n-k} q^k\ & =\ sum_ {n=0} ^\ infty\ sum_ {k=0} ^n\ frac {(r t) ^n} {k! (п - к)!} (-1) ^ {n-k} q^k =\ sum_ {k=0} ^\ infty\ sum_ {n=k} ^\ infty\ fty\ frac {(r t) ^n} {k! (п - к)!} (-1) ^ {n-k} q^k\\ & =\ sum_ {k=0} ^\ infty\ frac {(r t) ^k} {k!} Q^k\ sum_ {n=k} ^\ infty\ frac {1} {(n - k)!} (- r t) ^ {n-k} =\ сума_ {k=0} ^\ infty e^ {-r t}\ frac {(r t) ^k} {k!} Q^k\ end {вирівнювати*}

Потенційні матриці

Далі знайдемо потенційні матриці. Як і у випадку з матрицями переходу, ми можемо зробити це (принаймні) двома різними способами.

Припустимо ще раз, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) є безперервно-часовим ланцюгом Маркова на\( S \) підпорядкованому Пуассонівському процесу зі швидкістю\( r \in (0, \infty) \) і з матрицею переходу стрибка\( Q \). Для\( \alpha \in (0, \infty) \), потенційна\( U_\alpha \) матриця\( \bs{X} \) є\[ U_\alpha = \frac{1}{\alpha + r} \sum_{n=0}^\infty \left(\frac{r}{\alpha + r}\right)^n Q^n \]

Доказ з визначення

Використовуючи попередній результат,\ begin {align*} U_\ альфа (x, y) & =\ int_0^\ infty e^ {-\ альфа t} p_t (x, y)\, dt =\ int_0^\ infty e^ {-\ альфа т}\ sum_ {n=0} ^\ infty e^ {-r t}\ frac {(r t) ^n} {n!} Q^n (x, y)\, dt\\ & =\ sum_ {n=0} ^\ infty q^n (x, y)\ розбиття {r^n} {n!} \ int_0^\ infty e^ {- (r +\ alpha) t} t^n dt\ end {align*} Взаємообмін сумою та інтегралом виправданий, оскільки терміни невід'ємні. Використання зміни змінних\( s = (r + \alpha) t \) дає\[ U_\alpha(x, y) = \frac{1}{\alpha + r} \sum_{n=0}^\infty \left(\frac{r}{\alpha + r}\right)^n \frac{1}{n!} Q^n(x, y) \int_0^\infty e^{-s t} s^n \, ds \] Останній інтеграл є\( n! \).

Доказ за допомогою генератора

З результату вище,\[ \alpha I - G = \alpha I - r (Q - I) = (\alpha + r) I - r Q = (\alpha + r)\left(I - \frac{r}{\alpha + r} Q\right) \] Так як у\( \left\| \frac{r}{\alpha + r} Q \right\| = \frac{r}{\alpha + r} \lt 1 \) нас є\[ (\alpha I - G)^{-1} = \frac{1}{\alpha + r}\left(I - \frac{r}{\alpha + r} Q\right)^{-1} = \frac{1}{\alpha + r} \sum_{n=0}^\infty \left(\frac{r}{\alpha + r}\right)^n Q^n \]

Нагадаємо, що для\( p \in (0, 1) \),\( p \) -потенційна матриця стрибка ланцюга\( \bs{Y} \) є\( R_p = \sum_{n=0}^\infty p^n Q^n \). Отже, ми маємо наступний приємний зв'язок між матрицею потенціалу\( \bs{X} \) та матрицею потенціалу\( \bs{Y} \):\[ U_\alpha = \frac{1}{\alpha + r} R_{r / (\alpha + r)} \] Далі нагадаємо, що\( \alpha U_\alpha(x, \cdot) \) це функція щільності ймовірності\( X_T \) заданої\( X_0 = x \), де\( T \) має експоненціальний розподіл з параметром \( \alpha \)і не залежить від\( \bs{X} \). З іншого боку,\( \alpha U_\alpha(x, \cdot) = (1 - p) R_p(x, \cdot) \) де\( p = r \big/ (\alpha + r) \). З нашого дослідження дискретних потенціалів\( (1 - p) R_p(x, \cdot) \) відомо, що функція щільності ймовірності,\( Y_M \) де\( M \) має геометричний розподіл по\( \N \) параметру\( 1 - p \) і не залежить від\( \bs{Y} \). Але також\( X_T = Y_{N_T} \). Отже, випливає, що якщо\( T \) має експоненціальний розподіл з параметром\( \alpha \),\( \bs{N} = \{N_t: t \in [0, \infty)\} \) є процесом Пуассона зі швидкістю\( r \), і не залежить від\( T \), то\( N_T \) має геометричний розподіл на\( \N \) з параметром\( \alpha \big/ (\alpha + r) \). Звичайно, ми могли б легко перевірити це безпосередньо, але все одно цікаво бачити такі зв'язки.

Обмеження поведінки та стаціонарні розподіли

Ще раз припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це безперервний марковський ланцюжок часу на\( S \) підлеглому процесу Пуассона зі швидкістю\( r \in (0, \infty) \) і з матрицею переходу стрибка\( Q \). Нехай\( \bs{Y} = \{Y_n: n \in \N\} \) позначимо процес стрибка. Обмежуюча поведінка та\( \bs{X} \) стаціонарні розподіли тісно пов'язані з тими\( \bs{Y} \).

Припустимо, що\( \bs{X} \) (і, отже,\( \bs{Y} \)) є нескорочуваними та позитивними рецидивуючими

1. \( g: S \to (0, \infty) \)є інваріантним для\( \bs{X} \) якщо і тільки якщо\( g \) є інваріантним для\( \bs{Y} \).
2. \( f \)є інваріантною функцією щільності ймовірності для\( \bs{X} \) if і тільки тоді,\( f \) коли є інваріантною функцією щільності ймовірності для\( \bs{Y} \).
3. \( \bs{X} \)є нульовим повторюваним, якщо і тільки якщо\( \bs{Y} \) є нульовим повторюваним, і в цьому випадку,\( \lim_{n \to \infty} Q^n(x, y) = \lim_{t \to \infty} P_t(x, y) = 0 \) для\( (x, y) \in S^2 \).
4. \( \bs{X} \)позитивний рецидивуючий тоді і тільки тоді, коли\( \bs{Y} \) позитивний рецидивуючий Якщо\( \bs{Y} \) аперіодична, то\( \lim_{n \to \infty} Q^n(x, y) = \lim_{t \to \infty} P_t(x, y) = f(y) \) для\( (x, y) \in S^2 \), де\( f \) інваріантна функція щільності ймовірності.

Доказ

Всі ці результати випливають з базової теорії стаціонарних і граничних розподілів для безперервно-часових ланцюгів і того факту, що функція експоненціальних параметрів\( \lambda \) є постійною.

Час розвороту

Ще раз припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це безперервний марковський ланцюжок часу на\( S \) підлеглому процесу Пуассона зі швидкістю\( r \in (0, \infty) \) і з матрицею переходу стрибка\( Q \). Нехай\( \bs{Y} = \{Y_n: n \in \N\} \) позначимо процес стрибка. Ми припускаємо, що\( \bs X \) (а значить\( \bs Y \)) є нескорочуваними. Час розвороту тісно\( \bs X \) пов'язаний з тим, що\( \bs Y \).

Припустимо, що\( g: S \to (0, \infty) \) є інваріантним для\( \bs X \). Час розвороту\( \hat{\bs X} \)\( g \) стосовно також підпорядковується процесу Пуассона з ставкою\( r \). Стрибок\( \hat{\bs Y} \) ланцюга\( \hat{\bs X} \) є (дискретний) час\( \bs Y \) розворот по відношенню до\( g \).

Доказ

З попереднього результату, також\( g \) є інваріантним для\( \bs Y \). З загальної теорії розвороту часу,\( \hat{\bs X} \) має ту ж функцію експоненціального параметра, що і\( \bs X \) (а саме постійна функція\( r \)), і тому також підпорядкована процесу Пуассона зі швидкістю\( r \). Нарешті, стрибок\( \hat{\bs Y} \) ланцюга\( \hat{\bs X} \) - це\( \bs Y \) розворот щодо\( r g \) і, отже, і щодо\( g \).

Зокрема,\( \bs X \) є оборотним щодо\( g \) якщо і тільки тоді, коли\( \bs Y \) є оборотним щодо\( g \). Як зазначалося раніше,\( \bs X \) і\( \bs Y \) бувають одного типу: обидва перехідні або обидва нульові рекурентні або обидва позитивні рецидивуючі. У рецидивуючому випадку існує додатна інваріантна функція, яка є унікальною аж до множення на константи. У цьому випадку розворот\( \bs X \) є унікальним, і є ланцюгом, підпорядкованим процесу Пуассона зі швидкістю, ланцюг стрибка\( r \) якого є розворотом\( \bs Y \).

Рівномірні ланцюги

У наведеній вище конструкції для ланцюга Маркова\( \bs X = \{X_t: t \in [0, \infty)\} \), яка підпорядкована процесу Пуассона з ядром переходу швидкості\( r \) та стрибка\( Q \), ми припустили, звичайно, що\( Q(x, x) = 0 \) для кожного\( x \in S \). Таким чином, немає поглинаючих\( (\tau_1, \tau_2, \ldots) \) станів, а послідовність часу прибуття процесу Пуассона - це час стрибка ланцюга\( \bs X \). Однак у нашому вступі до ланцюгів безперервного часу ми побачили, що загальна побудова ланцюга, що починається з функції\( \lambda \) та матриці переходу,\( Q \) працює без цього припущення\( Q \), хоча експоненціальні параметри та ймовірності переходу змінюються. Та ж ідея працює і тут.

Припустимо, що\( \bs N = \{N_t: t \in [0, \infty)\} \) є підрахунковим процесом Пуассона зі швидкістю,\( r \in (0, \infty) \) і\( \bs Y = \{Y_n: n \in \N\} \) це дискретно-часовий ланцюжок Маркова з матрицею переходу\( Q \) на\( S \times S \) задовольняє\( Q(x, x) \lt 1 \) for\( x \in S \). Припустимо також, що\( \bs N \) і\( \bs Y \) є незалежними. Визначте\( X_t = Y_{N_t} \) для\( t \in [0, \infty) \). Потім\( \bs X = \{X_t: t \in [0, \infty)\} \) - ланцюг безперервного маркова з експоненціальною параметровою функцією\( \lambda(x) = r [1 - Q(x, x)] \) для матриці переходу\( x \in S \) та матрицею переходу,\( \tilde Q \) заданою\[ \tilde Q(x, y) = \frac{Q(x, y)}{1 - Q(x, x)}, \quad (x, y) \in S^2, \, x \ne y \]

Доказ

Це випливає з результату при введенні.

Ланцюг Маркова, побудована вище, вже не є ланцюгом, підпорядкованим процесу Пуассона за нашим визначенням вище, оскільки функція експоненціальних параметрів не є постійною, а час переходу більше не\( \bs X \) є часом прибуття процесу Пуассона. Тим не менш, багато основних результатів вище все ще застосовуються.

\( \bs X = \{X_t: t \in [0, \infty)\} \)Дозволяти ланцюг Маркова, побудована в попередній теоремі. Тоді

1. Для\( t \in [0, \infty) \), матриця переходу\( P_t \) задається\[ P_t = \sum_{n=0}^\infty e^{- r t} \frac{(r t)^n}{n!} Q^n \]
2. Для\( \alpha \in (0, \infty) \), матриця\( \alpha \) потенціалу задається\[ U_\alpha = \frac{1}{\alpha + r} \sum_{n=0}^\infty \left(\frac{r}{\alpha + r}\right)^n Q^n \]
3. Матриця генератора\( G = r (Q - I) \)
4. \( g: S \to (0, \infty) \)є інваріантним для\( \bs X \) якщо і тільки якщо\( g \) є інваріантним для\( \bs Y \).

Доказ

Докази так само, як і раніше.

Примітний факт, що кожен ланцюг Маркова безперервного часу з обмеженими експоненціальними параметрами може бути побудований так, як в останній теоремі, процесі, відомому як уніформація. Назва походить від того, що при побудові експоненціальні параметри стають постійними, але за рахунок того, що вбудований ланцюжок дискретного часу переходить зі стану назад в цей стан. Для перегляду визначення припустимо,\( \bs X = \{X_t: t \in [0, \infty)\} \) що марковський ланцюг безперервного часу\( S \) з перехідною напівгрупою\( \bs P = \{P_t: t \in [0, \infty)\} \), функцією експоненціального параметру\( \lambda \) та матрицею переходу стрибка\( Q \). Тоді\( \bs P \) є рівномірним, якщо\( P_t(x, x) \to 1 \)\( t \downarrow 0 \) рівномірно в\( x \), або еквівалентно, якщо\( \lambda \) обмежений.

Припустимо,\( \lambda: S \to (0, \infty) \) що обмежений і що\( Q \) є матрицею переходу на\( S \) з\( Q(x, x) = 0 \) для кожного\( x \in S \). \( r \in (0, \infty) \)Дозволяти бути верхня\( \lambda \) межа\( \bs N = \{N_t: t \in [0, \infty)\} \) на і процес підрахунку Пуассона зі швидкістю\( r \). Визначити матрицю переходу\( \hat Q \)\( S \) на\ begin {align*}\ капелюх Q (x, x) & = 1 -\ frac {\ лямбда (x)} {r}\ quad x\ в S\\ капелюсі Q (x, y) & =\ frac {\ лямбда (x)} {r} Q (x, y)\ quad (x, y)\ in S^2,\, x\ ne y\ end {align*} і\( \bs Y = \{Y_n: n \in \N\} \) нехай дискретний марковський ланцюжок з матрицею переходу \( \hat Q \), незалежний від\( \bs N \). Визначте\( X_t = Y_{N_t} \) для\( t \in [0, \infty) \). Потім\( \bs X = \{X_t: t \in [0, \infty)\} \) йде марковський ланцюжок безперервного часу з функцією експоненціальних параметрів\( \lambda \) і матрицею переходу стрибка\( Q \).

Доказ

Зверніть увагу, що\( \hat Q(x, y) \ge 0 \) для кожного\( (x, y) \in S^2 \) і\( \sum_{y \in S} \hat Q(x, y) = 1 \) для кожного\( x \in S \). Таким чином\( \hat Q \) відбувається перехід матриці на\( S \). Зверніть увагу також, що\( \hat Q(x, x) \lt 1 \) для кожного\( x \in S \). За конструкцією,\( \lambda(x) = r[1 - \hat Q(x, x)] \) для\( x \in S \) і\[ Q(x, y) = \frac{\hat Q(x, y)}{1 - \hat Q(x, x)}, \quad (x, y) \in S^2, \, x \ne y \] Так результат тепер випливає з теореми вище.

Зауважте, зокрема, що якщо простір стану\( S \) скінченний, то, звичайно,\( \lambda \) обмежений, тому застосовується попередня теорема. Теорема корисна для моделювання ланцюга Маркова безперервного часу, оскільки процес Пуассона та ланцюги дискретного часу прості для моделювання. Крім того, у нас є приємні уявлення для матриць переходу, потенційних матриць та матриці генератора.

Припустимо,\( \bs X = \{X_t: t \in [0, \infty\} \) що марковський ланцюг безперервного часу\( S \) з обмеженою функцією експоненціального параметру\( \lambda: S \to (0, \infty) \) та матрицею переходу стрибка\( Q \). Визначте\( r \) і\( \hat Q \) як в останній теоремі. Тоді

1. Для\( t \in [0, \infty) \), матриця переходу\( P_t \) задається\[ P_t = \sum_{n=0}^\infty e^{- r t} \frac{(r t)^n}{n!} \hat Q^n \]
2. Для\( \alpha \in (0, \infty) \), матриця\( \alpha \) потенціалу задається\[ U_\alpha = \frac{1}{\alpha + r} \sum_{n=0}^\infty \left(\frac{r}{\alpha + r}\right)^n \hat Q^n \]
3. Матриця генератора\( G = r (\hat Q - I) \)
4. \( g: S \to (0, \infty) \)є інваріантним для\( \bs X \) якщо і тільки якщо\( g \) є інваріантним для\( \hat Q \).

Доказ

Ці результати випливають з теореми вище.

Приклади

Ланцюг двох держав

Наступна вправа застосовує метод уніформізації до ланцюга з двома станами.

Розглянемо безперервно-часовий ланцюжок Маркова\( \bs X = \{X_t: t \in [0, \infty)\} \) на\( S = \{0, 1\} \) з експоненціальною параметровою функцією\( \lambda = (a, b) \), де\( a, \, b \in (0, \infty) \). Таким чином, стани 0 і 1 стабільні, а ланцюг стрибків має матрицю переходу\[ Q = \left[\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} \right] \] Let\( r = a + b \), верхню межу на\( \lambda \). Покажіть, що

1. \( \hat Q = \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] \)
2. \( G = \left[\begin{matrix} -a & a \\ b & - b \end{matrix}\right] \)
3. \( P_t = \hat Q - \frac{1}{a + b} e^{-(a + b) t} G \)для\( t \in [0, \infty) \)
4. \( U_\alpha = \frac{1}{\alpha} \hat Q - \frac{1}{(\alpha + a + b)(a + b)} G \)для\( \alpha \in (0, \infty) \)

Доказ

Форма легко\( \hat Q \) випливає з вищенаведеного вище визначення. Зверніть увагу, що рядки\( \hat Q \) є інваріантними PDF-файлами. Потім випливає, що\( \hat Q^n = \hat Q \) для\( n \in \N_+ \). Результати для матриці переходу\( P_t \) та потенціалу\( U_\alpha \) потім легко випливають з теореми вище.

Хоча ми отримали всі ці результати для ланцюга двох станів раніше, деривація, заснована на уніформації, є найпростішою.