16.17: Потенційні матриці

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)\(\newcommand{\var}{\text{var}}\)

Премінари

Це третій із вступних розділів про безперервно-часових ланцюгах Маркова. Отже, наша відправна точка — однорідний за часом ланцюг Маркова,\( \bs{X} = \{X_t: t \in [0, \infty)\} \) визначена на базовому просторі ймовірностей\( (\Omega, \mathscr{F}, \P) \) та з дискретним простором стану\( (S, \mathscr{S}) \). Таким чином\( S \),\( \mathscr{S} \) підраховується і є набір потужності\( S \), тому кожна\( S \) підмножина вимірюється, як і кожна функція з\( S \) в інший вимірний простір. Крім того,\( S \) дається дискретна топологія, так що також\( \mathscr{S} \) можна розглядати як\( \sigma \) алгебру Бореля. Кожна функція від\( S \) до іншого топологічного простору є безперервною. Міра підрахунку\( \# \) є природною мірою на\( (S, \mathscr{S}) \), тому в контексті загального введення\( S \) інтеграли над просто суми. Крім того, ядра на\( S \) можна розглядати як матриці, з рядками та сумами, індексованими\( S \), тому операції лівого та правого ядра є узагальненням множення матриць. Як і раніше, давайте\( \mathscr{B} \) позначимо сукупність обмежених функцій\( f: S \to \R \). При звичайних точкових визначеннях додавання і скалярного множення,\( \mathscr{B} \) являє собою векторний простір. Норма supremum on\( \mathscr{B} \)\( S \) задається\[ \|f\| = \sup\{\left|f(x)\right|: x \in S\}, \quad f \in \mathscr{B} \] Звичайно, якщо скінченна,\( \mathscr{B} \) є множиною всіх реальних функцій on\( S \), and\( \|f\| = \max\{\left|f(x)\right|: x \in S\}\) for\(f \in \mathscr{B} \). Простір часу,\( ([0, \infty), \mathscr{T}) \) де, як зазвичай,\( \mathscr{T} \) знаходиться Борель\( \sigma \) -алгебра на\( [0, \infty) \) відповідну стандартної евклідової топології. Міра Лебега є природною мірою на\( ([0, \infty), \mathscr{T}) \).

У нашій першій точці зору ми вивчали з точки зору\( \bs{X} \) того, коли і як змінюється держава. Коротко ознайомимося з оглядом, давайте\( \tau = \inf\{t \in (0, \infty): X_t \ne X_0\} \). Припускаючи, що\( \bs{X} \) це право безперервно, властивість Маркова\( \bs{X} \) має на увазі властивість без пам'яті\( \tau \), і, отже, розподіл\( \tau \) заданого\( X_0 = x \) є експоненціальним з параметром\( \lambda(x) \in [0, \infty) \) для кожного\( x \in S \). Припущення правильної безперервності виключає патологічну можливість\( \lambda(x) = \infty \), що означало б, що\( x \) це миттєвий стан, так що\( \P(\tau = 0 \mid X_0 = x) = 1 \). З іншого боку, якщо\( \lambda(x) \in (0, \infty) \) тоді\( x \) є стабільним станом, так що\( \tau \) має належний експоненціальний розподіл, заданий\( X_0 = x \) с\( \P(0 \lt \tau \lt \infty \mid X_0 = x) = 1 \). Нарешті, якщо\( \lambda(x) = 0 \) тоді\( x \) є поглинаючим станом, так що\( \P(\tau = \infty \mid X_0 = x) = 1 \). Далі визначаємо послідовність часу зупинки: First\( \tau_0 = 0 \) and\( \tau_1 = \tau\). Рекурсивно, якщо\( \tau_n \lt \infty \) потім\( \tau_n = \inf\left\{t \gt \tau_n: X_t \ne X_{\tau_n}\right\} \), а якщо\( \tau_n = \infty \) тоді\( \tau_{n+1} = \infty \). З\( M = \sup\{n \in \N: \tau_n \lt \infty\} \) ми визначаємо,\( Y_n = X_{\tau_n} \) якщо\( n \in \N \) з\( n \le M \) і\( Y_n = Y_M \) якщо\( n \in \N \) з\( n \gt M \). Послідовність\( \bs{Y} = (Y_0, Y_1, \ldots) \) являє собою дискретний марковський ланцюжок на\( S \) з одноступінчастою матрицею переходу,\( Q \)\(Q(x, y) = \P(X_\tau = y \mid X_0 = x)\) заданою\( x, \, y \in S \) if зі\( x \) стабільним, а\( Q(x, x) = 1\) якщо\( x \in S \) поглинає. Припускаючи, що\( \bs{X} \) це регулярне, що означає, що\( \tau_n \to \infty \) як і\( n \to \infty \) з ймовірністю 1 (виключаючи вибухові події нескінченно багатьох переходів за скінченний час), структура повністю\( \bs{X} \) визначається послідовністю зупинок часу \( \bs{\tau} = (\tau_0, \tau_1, \ldots) \)і вбудований дискретний стрибок ланцюга часу\( \bs{Y} = (Y_0, Y_1, \ldots) \). Аналітично розподіл\( \bs{X} \) визначається функцією експоненціальних параметрів\( \lambda \) і одноступінчастою матрицею переходу ланцюга\( Q \) стрибків.

У нашій другій точці зору ми вивчали з\( \bs{X} \) точки зору колекції перехідних матриць\( \bs{P} = \{P_t: t \in [0, \infty)\} \), де для\( t \in [0, \infty) \),\[ P_t(x, y) = \P(X_t = y \mid X_0 = x), \quad (x, y) \in S^2 \] Маркова і однорідні за часом властивості мають на увазі рівняння Чапмана-Колмогорова\( P_s P_t = P_{s+t} \) для\( s, \, t \in [0, \infty) \), так\( \bs{P} \) що напівгрупа перехідних матриць. Напівгрупа\( \bs{P} \), поряд з початковим розподілом\( X_0 \), повністю визначає розподіл\( \bs{X} \). Для правильного ланцюга Маркова основним інтегральним рівнянням\( \bs{X} \), що з'єднує дві точки зору, є\[ P_t(x, y) = I(x, y) e^{-\lambda(x) t} + \int_0^t \lambda(x) e^{-\lambda(x) s} Q P_{t - s} (x, y) \, ds, \quad (x, y) \in S^2 \] яке отримують шляхом кондиціонування на\( \tau \) і\( X_\tau \). Звідси випливає, що\( t \mapsto P_t \) матрична функція диференційовна, причому похідна задовольняє зворотному рівнянню Колмогорова,\( P_t^\prime = G P_t \) де матриця генератора\( G \) задається\[ G(x, y) = -\lambda(x) I(x, y) + \lambda(x) Q(x, y), \quad (x, y) \in S^2 \] якщо функція експоненціального параметра\( \lambda \) обмежена, то перехідна напівгрупа\( \bs{P} \) рівномірна, що призводить до більш сильних результатів. Генератор\( G \) є обмеженим оператором на\( \mathscr{B} \), зворотне рівняння утримує, а також супутнє рівняння вперед\( P_t^\prime = P_t G \), як оператори на\( \mathscr{B} \) (так щодо норми супремум, а не просто точково). Нарешті, ми можемо представити матрицю переходу як експоненціальну:\( P_t = e^{t G} \) for\( t \in [0, \infty) \).

У цьому розділі ми вивчаємо ланцюг Маркова з\( \bs{X} \) точки зору сімейства матриць, відомих як потенційні матриці. Це найменш інтуїтивна з трьох точок зору, але аналітично один з кращих підходів. По суті, потенційні матриці є перетвореннями матриць переходу.

Основна теорія

Знову припускаємо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) є регулярним ланцюгом Маркова на\( S \) з перехідною напівгрупою\( \bs{P} = \{P_t: t \in [0, \infty)\} \). Наша перша дискусія тісно паралельна загальній теорії, за винятком спрощень, викликаних дискретним простором стану.

Визначення та властивості

Для\( \alpha \in [0, \infty) \), матриця\( \alpha \)\( U_\alpha \) -потенціалу\( \bs{X} \) визначається наступним чином:\[ U_\alpha(x, y) = \int_0^\infty e^{-\alpha t} P_t(x, y) \, dt, \quad (x, y) \in S^2 \]

1. Особливим\( U = U_0 \) випадком є просто потенційна матриця\( \bs{X} \).
2. Для\( (x. y) \in S^2 \),\( U(x, y) \) це очікувана кількість часу, яке\( \bs{X} \) проводить в\( y \), починаючи з\( x \).
3. Сімейство\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \) матриць відоме як розчинник\( \bs{X} \).

Доказ

Оскільки\( t \mapsto P_t(x, y) \) є безперервним, має\( U_\alpha(x, y) \) сенс для\( (x, y) \in S^2 \). Інтерпретація\( U(x, y) \) передбачає обмін інтегралами:\[ U(x, y) = \int_0^\infty P_t(x, y) \, dt = \int_0^\infty \E[\bs{1}(X_t = y) \mid X_0 = x] \, dt = \E\left( \int_0^\infty \bs{1}(X_t = y) \, dt \biggm| X_0 = x\right) \] Внутрішній інтеграл є мірою Лебега\( \{t \in [0, \infty): X_t = y\} \).

Цілком можливо, що\( U(x, y) = \infty \) для деяких\( (x, y) \in S^2 \), і знання, коли це відбувається, представляє чималий інтерес. Якщо\( f: S \to \R \) і\( \alpha \ge 0 \), то даючи правильну операцію у багатьох її формах,\ begin {align*} U_\ альфа f (x) & =\ sum_ {y\ in S} U_\ альфа (x, y) f (y) =\ int_0^\ infty e^ {-\ альфа т} p_t f (x)\, dt\\ & =\ int_0^\ infty e^ {-\ альфа т} p_t f (x)\, dt\\ & =\ int_0^\ infty e^ {-\ альфа т}\ альфа т}\ сума_ {y\ in S} p_t (x, y) f (y) =\ int_0^\ infty e^ {-\ альфа т}\ Е [f (x_t)\ середина X_0 = x]\, dt,\ quad x\ in S\ end {align*} припускаючи, як завжди, що суми та інтеграли мають сенс. Це буде, зокрема, якщо\( f \) є невід'ємним (хоча\( \infty \) є можливим значенням), або, як ми зараз побачимо, якщо\( f \in \mathscr{B} \) і\( \alpha \gt 0 \).

Якщо\( \alpha \gt 0 \), то\( U_\alpha(x, S) = \frac{1}{\alpha} \) для всіх\( x \in S \).

Доказ

Для\( x \in S \),\[ U_\alpha(x, S) = \int_0^\infty e^{-\alpha t} P_t(x, S) \, dt = \int_0^\infty e^{-\alpha t} dt = \frac{1}{\alpha} \]

Звідси випливає\( \alpha \in (0, \infty) \), що для, правий потенційний оператор\( U_\alpha \) є обмеженим, лінійним оператором на\( \mathscr{B} \) с\( \|U_\alpha\| = \frac{1}{\alpha} \). Звідси також випливає, що\( \alpha U_\alpha \) є матрицею ймовірностей. Ця матриця має приємну інтерпретацію.

Якщо\( \alpha \gt 0 \) то\( \alpha U_\alpha (x, \cdot) \) є умовною функцією щільності ймовірності\( X_T \) заданого\( X_0 = x \), де\( T \) не залежить\( \bs{X} \) і має експоненціальний розподіл по параметру\( [0, \infty) \) with\( \alpha \).

Доказ

Припустимо, що\( (x, y) \in S^2 \). Випадковий час\( T \) має PDF\( f(t) = \alpha e^{-\alpha t} \) для\( t \in [0, \infty) \). Отже, умова на\( T \) дає\[ \P(X_T = y \mid X_0 = x) = \int_0^\infty \alpha e^{-\alpha t} \P(X_T = y \mid T = t, X_0 = x) \, dt \] Але правилом підміни і припущенням незалежності,\[ \P(X_T = y \mid T = t, X_0 = x) = \P(X_t = y \mid T = t, X_0 = x) = \P(X_t = y \mid X_0 = x) = P_t(x, y) \] Замінюючи дає\[ \P(X_T = y \mid X_0 = x) = \int_0^\infty \alpha e^{-\alpha t} P_t(x, y) \, dt = \alpha U_\alpha(x, y)\]

Так\( \alpha U_\alpha \) є матриця ймовірності переходу, так само, як\( P_t \) і матриця ймовірності переходу, але відповідає випадковому часу\( T \) (з\( \alpha \in (0, \infty) \) як параметр), а не детермінованого часу\( t \in [0, \infty) \). Потенційна матриця також може бути інтерпретована в економічному плані. Припустимо, що ми отримуємо гроші з розрахунку одна одиниця в одиницю часу, коли процес\( \bs{X} \) знаходиться в певному стані\( y \in S \). Далі\( U(x, y) \) йде очікувана загальна сума грошей, яку ми отримуємо, починаючи з держави\( x \in S \). Але гроші, які ми отримуємо пізніше, зараз мають для нас меншу цінність, ніж гроші, які ми отримаємо раніше. Зокрема, припустимо, що одна грошова одиниця в той час\( t \in [0, \infty) \) має теперішню вартість,\( e^{-\alpha t} \) де\( \alpha \in (0, \infty) \) є коефіцієнт інфляції або коефіцієнт дисконту. Тоді\( U_\alpha(x, y) \) загальна, очікувана, дисконтована сума, яку ми отримуємо, починаючи з\( x \in S \). Трохи загаліше, припустимо, що\( f \in \mathscr{B} \) і\( f(y) \) це винагорода (або вартість, залежно від знака) за одиницю часу, яку ми отримуємо, коли процес знаходиться в стані\( y \in S \). Потім\( U_\alpha f(x) \) очікувана, загальна, дисконтована винагорода, починаючи з держави\( x \in S \).

\( \alpha U_\alpha \to I \)як\( \alpha \to \infty \).

Доказ

Зверніть увагу спочатку, що зі зміною змінних\( s = \alpha t \),\[ \alpha U_\alpha = \int_0^\infty \alpha e^{-\alpha t} P_t \, dt = \int_0^\infty e^{-s} P_{s/\alpha} \, ds \] Але для\( s \in [0, \infty) \),\( s / \alpha \to 0 \) а значить,\( P_{s/\alpha} \to I \) як\( \alpha \to \infty \). Результат випливає з домінуючої теореми збіжності.

Якщо\( f: S \to [0, \infty) \), то даючи операцію лівого потенціалу в різних його формах,\ begin {align*} f U_\ alpha (y) & =\ sum_ {x\ in S} f (x) U_\ alpha (x, y) =\ int_0^\ infty e^ {-\ альфа t} f p_t (y)\, dt\\ & =\ int_0^\ infty e^ {-\ alpha t} f p_t (y)\, dt\\ & =\ int_0^\ infty e^ {-\ альфа т}\ лівий [\ sum_ {x\ in S} f (x) p_t (x, y)\ праворуч] dt =\ int_0^\ infty e^ {-\ альфа т}\ left [\ sum_ {x\ in S} f (x)\ P (x_t = y)\ right] dt,\ quad y\ in S\ end {align*} Зокрема, припустимо, що\( \alpha \gt 0 \) і що\( f \) є функцією щільності ймовірності\( X_0 \). Потім\( f P_t \) є функція щільності ймовірності\( X_t \) for\( t \in [0, \infty) \), і, отже, з останнього результату,\( \alpha f U_\alpha \) є функція щільності ймовірності\( X_T \), де знову ж таки,\( T \) не залежить від\( \bs{X} \) і має експоненціальний розподіл на\( [0, \infty) \) з параметром \( \alpha \). Сімейство потенційних ядер дає ту ж інформацію, що і сімейство перехідних ядер.

Ресольвент\(\bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \) повністю визначає сімейство перехідних ядер\( \bs{P} = \{P_t: t \in (0, \infty)\} \).

Доказ

Зауважте\( (x, y) \in S^2 \), що для, функція\( \alpha \mapsto U_\alpha(x, y) \) on\( (0, \infty) \) є перетворенням Лапласа функції\( t \mapsto P_t(x, y) \) на\( [0, \infty) \). Перетворення Лапласа неперервної функції однозначно визначає функцію.

Хоча і не настільки інтуїтивні з точки зору ймовірності, потенційні матриці в деякому роді приємніше перехідних матриць через додаткову плавність. Зокрема,\( \{U_\alpha: \alpha \in [0, \infty)\} \) резольвент разом з початковим розподілом повністю визначають кінцеві розмірні розподіли ланцюга Маркова\( \bs{X} \). Потенційні матриці комутуються з перехідними матрицями і один з одним.

Припустимо, що\( \alpha, \, \beta, \, t \in [0, \infty) \). Тоді

1. \( P_t U_\alpha = U_\alpha P_t = \int_0^\infty e^{-\alpha s} P_{s+t} ds\)
2. \( U_\alpha U_\beta = U_\beta U_\alpha = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_{s+t} ds \, dt \)

Доказ

Взаємозв'язки матричного множення та інтегралів нижче є взаємозамінними сумами та інтегралами, і обґрунтовані, оскільки базові інтеграли невід'ємні. Іншим інструментом, який використовується, є напівгрупова властивість\( \bs{P} = \{P_t: t \in [0, \infty)\} \). Можливо, ви захочете виписати докази явно, щоб переконати себе

1. По-перше,\[ U_\alpha P_t = \left(\int_0^\infty e^{-\alpha s} P_s \, ds\right) P_t = \int_0^\infty e^{-\alpha s} P_s P_t \, ds = \int_0^\infty e^{-\alpha s} P_{s+t} \, ds \] аналогічно\[ P_t U_\alpha = P_t \int_0^\infty e^{-\alpha s} P_s \, ds = \int_0^\infty e^{-\alpha s} P_t P_s \, ds = \int_0^\infty e^{-\alpha s} P_{s+t} \, ds\]
2. По-перше.\[U_\alpha U_\beta = \left(\int_0^\infty e^{-\alpha s} P_s \, ds \right) \left(\int_0^\infty e^{-\beta t} P_t \, dt \right) = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_s P_t \, ds \, dt = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_{s+t} \, ds \, dt\] Інший напрямок аналогічно.

Наведені вище рівняння є матричними рівняннями, і тому тримайте точково. Ті ж посвідчення утримують для правильних операторів на просторі\( \mathscr{B} \) під додатковим обмеженням, що\( \alpha \gt 0 \) і\( \beta \gt 0 \). Фундаментальне рівняння, яке пов'язує потенційні ядра, відоме як рівняння розчинника, наведено в наступній теоремі:

Якщо\( \alpha, \, \beta \in [0, \infty) \) з\( \alpha \le \beta \) то\( U_\alpha = U_\beta + (\beta - \alpha) U_\alpha U_\beta \).

Доказ

Якщо\( \alpha = \beta \) рівняння тривіальне, так припустимо\( \alpha \lt \beta \). З попереднього результату,\[ U_\alpha U_\beta = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_{s + t} \, dt \, ds \] Трансформація\( u = s + t, \, v = s \) відображає\( [0, \infty)^2 \) один до одного на\( \{(u, v) \in [0, \infty)^2: u \ge v\} \). Зворотне перетворення відбувається\( s = v, \, t = u - v \) з Якобіан\( -1 \). Звідси ми маємо\ почати {align*} U_\ альфа U_\ бета & =\ int_0^\ infty\ int_0^u e^ {-\ альфа v} e^ {-\ бета (u - v)} p_u\, dv\, du =\ int_0^\ infty\ ліворуч (\ int_0^u e^ {(\ бета -\ альфа) v} v\ праворуч) e^ {-\ бета u} p_u\, ду\\ & =\ frac {1} {\ бета -\ альфа}\ int_0^\ infty\ ліворуч [e^ {(\ бета -\ альфа) u} - 1\ праворуч] e^ {-\ beta u} p_u ду\\ & =\ розрив {1} {\ бета -\ альфа}\ лівий (\ int_0^\ infty e^ {-\ альфа u} p_u\, du -\ int_0^\ infty e^ {-\ бета u} p_u\, ду\ правий) =\ frac {1} {\ бета -\ альфа}\ лівий (U_\ альфа - U_\ beta\ right)\ end {align*} Спрощення дає результат. Зауважте\( \beta \gt 0 \), що\( U_\beta \) є кінцевим з тих пір, так що нам не доведеться турбуватися про страшну невизначену форму\( \infty - \infty \).

Рівняння вище є матричним рівнянням, і так тримає точково. Той самий ідентифікатор тримає для потрібних потенційних операторів на просторі\( \mathscr{B} \), під додатковим обмеженням, що\( \alpha \gt 0 \).

З'єднання з генератором

Ще раз припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це регулярний ланцюг Маркова на\( S \) з перехідною напівгрупою\( \bs{P} = \{P_t: t \in [0, \infty)\} \), нескінченно малим генератором\( G \), резольвенцією\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \)\( \lambda \), функцією експоненціальних параметрів та одноступінчастою матрицею переходу\( Q \) для ланцюга стрибка. Існують фундаментальні зв'язки між потенціалом\( U_\alpha \) і матрицею генератора\( G \), а значить,\( U_\alpha \) і між функцією\( \lambda \) і матрицею\( Q \).

Якщо\( \alpha \in (0, \infty) \) тоді\( I + G U_\alpha = \alpha U_\alpha \). З точки зору\( \lambda \) і\( Q \),\[ U_\alpha(x, y) = \frac{1}{\alpha + \lambda(x)} I(x, y) + \frac{\lambda(x)}{\alpha + \lambda(x)} Q U_\alpha(x, y), \quad (x, y) \in S^2 \]

Доказ 1

По-перше,\[ G U_\alpha = G \int_0^\infty e^{-\alpha t} P_t \, dt = \int_0^\infty e^{-\alpha t} G P_t \, dt = \int_0^\infty e^{-\alpha t} P_t^\prime \, dt \] Проходження\( G \) через integrand виправдано, оскільки\( G P_t(x, y) \) це сума лише з одним негативним терміном для\( (x, y) \in S^2 \). Друга ідентичність у відображеному рівнянні випливає з зворотного рівняння. Інтеграція частинами потім дає\[ G U_\alpha = e^{-\alpha t} P_t \biggm|_0^\infty + \int_0^\infty \alpha e^{-\alpha t} P_t \, dt = -I + \alpha U_\alpha \]

Доказ 2

Це доказ використовує фундаментальне інтегральне рівняння\( \bs{P} \)\( \lambda \), що стосується, а також визначення\( U_\alpha \) та взаємозамінів інтегралів.\( Q \) Обмін виправданий, оскільки цілісний ненегативний. Так для\( \alpha \in [0, \infty) \) і\( (x, y) \in S^2 \),\ почати {align*} U_\ альфа (x, y) & =\ int_0^\ infty e^ {-\ альфа т} p_t (x, y)\, dt\\\ & =\ int_0^\ infty e^ {-\ альфа т}\ ліворуч [e^ {-\ лямбда (x) t} I (x, y) +\ лямбда (х) e^ {-\ лямбда (x) t}\ int_0^t e^ {\ лямбда (x) r} Q p_r (x, y)\, д-р\ право] DT\\ & = I (x, y)\ int_0^\ infty e^ {- [\ альфа +\ лямбда (x)] t} dt +\ лямбда (x)\ int_0^\ infty\ int_0^t e^ {- [\ альфа +\ лямбда (x)] t} e^ {\ лямбда (x) r} Q p_r (x, y)\, dr\, dt\\\ & =\ frac {1} {\ альфа +\ лямбда (x)} I (x, y) +\ лямбда (x)\ int_0^\ infty\ int_r^\ infty e^ {- [\ альфа +\ лямбда (x)] t} e^ {\ лямбда (x) r} Q p_r (x, y)\, dt\, dt\ & =\ frac {1} {\\ альфа +\ лямбда (x)} I (x, y) +\ frac {\ лямбда (x)} {\ альфа +\ лямбда (x)}\ int_0^\ infty e^ {- [\ альфа +\ лямбда (x)] r} e^ {\ лямбда (x) r} qp_r (x, y)\, dr\\ & =\ frac 1} {\ альфа +\ лямбда (x)} I (x, y) +\ frac {\ лямбда (x)} {\ альфа +\ лямбда (x)}\ int_0^\ infty e^ {-\ альфа р} Q p_r (x, y)\, dr =\ frac {1} {\ альфа +\ лямбда (x)} I (x, y) +\ frac {\ лямбда (x)} {\ альфа +\ лямбда (x)} Q U_\ альфа (x, y)\ end {align*}

Доказ 3

Нагадаємо, що\( \alpha U_\alpha(x, y) = \P(X_T = y \mid X_0 = x) \) де\( T \) є незалежним\( \bs{X} \) і має експоненціальний розподіл з параметром\( \alpha \). Цей доказ працює, обумовлюючи чи\( T \lt \tau_1 \) чи\( T \ge \tau_1 \):\[\alpha U_\alpha(x, y) = \P(X_T = y \mid X_0 = x, T \lt \tau_1) \P(T \lt \tau_1 \mid X_0 = x) + \P(X_T = y \mid X_0 = x, T \ge \tau_1) \P(T \ge \tau_1 \mid X_0 = x)\] Але\( X_0 = x \) і\( T \lt \tau_1 \) припускають\( X_T = x \) це\( \P(X_T = y \mid X_0 = x, T \lt \tau_1) = I(x, y) \). І за основною властивістю незалежних експоненціальних змінних, які ми бачили багато разів раніше,\[ \P(T \lt \tau_1 \mid X_0 = x) = \frac{\alpha}{\alpha + \lambda(x)} \] Далі, для першого множника в другому семестрі відображається рівняння, ми умова на\( X_{\tau_1} \):\[ \P(X_T = y \mid X_0 = x, T \ge \tau_1) = \sum_{z \in S} \P(X_T = y \mid X_0 = x, X_{\tau_1} = z, T \ge \tau_1) \P(X_{\tau_1} = z \mid X_0 = x, T \ge \tau_1) \] Але сильним властивістю Маркова, задано\( X_{\tau_1} = z \), ми можемо перезапустити годинник в той час \( \tau_1 \)в штаті\( z \). Більше того, за властивістю без пам'яті та незалежності, розподіл\( T - \tau_1 \) заданого\( T \ge \tau_1 \) є таким же, як розподіл\( T \), головним чином експоненціальний з параметром\( \alpha \). Звідси випливає,\( X_{\tau_1} \) що\[ \P(X_T = y \mid X_0 = x, X_{\tau_1} = z, T \ge \tau_1) = \P(X_T = y \mid X_0 = z) = \alpha U_\alpha(z, y) \] Крім того, не залежить від\( \tau_1 \) і\( T \) так\[\P(X_{\tau_1} = z \mid X_0 = x, T \ge \tau_1) = Q(x, z)\] Нарешті, використовуючи основну властивість експоненціальних розподілів знову,\[ \P(T \ge \tau_1 \mid X_0 = x) = \frac{\lambda(x)}{\alpha + \lambda(x)} \] Поклавши всі частини разом, ми маємо\[ \alpha U_\alpha(x, y) = \frac{\alpha}{\alpha + \lambda(x)} I(x, y) = \frac{\lambda(x)}{\alpha + \lambda(x)} \sum_{z \in S} Q(x, z) \alpha U_\alpha(z, y) = \frac{\alpha}{\alpha + \lambda(x)} I(x, y) + \frac{\lambda(x)}{\alpha + \lambda(x)} Q \alpha U_\alpha (x, y) \]

Як і раніше, ми можемо отримати більш сильні результати, якщо припустити, що\( \lambda \) обмежена, або еквівалентно, перехідна напівгрупа\( \bs{P} \) є рівномірною.

Припустимо,\( \lambda \) що обмежена і\( \alpha \in (0, \infty) \). Тоді як оператори on\( \mathscr{B} \) (а отже, і як матриці),

1. \( I + G U_\alpha = \alpha U_\alpha \)
2. \( I + U_\alpha G = \alpha U_\alpha \)

Доказ

Оскільки\( \lambda \) обмежена,\( G \) є обмеженим оператором on\( \mathscr{B} \). Доказ (а) потім продовжується, як і раніше. Для (b) ми знаємо з прямих і зворотних рівнянь, що\( G P_t = P_t G \) для\( t \in [0, \infty) \) і, отже,\( G U_\alpha = U_\alpha G \) для\( \alpha \in (0, \infty) \).

Як матриці, рівняння в (а) має більшу загальність, ніж рівняння в (b), так само, як зворотне рівняння Колмогорова має більшу загальність, ніж пряме рівняння. Зверніть увагу,\( \lambda \) що\[ U_\alpha G(x, y) = \sum_{z \in S} U_\alpha(x, z) G(z, y) = -\lambda(y) U_\alpha(x, y) + \sum_{z \in S} U_\alpha(x, z) \lambda(z) Q(z, y), \quad (x, y) \in S^2 \] Якщо необмежений, не зрозуміло, що друга сума є кінцевою.

Припустимо,\( \lambda \) що обмежена і\( \alpha \in (0, \infty) \). Тоді як оператори on\( \mathscr{B} \) (а отже, і як матриці),

1. \( U_\alpha = (\alpha I - G)^{-1}\)
2. \( G = \alpha I - U_\alpha^{-1}\)

Доказ

1. Це випливає відразу з попереднього результату, так як\( U_\alpha (\alpha I - G) = I \) і\( (\alpha I - G) U_\alpha = I \)
2. Це випливає з (а):\(\alpha I - G = U_\alpha^{-1} \) так\( G = \alpha I - U_\alpha^{-1} \)

Таким чином, потенційний оператор\( U_\alpha \) і генератор\( G \) мають просту, елегантну зворотну залежність. Звичайно, ці результати тримаються, зокрема, якщо\( S \) є кінцевими, так що всі різні матриці дійсно є матрицями в елементарному сенсі.

Приклади і вправи

Ланцюг двох держав

\( \bs{X} = \{X_t: t \in [0, \infty)\} \)Дозволяти ланцюжок Маркова на множині станів\( S = \{0, 1\} \), зі швидкістю переходу\( a \in [0, \infty) \) від 0 до 1 і швидкістю переходу\( b \in [0, \infty) \) від 1 до 0. Щоб уникнути тривіального випадку з обома станами поглинання, ми будемо вважати, що\( a + b \gt 0 \). Перші два результати нижче - це огляд з попередніх двох розділів.

\( G \)Матриця генератора\[ G = \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right] \]

Матриця переходу в часі\( t \in [0, \infty) \) дорівнює\[ P_t = \frac{1}{a + b} \left[\begin{matrix} b & a \\ b & a \end{matrix} \right] - \frac{1}{a + b} e^{-(a + b)t} \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right], \quad t \in [0, \infty) \]

Тепер ми можемо знайти матрицю потенціалу двома способами.

Для\( \alpha \in (0, \infty) \), показати, що\( U_\alpha \) матриця потенціалу\[ U_\alpha = \frac{1}{\alpha (a + b)} \left[\begin{matrix} b & a \\ b & a \end{matrix}\right] - \frac{1}{(\alpha + a + b)(a + b)} \left[\begin{matrix} -a & a \\ b & -b\end{matrix}\right] \]

1. З визначення.
2. Від відношення\( U_\alpha = (\alpha I - G)^{-1} \).

Обчислювальні вправи

Розглянемо ланцюжок Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \) on\( S = \{0, 1, 2\} \) з функцією експоненціального параметра\( \lambda = (4, 1, 3) \) та матрицею переходу стрибка\[ Q = \left[\begin{matrix} 0 & \frac{1}{2} & \frac{1}{2} \\ 1 & 0 & 0 \\ \frac{1}{3} & \frac{2}{3} & 0\end{matrix}\right] \]

1. Намалюйте граф стану і класифікуйте стани.
2. Знайдіть матрицю генератора\( G \).
3. Знайдіть матрицю потенціалу\( U_\alpha \) для\( \alpha \in (0, \infty) \).

Відповідь

1. Край набір є\( E = \{(0, 1), (0, 2), (1, 0), (2, 0), (2, 1)\} \). Всі держави стабільні.
2. Матриця генератора\[ G = \left[\begin{matrix} -4 & 2 & 2 \\ 1 & -1 & 0 \\ 1 & 2 & -3 \end{matrix}\right] \]
3. Для\( \alpha \in (0, \infty) \),\[ U_\alpha = (\alpha I - G)^{-1} = \frac{1}{15 \alpha + 8 \alpha^2 + \alpha^3} \left[\begin{matrix} 3 + 4 \alpha + \alpha^2 & 10 + 2 \alpha & 2 + 2 \alpha \\ 3 + \alpha & 10 + 7 \alpha + \alpha^2 & 2 \\ 3 + \alpha & 10 + 2 \alpha & 2 + 5 \alpha + \alpha^2\end{matrix}\right] \]

Спеціальні моделі

Прочитайте обговорення потенційних матриць для ланцюгів, підлеглих процесу Пуассона.