16.15: Вступ до ланцюгів Маркова безперервного часу

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)\(\newcommand{\var}{\text{var}}\)

У цьому розділі починається наше вивчення марковських процесів у безперервному часі та з дискретних просторів стану. Нагадаємо, що марковський процес з дискретним простором стану називається ланцюгом Маркова, тому ми вивчаємо безперервно-часові ланцюги Маркова. Буде корисно, якщо ви переглянете розділ, присвячений загальним марковським процесам, хоча б коротко, щоб ознайомитися з основними позначеннями і поняттями. Крім того, дискретні ланцюжки часу відіграють фундаментальну роль, тому вам також знадобиться переглянути цю тему.

Ми будемо вивчати безперервно-часові ланцюги Маркова з різних точок зору. Наша точка зору в цьому розділі, що включає час утримання та вбудований ланцюжок дискретного часу, є найбільш інтуїтивною з ймовірнісної точки зору, і тому найкраще місце для початку. У наступному розділі вивчаємо матриці ймовірності переходу в безперервний час. Ця точка зору дещо менш інтуїтивна, але найбільш близька до того, як лікуються інші види марковських процесів. Нарешті, в третьому вступному розділі вивчаємо ланцюг Маркова з точки зору потенційних матриць. Це найменш інтуїтивний підхід, але аналітично один з кращих. Природно, що взаємозв'язки між різними підходами особливо важливі.

Попередні етапи

Як завжди, ми починаємо з\( (\Omega, \mathscr{F}, \P) \) ймовірнісного простору,\( \Omega \) тобто множини результатів,\( \mathscr{F} \)\( \sigma \) -алгебри подій та міри\( \P \) ймовірності на просторі вибірки\( (\Omega, \mathscr{F}) \). Простір часу,\( ([0, \infty), \mathscr{T}) \) де, як зазвичай,\( \mathscr{T} \) знаходиться Борель\( \sigma \) -алгебра на\( [0, \infty) \) відповідну стандартної евклідової топології. Державний простір - це те\( S \),\( (S, \mathscr{S}) \) де\( \mathscr{S} \) підраховується і є набором влади\( S \). Таким чином, кожна підмножина\( S \) вимірюється, як і кожна функція від\( S \) до іншого вимірюваного простору. Нагадаємо,\( \mathscr{S} \) що також\( \sigma \) алгебра Бореля відповідає дискретної топології на\( S \). За допомогою цієї топології кожна функція від\( S \) до іншого топологічного простору є безперервною. Міра підрахунку\( \# \) є природною мірою на\( (S, \mathscr{S}) \), тому в контексті загального введення\( S \) інтеграли над просто суми. Крім того, ядра на\( S \) можна розглядати як матриці, з рядками та сумами, проіндексованими\( S \). Операції лівого та правого ядра є узагальненням множення матриць.

Припустимо, що тепер\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це стохастичний процес з державним простором\( (S, \mathscr{S}) \). Бо\( t \in [0, \infty) \)\( \mathscr{F}^0_t = \sigma\{X_s: s \in [0, t]\} \), нехай, так що\( \mathscr{F}^0_t \) це\( \sigma \) -алгебра подій, визначених процесом до часу\( t \). Колекція\( \sigma \) -алгебр\( \mathfrak{F}^0 = \{\mathscr{F}^0_t: t \in [0, \infty)\} \) - це природна фільтрація, пов'язана з\( \bs{X} \). З технічних причин часто потрібно мати фільтрацію,\( \mathfrak{F} = \{\mathscr{F}_t: t \in [0, \infty)\} \) яка трохи тонша, ніж природна, так що\( \mathscr{F}^0_t \subseteq \mathscr{F}_t \) для\( t \in [0, \infty) \) (або в еквівалентному жаргоні,\( \bs{X} \) адаптується до\( \mathfrak{F} \)). Дивіться загальний вступ для більш докладної інформації про загальні способи вдосконалення природної фільтрації. Ми також дозволимо\(\mathscr{G}_t = \sigma\{X_s: s \in [t, \infty)\}\),\( \sigma \) -алгебра подій, визначених процесом\( t \) від часу. Якщо\( t \) розглядається як теперішній час, то\( \mathscr{F}_t \) це сукупність подій в минулому і\( \mathscr{G}_t \) є сукупністю подій в майбутньому.

Часто доводиться вчасно нав'язувати припущення про безперервність процесу\( \bs{X} \). Нагадаємо, що\( \bs{X} \) це право безперервно, якщо\( t \mapsto X_t(\omega) \) право безперервно\( [0, \infty) \) для кожного\( \omega \in \Omega \), і аналогічно\( \bs{X} \) має ліві межі, якщо\( t \mapsto X_t(\omega) \) має ліві межі\( (0, \infty) \) для кожного\( \omega \in \Omega \). Оскільки\( S \) має дискретну топологію, зверніть увагу,\( \bs{X} \) що якщо правильно безперервно, то для кожного\( t \in [0, \infty) \) і\( \omega \in \Omega \), існує\( \epsilon \) (в залежності від\( t \) і\( \omega \)) такі, що\( X_{t+s}(\omega) = X_t(\omega) \) для\( s \in [0, \epsilon) \). Аналогічно, якщо\( \bs{X} \) залишив межі, то для кожного\( t \in (0, \infty) \) і\( \omega \in \Omega \) існує\( \delta \) (в залежності від\( t \) і\( \omega \)) таке, що\( X_{t - s}(\omega) \) є постійним для\( s \in (0, \delta) \).

Власність Маркова

Існує ряд рівнозначних способів констатувати марковське майно. На самому базовому рівні властивість стверджує, що минуле і майбутнє умовно незалежні, враховуючи сьогодення.

Процес\( \bs{X} = \{X_t: t \in [0, \infty)\} \) являє собою марковський ланцюжок на\( S \) якщо для кожного\( t \in [0, \infty) \)\( A \in \mathscr{F}_t \), і\( B \in \mathscr{G}_t \),\[ \P(A \cap B \mid X_t) = \P(A \mid X_t) \P(B \mid X_t) \]

Інша версія полягає в тому, що умовний розподіл стану в майбутньому, з огляду на минуле, таке ж, як і умовний розподіл тільки що з урахуванням теперішнього стану.

Процес\( \bs{X} = \{X_t: t \in [0, \infty)\} \) являє собою марковський ланцюжок на\( S \) якщо для кожного\( s, \, t \in [0, \infty) \), і\( x \in S \),\[ \P(X_{s + t} = x \mid \mathscr{F}_s) = \P(X_{s + t} = x \mid X_s) \]

Технічно в останніх двох визначеннях слід сказати, що\( \bs{X} \) це марковський процес щодо фільтрації\( \mathfrak{F} \). Але нагадаємо, що якщо\( \bs{X} \) задовольняє властивість Маркова щодо фільтрації, то воно задовольняє властивість Маркова щодо будь-якої більш грубої фільтрації, а зокрема, щодо природної фільтрації. Для природної фільтрації властивість Маркова також може бути заявлено без явного посилання на\( \sigma \) -алгебри, хоча і за рахунок додаткового безладу:

Процес\( \bs{X} = \{X_t: t \in [0, \infty)\} \) являє собою ланцюжок Маркова,\( S \) якщо і тільки якщо для кожного\( n \in \N_+ \), послідовність часу\( (t_1, t_2, \ldots, t_n) \in [0, \infty)^n \) з\( t_1 \lt t_2 \lt \cdots \lt t_n \), і послідовність стану\( (x_1, x_2, \ldots, x_n) \in S^n \),\[ \P\left(X_{t_n} = x_n \mid X_{t_1} = x_1, X_{t_2} = x_2, \ldots X_{t_{n-1}} = x_{n-1}\right) = \P\left(X_{t_n} = x_n \mid X_{t_{n-1}} = x_{n-1}\right) \]

Як завжди, ми також припускаємо, що наша\( \bs{X} \) Маркова ланцюжок часу однорідна, так що\( \P(X_{s + t} = y \mid X_s = x) = \P(X_t = y \mid X_0 = x) \) для\( s, \, t \in [0, \infty) \) і\( x, \, y \in S \). Отже, для однорідної ланцюга Маркова на\( S \), процес, який\( \{X_{s+t}: t \in [0, \infty)\} \) заданий\( X_s = x \), є незалежним\( \mathscr{F}_s \) і рівноцінним\( \{X_t: t \in [0, \infty)\} \) заданому процесу\( X_0 = x \), для кожного\( s \in [0, \infty) \) і\( x \in S \). Тобто, якщо ланцюг знаходиться в стані в певний\( x \in S \) час\( s \in [0, \infty) \), не має значення, яким чином ланцюг потрапив\( x \); ланцюг по суті починається в стані\( x \).

Сильна власність Маркова

Випадкові часи відіграють важливу роль у вивченні безперервно-часових ланцюгів Маркова. Часто необхідно дозволити випадковим часом приймати значення\( \infty \), тому формально випадковий час\( \tau \) є випадковою величиною на базовому просторі вибірки,\( (\Omega, \mathscr{F}) \) приймаючи значення в\( [0, \infty] \). Нагадаємо також, що випадковий час\( \tau \) - це час зупинки (також називається марковським часом або необов'язковим часом), якщо\( \{\tau \le t\} \in \mathscr{F}_t \) для кожного\( t \in [0, \infty) \). Якщо\( \tau \) це час зупинки, то\( \sigma \) -алгебра, пов'язана з\( \tau \)\( \mathscr{F}_\tau \) є\[ \mathscr{F}_\tau = \{A \in \mathscr{F}: A \cap \{\tau \le t\} \in \mathscr{F}_t \text{ for all } t \in [0, \infty)\} \] Так - це збір подій до випадкового часу\( \tau \) таким же чином,\( \mathscr{F}_t \) що і збір подій аж до детермінованого часу\( t \in [0, \infty) \). Зазвичай ми хочемо, щоб властивість Маркова поширювалася від детермінованих часів до зупинки.

Процес\( \bs{X} = \{X_t: t \in [0, \infty)\} \) являє собою міцну марковську ланцюг на\( S \) якщо на кожну зупинку часу\( \tau \)\(t \in [0, \infty) \), і\( x \in S \),\[ \P(X_{\tau + t} = x \mid \mathscr{F}_\tau) = \P(X_{\tau + t} = x \mid X_\tau) \]

Так, для однорідної міцної ланцюга Маркова на\( S \), процес\( \{X_{\tau + t}: t \in [0, \infty)\} \) даний\( X_\tau = x \), є незалежним\( \mathscr{F}_\tau \) і еквівалентний\( \{X_t: t \in [0, \infty)\} \) заданому процесу\( X_0 = x \), для кожного часу зупинки\( \tau \) і\( x \in S \). Тобто, якщо ланцюг знаходиться в стані\( x \in S \) в момент зупинки\( \tau \), то ланцюг по суті починається спочатку в\( x \), незалежно від минулого.

Час проведення і ланцюг стрибків

Для нашої першої точки зору ми вивчимо, коли і як наш ланцюг Маркова\( \bs{X} \) змінює стан. Обговорення сильно залежить від властивостей експоненціального розподілу, тому нам потрібен швидкий огляд.

Експоненціальний розподіл

Випадкова величина\( \tau \) має експоненціальний розподіл з параметром швидкості,\( r \in (0, \infty) \) якщо\( \tau \) має неперервний розподіл на\( [0, \infty) \) з функцією щільності ймовірності,\( f \) заданою\( f(t) = r e^{-r t} \) for\( t \in [0, \infty) \). Аналогічно, правильна функція розподілу\( F^c \)\[ F^c(t) = \P(\tau \gt t) = e^{-r t}, \quad t \in [0, \infty) \] задається середнім розподілом є\( 1 / r \) і дисперсія є\( 1 / r^2 \). Експоненціальний розподіл має дивовижну кількість характеристик. Однією з найважливіших є властивість без пам'яті, яка стверджує, що випадкова величина\( \tau \) зі значеннями в\( [0, \infty) \) має експоненціальний розподіл тоді і лише тоді, коли умовний розподіл\( \tau - s \) заданого\( \tau \gt s \) є таким же, як розподіл\( \tau \) себе, для кожного\( s \in [0, \infty) \). Легко помітити, що властивість без пам'яті еквівалентна закону експонентів для функції правильного розподілу\( F^c \), а саме\( F^c(s + t) = F^c(s) F^c(t) \) для\( s, \, t \in [0, \infty) \). Оскільки\( F^c \) є правильним безперервним, єдиними розв'язками є експоненціальні функції.

Для дослідження марковських ланцюгів безперервного часу корисно розширити експоненціальний розподіл на два вироджені випадки,\( \tau = 0 \) з ймовірністю 1 і\( \tau = \infty \) з ймовірністю 1. За параметром перший випадок відповідає\( r = \infty \) так, що\( F(t) = \P(\tau \gt t) = 0 \) для кожного\( t \in [0, \infty) \), а другий випадок відповідає\( r = 0 \) так, що\( F(t) = \P(\tau \gt t) = 1 \) для кожного\( t \in [0, \infty) \). Зверніть увагу, що в обох випадках функція\( F \) задовольняє закону експонент, і так відповідає безпам'ятному розподілу в загальному сенсі. У всіх випадках середнє значення експоненціального розподілу з параметром\( r \in [0, \infty] \) є\( 1 / r \), де ми інтерпретуємо\( 1/0 = \infty \) і\( 1/\infty = 0 \).

Проведення разів

Властивість Маркова має на увазі властивість без пам'яті на випадковий час, коли марковський процес першим залишає свій початковий стан. Звідси випливає, що цей випадковий час повинен мати експоненціальний розподіл.

Припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це Марков ланцюг на\( S \), і нехай\( \tau = \inf\{t \in [0, \infty): X_t \ne X_0\} \). Для\( x \in S \), умовний розподіл\( \tau \) заданого\( X_0 = x \) є експоненціальним з параметром\( \lambda(x) \in [0, \infty] \).

Доказ

Нехай\( x \in S \) і\( s \in [0, \infty) \). Події\( X_0 = x \) і\( \tau \gt s \) мають на увазі\( X_s = x \). За властивістю Маркова, наведено\( X_s = x \), ланцюг починається за часом\( s \) в державі\( x \), незалежно від\( \{X_0 = x\} \) і\( \{\tau \gt s\} \), так як обидві події знаходяться в\( \mathscr{F}_s \). Отже\( t \in [0, \infty) \),\[ \P(\tau \gt t + s \mid X_0 = x, \tau \gt s) = \P(\tau \gt t + s \mid X_0 = x, X_s = x, \tau \gt s) = \P(\tau \gt t \mid X_0 = x)\] випливає, що\( \tau \) має властивість memoryless, а отже, має експоненціальний розподіл з параметром\( \lambda(x) \in [0, \infty] \).

Отже, пов'язана з ланцюгом Маркова\( \bs{X} \) on\( S \) є функція\( \lambda: S \to [0, \infty] \), яка дає експоненціальні параметри для часу утримання в станах. Розглядаючи звичайний експоненціальний розподіл та дві вироджені версії, ми наводимо наступну класифікацію станів:

Знову припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це ланцюжок Маркова\( S \) з функцією експоненціального параметра\( \lambda \). Нехай\( x \in S \).

1. Якщо\( \lambda(x) = 0 \) тоді\( \P(\tau = \infty \mid X_0 = x) = 1 \), і, як кажуть,\( x \) є поглинаючим станом.
2. Якщо\( \lambda(x) \in (0, \infty) \) тоді\( \P(0 \lt \tau \lt \infty \mid X_0 = x) = 1 \) і кажуть,\( x \) що це стабільний стан.
3. Якщо\( \lambda(x) = \infty \) тоді\( \P(\tau = 0 \mid X_0 = x) = 1 \), і кажуть,\( x \) що це миттєвий стан.

Як ви можете собі уявити, миттєвий стан відповідає дивному поведінці, так як ланцюг, що починається в стані, залишає стан часом довільно близьким до 0. Хоча математично можливо, миттєві стани не мають сенсу в більшості додатків, і тому їх слід уникати. Також доказ останнього результату має деякі технічні отвори. Ми насправді не показали, що\( \tau \) це дійсний випадковий час, не кажучи вже про час зупинки. На щастя, одне з наших стандартних припущень вирішує ці проблеми.

Припустимо, знову ж таки, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це ланцюг Маркова на\( S \). Якщо процес\( \bs{X} \) і\( \mathfrak{F} \) фільтрація правильно безперервні, то

1. \( \tau \)час зупинки.
2. \( \bs{X} \)не має миттєвих станів.
3. \( \P(X_\tau \ne x \mid X_0 = x) = 1 \)\( x \in S \)якщо стабільний.
4. \( \bs{X} \)є сильним марківським процесом.

Доказ

1. Нехай\( t \in [0, \infty) \). По праву спадкоємність,\[ \{\tau \lt t\} = \{X_s \ne X_0 \text{ for some } s \in (0, t)\} = \{X_s \ne X_0 \text{ for some rational } s \in (0, t)\} \] Але для\( s \in (0, t) \),\( \{X_s \ne X_0\} \in \mathscr{F}_s \subseteq \mathscr{F}_t \). Остання подія в відображуваному рівнянні є зліченним об'єднанням, так що\( \{\tau \lt t\} \in \mathscr{F}_t \). Так як\( \mathfrak{F} \) це право безперервний,\( \tau \) є час зупинки.
2. Припустимо, що\( \omega \in \Omega \) і\( X_0(\omega) = x \). Оскільки\( \bs{X} \) це право безперервно, існує\( \epsilon \gt 0 \) таке, що\( X_t(\omega) = x \) для\( 0 \le t \lt \epsilon \) і, отже,\( \tau(\omega) \ge \epsilon \gt 0 \). Отже\( \P(\tau \gt 0 \mid X_0 = x) = 1 \).
3. Точно так само припустимо, що\( \omega \in \Omega \) і те\( X_0(\omega) = x \) і\( X_{\tau(\omega)}(\omega) = y \). Так як\( \bs{X} \) це право безперервний, існує\( \epsilon \gt 0 \) таке, що\( X_t(\omega) = y \) для\( \tau(\omega) \le t \lt \tau(\omega) + \epsilon \). Але за визначенням\( \tau(\omega) \), існує\( t \in (\tau(\omega), \tau(\omega) + \epsilon) \) с\( X_t(\omega) \ne x \). Звідси\( \P(X_\tau \ne x \mid X_0 = x) = 1 \).

Насправді існує зворотна частина (b), яка стверджує, що якщо не\( \bs{X} \) має миттєвих станів, то існує версія,\( \bs{X} \) що є правильним безперервним. Відтепер будемо вважати, що наші ланцюги Маркова є правильними неперервними з ймовірністю 1, а значить, не мають миттєвих станів. З іншого боку, поглинаючі стани цілком розумні і часто трапляються в додатках. Нарешті, якщо ланцюг увійде в стабільний стан, вона залишиться там протягом (належного) експоненціально розподіленого часу, а потім піде.

Ланцюг стрибка

Без миттєвих станів ми можемо побудувати послідовність зупинки разів. В основному, ми дозволимо\( \tau_n \) позначити\( n \) той час, за який ланцюг змінює стан\( n \in \N_+ \), якщо тільки ланцюг раніше не був спійманий в поглинаючому стані. Ось формальна конструкція:

Припустимо, знову ж таки, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це ланцюг Маркова на\( S \). Нехай\( \tau_0 = 0 \) і\( \tau_1 = \inf\{t \in [0, \infty): X_t \ne X_0\} \). Рекурсивно, припустимо,\( \tau_n \) що визначено для\( n \in \N_+ \). Якщо\( \tau_n = \infty \) нехай\( \tau_{n+1} = \infty \). Інакше\[ \tau_{n+1} = \inf\left\{t \in [\tau_n, \infty): X_t \ne X_{\tau_n}\right\} \] нехай\( M = \sup\{n \in \N: \tau_n \lt \infty\} \).

У визначенні\( M \), звичайно\( \sup(\N) = \infty \),\( M \) так само і кількість змін держави. Якщо\( M \lt \infty \), ланцюг вчасно присмокталася в поглинаючий стан\( \tau_M \). Оскільки ми виключили миттєві стани, послідовність випадкових разів строго збільшується аж до (випадкового) терміну\( M \). Тобто з ймовірністю 1, якщо\( n \in \N \) і\( \tau_n \lt \infty \) то\( \tau_n \lt \tau_{n+1} \). Звичайно по будівництву, якщо\( \tau_n = \infty \) тоді\( \tau_{n+1} = \infty \). Приріст\( \tau_{n+1} - \tau_n \) для\( n \in \N \) з\( n \lt M \) - це час, проведений у штатах, які відвідують\( \bs{X} \). Процес у випадкові моменти зміни стану утворює вбудований дискретно-часовий ланцюжок Маркова.

Припустимо, знову ж таки, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це ланцюг Маркова на\( S \). Нехай\( \{\tau_n: n \in \N\} \) позначають час зупинки і\( M \) випадковий індекс, як визначено вище. Для\( n \in \N \), нехай\( Y_n = X_{\tau_n} \) якщо\( n \le M \) і\( Y_n = X_{\tau_M} \) якщо\( n \gt M \). Потім\( \bs{Y} = \{Y_n: n \in \N\} \) є (однорідним) дискретним часом Маркова ланцюг на\( S \), відомий як стрибок ланцюга\( \bs{X} \).

Доказ

Для\( n \in \N \) нехай\( \mathscr{G}_n = \sigma\{Y_0, Y_1, \ldots, Y_n\} \),\( \sigma \) -алгебра подій для процесу\( \bs{Y} \), аж до дискретного часу\( n \). Нехай\( x \in S \). Якщо\( x \) є стабільним, то задано\( Y_n = x \), випадкові часи\( \tau_n \) і\( \tau_{n+1} \) є кінцевими з ймовірністю 1. (Зауважте, що ми не можемо дістатися\( x \) до стану поглинання.) Так\[ \P(Y_{n+1} = y \mid Y_n = x, \mathscr{G}_n) = \P\left(X_{\tau_{n+1}} = y \mid X_{\tau_n} = x, \mathscr{G}_n\right), \quad y \in S \] ось сильним марковським властивістю, враховуючи\( X_{\tau_n} = x \), ланцюг починається\( \tau_n \) в часі в державі\( x \), незалежному від\( \mathscr{G}_n \subseteq \mathscr{F}_{\tau_n} \). Звідси\[ \P(Y_{n+1} = y \mid Y_n = x, \mathscr{G}_n) = \P(X_\tau = y \mid X_0 = x), \quad y \in S\] З іншого боку, якщо\( x \) є поглинаючим станом, то шляхом побудови,\[ \P(Y_{n+1} = y \mid Y_n = x, \mathscr{G}_n) = I(x, y), \quad y \in S \] де\( I \) знаходиться матриця ідентичності на\( S \).

Як зазначається у доведенні, матриця ймовірності одноступінчастого переходу\( Q \) для ланцюга\( \bs{Y} \) стрибків\( (x, y) \in S^2 \) задана для того,\[ Q(x, y) = \begin{cases} \P(X_\tau = y \mid X_0 = x), & x \text{ stable} \\ I(x, y), & x \text{ absorbing} \end{cases} \] де\( I \) знаходиться матриця ідентичності\( S \). Звичайно,\( Q \) задовольняє звичайні властивості матриці ймовірностей на\( S \), а саме\( Q(x, y) \ge 0 \) for\( (x, y) \in S^2 \) і\( \sum_{y \in S} Q(x, y) = 1 \) for\( x \in S \). Але\( Q \) задовольняє ще одне цікаве властивість, а також. Оскільки стан фактично змінюється під час,\( \tau \) починаючи в стабільному стані, ми повинні мати,\( Q(x, x) = 0 \) якщо\( x \) є стабільним, а\( Q(x, x) = 1 \) якщо\( x \) поглинає.

З огляду на початковий стан, час проведення і наступна держава незалежні.

Якщо\( x, \, y \in S \) і\( t \in [0, \infty) \) тоді\( \P(Y_1 = y, \tau_1 \gt t \mid Y_0 = x) = Q(x, y) e^{-\lambda(x) t} \)

Доказ

Припустимо, що\( x \) це стабільний стан, так що заданий\( Y_0 = X_0 = x \) час зупинки\( \tau_1 = \tau\) має належний експоненціальний розподіл з параметром\( \lambda(x) \in (0, \infty) \). Зверніть увагу, що\[ \P(Y_1 = y, \tau_1 \gt t \mid Y_0 = x) = \P(X_{\tau} = y, \tau \gt t \mid X_0 = x) = \P(X_\tau = y \mid \tau \gt t, X_0 = x) \P(\tau \gt t \mid X_0 = x) \] зверніть увагу, що якщо\( X_0 = x \) і\( \tau \gt t \) тоді\( X_t = x \) також. За властивістю Маркова, наведено\( X_t = x \), ланцюг починається в часі\( t \) в державі\( x \), незалежно від\( \{X_0 = x\} \) і\( \{\tau \gt t\} \), обох подій в\( \mathscr{F}_t \). \[ \P(X_\tau = y \mid \tau \gt t, X_0 = x) = \P(X_\tau = y \mid X_t = x, \tau \gt t, X_0 = x) = \P(X_\tau = y \mid X_0 = x) = Q(x, y) \]Звідси Звичайно\( \P(\tau \gt t \mid X_0 = x) = e^{-\lambda(x) t} \).

Якщо\( x \) це поглинаючий стан\( \P(\tau = \infty \mid X_0 = x) = 1 \), то\( \P(Y_1 = x \mid Y_0 = x) = 1 \), і\( \lambda(x) = 0 \). Звідси\[ \P(Y_1 = y, \tau_1 \gt t \mid Y_0 = x) = I(x, y) = Q(x, y) e^{-\lambda(x) t} \]

Наступна теорема є узагальненням. Зміни стану та часу проведення незалежні, враховуючи початковий стан.

Припустимо, що\( n \in \N_+ \) і що\( (x_0, x_1, \ldots, x_n) \) є послідовністю стабільних станів і\( (t_1, t_2, \ldots, t_n) \) є послідовністю в\( [0, \infty) \). Потім\ begin {align*} &\ P (Y_1 = x_1,\ tau_1\ gt t_1, Y_2 = x_2,\ tau_2 -\ tau_1\ gt t_2,\ ldots, Y_n = x_n,\ tau_n -\ tau_ {n-1}\ gt t_n\ середина Y_0 = x_0)\ = Q (x_0, x_1) e^ {-\ лямбда (x_0) t_1} Q (x_1, x_2) e^ {-\ лямбда (x_1) t_2}\ cdots Q (x_ {n-1}, x_n) e^ {-\ лямбда (x_ {n-1}) t_n}\ кінець {align*}

Доказ

Доказ - індукцією, а суть захоплюється в справі\( n = 2 \). Так що припустимо, що\( x_0, \, x_1, \, x_2 \) є стабільними станами і\( t_1, \, t_2 \in [0, \infty) \). Потім\ почати {align*} &\ P (Y_1 = x_1,\ tau_1\ gt t_1, Y_2 = x_2,\ tau_2 -\ tau_1\ gt t_2\ mid Y_0 = x_0)\\ & =\ P (Y_2 = x_2,\ tau_2 -\ tau_1\ gt t_2\ gt t_2\ gt t_2\ gt t_2\ gt t_2\ gt t_2\ gt t_2\ gt t_2\ gt t_2\ gt t_2 0 = х, Y_1 = x_1,\ tau_1\ gt t_1)\ P (Y_1 = x_1,\ tau_1\ gt t_1\ gt t_1\ mid Y_0 = x_0)\ end {align*} Але\( \P(Y_1 = x_1, \tau_1 \gt t_1 \mid Y_0 = x_0) = Q(x_0, x_1) e^{-\lambda(x_0) t_1} \) за попередньою теоремою. Далі, за визначенням,\[\P(Y_2 = x_2, \tau_2 - \tau_1 \gt t_2 \mid X_0 = x, Y_1 = x_1, \tau_1 \gt t_1) = \P\left(X_{\tau_2} = x_2, \tau_2 - \tau_1 \gt t_2 \mid X_0 = x_0, X_{\tau_1} = x_1, \tau_1 \gt t_1\right) \] Але за сильним властивістю Маркова\( X_{\tau_1} = x_1 \), дана, ланцюг починається\( \tau_1 \) в часі в стані\( x \), незалежно від подій\( \{X_0 = x_0\} \) і\( \{\tau_1 \gt t_1\} \) (обох подій в\( \mathscr{F}_{\tau_1} \)). Отже, використовуючи попередню теорему знову,\[ \P(Y_2 = x_2, \tau_2 - \tau_1 \gt t_2 \mid X_0 = x, Y_1 = x_1, \tau_1 \gt t_1) = \P(X_\tau = x_2, \tau \gt t_2 \mid X_0 = x_1) = Q(x_1, x_2) e^{-\lambda(x_1)t_2} \]

регулярність

Ми тепер знаємо зовсім небагато про будову марковського ланцюга безперервного часу\( \bs{X} = \{X_t: t \in [0, \infty)\} \) (без миттєвих станів). Як тільки ланцюг входить в заданий стан\( x \in S \), час утримання в стані\( x \) має експоненціальний розподіл з параметром\( \lambda(x) \in [0, \infty) \), після чого наступний стан\( y \in S \) вибирається, незалежно від часу витримки, з ймовірністю\( Q(x, y) \). Однак ми не знаємо все про ланцюг. Для послідовності,\( \{\tau_n: n \in \N\} \) визначеної вище\( \tau_\infty = \lim_{n \to \infty} \tau_n \), нехай, яка існує,\( (0, \infty] \) звичайно, так як послідовність збільшується. Незважаючи на те, що час утримання в стані є позитивним з ймовірністю 1, можливо, що\( \tau_\infty \lt \infty \) з позитивною ймовірністю, і в цьому випадку ми нічого не знаємо про\( X_t \) для\(t \ge \tau_\infty \). Подія\( \{\tau_\infty \lt \infty\} \) відома як вибух, оскільки це означає, що\( \bs{X} \) робить нескінченно багато переходів до кінцевого часу\( \tau_\infty \). Хоча не настільки патологічний, як існування миттєвих станів, вибуху все ще слід уникати в більшості застосувань.

Ланцюг Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \)\( S \) увімкнено регулярно, якщо кожна з наступних подій має ймовірність 1:

1. \( \bs{X} \)є правильним безперервним.
2. \( \tau_n \to \infty \)як\( n \to \infty \).

Існує проста умова щодо експоненціальних параметрів та вбудованого ланцюга, що еквівалентно умові (b).

Припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це правий неперервний ланцюжок Маркова\( S \) з функцією експоненціальних параметрів\( \lambda \) та вбудованим ланцюгом\( \bs{Y} = (Y_0, Y_1, \ldots) \). Тоді\( \tau_n \to \infty \) як\( n \to \infty \) з ймовірністю 1 якщо і тільки якщо\( \sum_{n=0}^\infty 1 \big/ \lambda(Y_n) = \infty \) з ймовірністю 1.

Доказ

Дано\( \bs{Y} = (y_0, y_1, \ldots) \), розподіл\( \tau_\infty = \lim_{n \to \infty} \tau_n \) є розподілом\( T_\infty = \sum_{n=0}^\infty T_n \) де\( (T_0, T_1, \ldots) \) незалежні, і\( T_n \) має експоненціальний розподіл з параметром\( \lambda(y_n) \). Зверніть увагу, що\( \E(T_\infty) = \sum_{n=0}^\infty 1 \big/ \lambda(y_n) \). У розділі про експоненціальний розподіл показано, що\( \P(T_\infty = \infty) = 1 \) якщо і тільки якщо\( \E(T_\infty) = \infty \).

Якщо\(\lambda \) обмежений, то\( \bs{X} \) регулярний.

Припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це ланцюжок Маркова\( S \) з функцією експоненціального параметра\( \lambda \). Якщо\(\lambda \) обмежений, то\( \bs{X} \) регулярний.

Доказ

Припустимо, що\( \lambda(x) \le r \) за\( x \in S \), де\( r \in (0, \infty) \). Тоді, зокрема, не\( \bs{X} \) має миттєвих станів і так правильно безперервно. Більш того,\( 1 / \lambda(x) \ge 1 / r \) для\( x \in S \) так\( \sum_{n=0}^\infty 1 \big / \lambda(Y_n) = \infty \) з ймовірністю 1, де, як зазвичай,\( \bs{Y} = (Y_0, Y_1, \ldots) \) є ланцюг стрибків\( \bs{X} \).

Ось ще одна достатня умова, яка корисна, коли простір стану нескінченно.

Припустимо, що\( \bs X = \{X_t: t \in [0, \infty)\} \) це ланцюжок Маркова\( S \) з функцією експоненціального параметра\( \lambda: S \to [0, \infty) \). Нехай\( S_+ = \{x \in S: \lambda(x) \gt 0\} \). Тоді\( \bs X \) є регулярним, якщо\[ \sum_{x \in S_+} \frac{1}{\lambda(x)} = \infty \]

Доказ

За припущенням\( x \in S \),\( \lambda(x) \lt \infty \) бо, так немає миттєвих станів, і тому ми можемо прийняти,\( \bs X \) щоб бути правильним безперервним. Далі,\[ \sum_{n=0}^\infty \frac{1}{\lambda(Y_n)} = \sum_{n=0}^\infty \sum_{x \in S} \frac{1}{\lambda(x)} \bs{1}(Y_n = x) = \sum_{x \in S} \frac{1}{\lambda(x)} \sum_{n=0}^\infty \bs{1}(Y_n = x) = \sum_{x \in S} \frac{N_x}{\lambda(x)} \] де\( N_x = \sum_{n=0}^\infty \bs{1}(Y_n = x) \) - кількість разів, що ланцюг стрибка\( \bs Y \) знаходиться в стані\( x \). Припустимо, що\( \sum_{x \in S_+} 1 / \lambda(x) = \infty \). Зверніть увагу, що це повинен бути той випадок\( S_+ \), який, а значить\( S \), нескінченний. З ймовірністю 1, або\( \bs Y \) входить в поглинаючий стан (стан\( x \in S \) з\( \lambda(x) = 0 \)), або\( N_x = \infty \) для деяких\( x \in S_+ \), або\( N_x \ge 1 \) для нескінченно багатьох\( x \in S_+ \). У будь-якому випадку,\[ \sum_{n=0}^\infty \frac{1}{\lambda(Y_n)} = \sum_{x \in S} \frac{N_x}{\lambda(x)} = \infty\]

Як наслідок, зверніть увагу, що якщо\( S \) скінченний, то\( \lambda \) обмежений, тому ланцюг Маркова безперервного часу на скінченному просторі станів є регулярним. Отже, щоб переглянути, якщо функція експоненціального параметра\( \lambda \) кінцева, ланцюг не\( \bs{X} \) має миттєвих станів. Ще краще, якщо\( \lambda \) обмежений або якщо умови в останній теоремі задоволені, то\( \bs{X} \) є регулярним. Безперервний марковський ланцюг з обмеженими функціями експоненціальних параметрів\( \lambda \) називається рівномірною, з причин, які стануть зрозумілими в наступному розділі про матриці переходу. Як ми побачимо в наступному розділі, рівномірний ланцюг Маркова безперервного часу може бути побудована з ланцюга дискретного часу і незалежного процесу Пуассона. Для наступного результату нагадаємо, що сказати, що\( \bs{X} \) має ліві межі з ймовірністю 1 означає, що випадкова функція\( t \mapsto X_t \) має межі зліва\( (0, \infty) \) з ймовірністю 1.

Якщо\( \bs{X} = \{X_t: t \in [0, \infty)\} \) регулярний, то\( \bs{X} \) має ліві межі з ймовірністю 1.

Доказ

Припустимо спочатку, що немає поглинаючих станів. За припущеннями, з ймовірністю 1,\( 0 \lt \tau_n \lt \infty \) для кожного\( n \in \N \) і\( \tau_n \to \infty \) як\( n \to \infty \). Більш того,\( X_t = Y_n \) для\( t \in [\tau_n, \tau_{n+1}) \) і\( n \in \N \). Так\( t \mapsto X_t \) залишив межі на\( (0, \infty) \) з ймовірністю 1. Той же основний аргумент працює з поглинаючими станами, хіба що можливо\( \tau_{n+1} = \infty \).

Таким чином, наше стандартне припущення буде полягати в\( \bs{X} = \{X_t: t \in [0, \infty)\} \) тому, що є звичайна ланцюжок Маркова на\( S \). Для такого ланцюга поведінка повністю\( \bs{X} \) визначається функцією експоненціального параметра,\( \lambda \) що регулює час утримання, і матрицею\( Q \) ймовірності переходу ланцюга стрибка\( \bs{Y} \). І навпаки, при моделюванні реальних стохастичних систем ми часто починаємо з\( \lambda \) і\( Q \). Тоді відносно просто побудувати ланцюг Маркова безперервного часу, який має ці параметри. Для простоти будемо вважати, що поглинаючих станів немає. Включення поглинаючих станів не є складним, але гидовує інакше витончену експозицію.

Припустимо, що\( \lambda: S \to (0, \infty) \) обмежена, і\( Q \) це матриця ймовірностей на\( S \) з властивістю, що\( Q(x, x) = 0 \) для кожного\( x \in S \). Регулярний, безперервний ланцюг Маркова\( \bs X = \{X_t: t \in [0, \infty)\} \) з функцією експоненціальних параметрів\( \lambda \) і матрицею переходу стрибка\( Q \) може бути побудована наступним чином:

1. Спочатку побудуйте стрибок ланцюга,\( \bs Y = (Y_0, Y_1, \ldots) \) що має матрицю переходу\( Q \).
2. Далі, наведено\( \bs Y = (x_0, x_1, \ldots) \), часи переходу\( (\tau_1, \tau_2, \ldots) \) будуються так, щоб час утримання був\( (\tau_1, \tau_2 - \tau_1, \ldots) \) незалежним і експоненціально розподілений з параметрами\( (\lambda(x_0), \lambda(x_1), \ldots) \)
3. Знову дано\( \bs Y = (x_0, x_1, \ldots) \), визначити\( X_t = x_0 \) для\( 0 \le t \lt \tau_1 \) і для\( n \in \N_+ \), визначити\( X_t = x_n \) для\( \tau_n \le t \lt \tau_{n+1}) \).

Додаткові деталі

Використовуючи набори продуктів та заходи продукту, легко побудувати простір ймовірностей\( (\Omega, \mathscr{F}, \P) \) з наступними об'єктами та властивостями:

1. \( \bs{Y} = (Y_0, Y_1, \ldots) \)являє собою ланцюжок Маркова на\( S \) з матрицею переходу\( Q \).
2. \( \bs{T} = \{T_x: x \in S\} \)являє собою сукупність незалежних випадкових величин зі значеннями в\( [0, \infty) \) таких, що\( T_x \) має експоненціальний розподіл з параметром\( \lambda(x) \) для кожного\( x \in S \).
3. \( \bs{Y} \)і\( \bs{T} \) є незалежними.

Визначте\( \bs{X} = \{X_t: t \in [0, \infty)\} \) наступним чином: Спочатку,\( \tau_1 = T_{Y_0} \) і\( X_t = Y_0 \) для\( 0 \le t \lt \tau_1 \). Рекурсивно, якщо\( X_t \) визначається на\( [0, \tau_n) \), нехай,\( \tau_{n+1} = \tau_n + T_{Y_n} \) а потім нехай\( X_t = Y_n \) для\( \tau_n \le t \lt \tau_{n+1} \). Так як\( \lambda \) обмежена,\( \tau_n \to \infty \) як\( n \to \infty \), так\( X_t \) добре визначена для\( t \in [0, \infty) \). За конструкцією,\( t \mapsto X_t \) праворуч суцільний і має ліві межі. Власність Маркова володіє безпам'ятним властивістю експоненціального розподілу і тим, що\( \bs Y \) є марковським ланцюгом. Нарешті, за конструкцією,\( \bs X \) має експоненціальну функцію параметрів\( \lambda \) та ланцюг стрибків\( \bs{Y} \).

Часто, особливо коли\( S \) є кінцевим, сутнісну структуру стандартного, безперервного марковського ланцюга можна стисло узагальнити за допомогою графіка.

Припустимо ще раз, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) є регулярним ланцюгом Маркова на\( S \), з експоненціальною функцією параметрів\( \lambda \) і вбудованою матрицею переходу\( Q \). Граф стану\( \bs{X} \) - це граф з множиною вершин\( S \) та набором спрямованих країв\( E = \{(x, y) \in S^2: Q(x, y) \gt 0\} \). Графік маркується наступним чином:

1. Кожна вершина\( x \in S \) позначена експоненціальним параметром\( \lambda(x) \).
2. Кожне ребро\( (x, y) \in E \) маркується з ймовірністю переходу\( Q(x, y) \).

Таким чином, за винятком міток на вершині, граф стану\( \bs{X} \) такий же, як і графік стану дискретного часу стрибка ланцюга\( \bs{Y} \). Тобто існує спрямоване ребро від стану\( x \) до стану,\( y \) якщо і тільки тоді, коли ланцюг, коли в\( x \), може рухатися\( y \) після випадкового часу утримання в\( x \). Зверніть увагу, що єдині петлі на графіку стану відповідають поглинаючим станам, і для такого стану відсутні зовнішні ребра.

Повернемося знову до побудови вище ланцюга Маркова безперервного часу з матриці переходу стрибка\( Q \) і функції експоненціального параметра\( \lambda \). Знову ж таки для простоти припустимо, що немає поглинаючих станів. Ми припускаємо\( x \in S \), що\( Q(x, x) = 0 \) для всіх, щоб держава дійсно змінилася в перехідний час. Однак, якщо відкинути це припущення, побудова все одно дає безперервний марковський ланцюжок часу, але зі зміненою матрицею переходу стрибка і функцією експоненціального параметра.

Припустимо, що\( Q \) це матриця переходу на\( S \times S \) з\( Q(x, x) \lt 1 \) for\( x \in S \), і що\( \lambda: S \to (0, \infty) \) обмежена. Стохастичний процес,\( \bs X = \{X_t: t \in [0, \infty)\} \) побудований вище з\( Q \) і\( \lambda \) є регулярним ланцюгом Маркова безперервного часу з експоненціальною функцією параметрів\( \tilde \lambda \) і матрицею переходу стрибка,\( \tilde Q \) заданою\ begin {align*} &\ tilde\ lambda (x) =\ lambda (x) [1 - Q (x, x)],\ quad x \ in S\\ &\ тильда Q (x, y) =\ frac {Q (x, y)} {1 - Q (x, x)},\ квадрад (x, y)\ in S^2,\, x\ ne y\ end {align*}

Доказ 1

Як і раніше, той факт, що\( \bs X \) є безперервним марковським ланцюгом, випливає з беззапам'ятовуваного властивості експоненціального розподілу і марковського властивості ланцюга стрибка\( \bs Y \). За конструкцією,\( t \mapsto X_t \) праворуч суцільний і має ліві межі. Головний момент, однак, полягає в тому, що\( (\tau_1, \tau_2, \ldots) \) не обов'язково послідовність перехідних часів, коли стан фактично змінюється. Так що нам потрібно просто визначитися з параметрами. Припустимо\( X_0 = x \in S \) і нехай\( \tau = \tau_1 \) мають експоненціальний розподіл з параметром\( \lambda(x) \), як при побудові. \( T \)Дозвольте позначити час, коли стан насправді дійсно змінюється. Бо\( t \in [0, \infty) \), подія\( T \gt t \) може відбуватися двома способами:\( \tau \gt t \) або\( \tau = s \) для деяких\( s \in [0, t] \), ланцюг перескакує назад\( x \) у стан в\( x \) той час\( s \), і процес потім залишається протягом періоду принаймні\( t - s \). Таким чином нехай\( F_x(t) = \P(T \gt t \mid X_0 = x) \). Беручи два випадки, кондиціонування та використання властивості Маркова дає\[ F_x(t) = e^{-\lambda(x) t} + \int_0^t \lambda(x) e^{-\lambda(x) s} Q(x, x) F_x(t - s) ds \] Використання зміни змінних\( u = t - s \) та спрощення дає\[ F_x(t) = e^{-\lambda(x) t} \left[1 + \lambda(x) Q(x, x) \int_0^t e^{\lambda(x) u} F_x(u) du\right] \] Диференціювання щодо\( t \) потім дає\[ F_x^\prime(t) = -\lambda(x) [1 - Q(x, x)] F_x(t) \] з початковою умовою\( F_x(0) = 1 \).\( \tau \) Рішення, звичайно,\( F_x(t) = \exp\{-\lambda(x)[1 - Q(x, x)]\} \) для\( t \in [0, \infty) \). Коли держава дійсно змінюється, новий стан\( y \ne x \) вибирається з ймовірністю\[ \P(Y_1 = y \mid Y_0 = x, Y_1 \ne x) = \frac{Q(x, y)}{1 - Q(x, x)} \]

Доказ 2

Як і в першому доказі, нам просто потрібно визначитися з параметрами. Враховується\( X_0 = Y_0 = x \), що дискретний час\( N \) при\( \ Y\) першій зміні стану має геометричний розподіл по параметру\( \N_+ \) з успіхом\( 1 - Q(x, x) \). Звідси час, поки\( \bs X \) фактично не зміниться стан має розподіл\( T = \sum_{i=1}^N U_i \) де\( \bs U = (U_1, U_2, \ldots) \) послідовність незалежних змінних, кожна з яких експоненціально розподілена з параметром\( \lambda(x) \) і з\( \bs U \) незалежною від\( N \). У розділі про експоненціальний розподіл показано, що\( T \) також має експоненціальний розподіл, але з параметром\( \lambda(x)[1 - Q(x, x)] \). (Доказ простий за допомогою генеруючих функцій.) Як і в першому доказі, коли держава дійсно змінюється, новий стан\( y \ne x \) вибирається з ймовірністю\[ \P(Y_1 = y \mid Y_0 = x, Y_1 \ne x) = \frac{Q(x, y)}{1 - Q(x, x)} \]

Ця конструкція буде важливою при нашому вивченні ланцюгів, підлеглих процесу Пуассона.

Час переходу

Структура регулярної ланцюга Маркова на\( S \), як описано вище, можна пояснити чисто з точки зору сімейства незалежних, експоненціально розподілених випадкових величин. Основними інструментами є деякі додаткові спеціальні властивості експоненціального розподілу, які нам потрібно переформувати в налаштуванні нашого ланцюга Маркова. Наш інтерес полягає в тому, як процес розвивається серед стабільних станів, поки він не увійде в поглинаючий стан (якщо це відбувається). Опинившись у поглинаючому стані, ланцюг залишається там назавжди, тому поведінка з цього моменту тривіальна.

Припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це регулярний ланцюжок Маркова на\( S \), з експоненціальною функцією параметрів\( \lambda \) та матрицею ймовірностей переходу\( Q \). Визначте\( \mu(x, y) = \lambda(x) Q(x, y) \) для\( (x, y) \in S^2 \). Тоді

1. \( \lambda(x) = \sum_{y \in S} \mu(x, y) \)для\( x \in S \).
2. \( Q(x, y) = \mu(x, y) \big/ \lambda(x) \)якщо\( (x, y) \in S^2 \) і\( x \) є стабільним.

Основним моментом є те, що нові параметри\( (x, y) \in S^2 \) визначають\( \mu(x, y) \) для експоненціальних параметрів\( \lambda(x) \)\( x \in S \), а ймовірності переходу\( Q(x, y) \)\( x \in S \) при стабільному і\( y \in S \). Звичайно, ми знаємо, що якщо\( \lambda(x) = 0 \), так що\( x \) поглинає, то\( Q(x, x) = 1 \). Так по суті, нові параметри, як зазначено функцією\( \mu \), повністю визначають старі параметри, які задаються функціями\( \lambda \) і\( Q \). Але так що?

Розглянемо функції\( \mu \)\( \lambda \), і\( Q \) як дано в попередньому результаті. Припустимо, що\( T_{x,y} \) має експоненціальний розподіл з параметром\( \mu(x, y) \) для кожного\( (x, y) \in S^2 \) і\( \left\{T_{x,y}: (x, y) \in S^2\right\} \) це набір незалежних випадкових величин. Тоді

1. \( T_x = \inf\left\{T_{x,y}: y \in S\right\} \)має експоненціальний розподіл з параметром\( \lambda(x) \) for\( x \in S \).
2. \(\P\left(T_x = T_{x, y}\right) = Q(x, y)\)для\( (x, y) \in S^2 \).

Доказ

Це основні результати, доведені в розділі про експоненціальний розподіл.

Отже, ось як ми можемо думати про регулярний, безперервний час ланцюга Маркова на\( S \): Існує таймер, пов'язаний з кожним\( (x, y) \in S^2 \), встановлений на випадковий час\( T_{x,y} \). Всі таймери функціонують незалежно. Коли ланцюг входить в стан\( x \in S \), таймери на\( (x, y) \) for\( y \in S \) запускаються одночасно. Як тільки спрацює перший сигнал тривоги для конкретного\( (x, y) \), ланцюг тут же переходить в стан\( y \), і процес повторюється. Звичайно, якщо\( \mu(x, y) = 0 \) тоді\( T_{x, y} = \infty \) з ймовірністю 1, так тільки таймери з\( \lambda(x) \gt 0 \) і\( Q(x, y) \gt 0 \) матерії (вони відповідають непетльовим ребрам в графі стану). Зокрема, якщо\( x \) поглинає, то таймери на\( (x, y) \) встановлені на нескінченність для кожного\( y \), і жодної тривоги ніколи не звучить.

Нова колекція експоненціальних параметрів може бути використана для отримання альтернативної версії графа стану. Знову ж таки, набір вершин є,\( S \) а набір країв є\( E = \{(x, y) \in S^2: Q(x, y) \gt 0\} \). Але тепер\( (x, y) \) кожне ребро позначено параметром експоненціальної швидкості\( \mu(x, y) \). Параметри експоненціальної швидкості тісно пов'язані з матрицею генератора, матрицею фундаментального значення, яку ми вивчимо в наступному розділі.

Приклади і вправи

Ланцюг двох держав

Дводержавний ланцюг - найпростіша нетривіальна, безперервно-часовий ланцюг Маркова, але все ж цей ланцюг ілюструє багато важливих властивостей загальних безперервно-часових ланцюгів. Тому розглянемо ланцюжок Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \) на безлічі станів\( S = \{0, 1\} \), зі швидкістю переходу\( a \in [0, \infty) \) від 0 до 1 і швидкістю переходу\( b \in [0, \infty) \) від 1 до 0.

Матриця переходу\( Q \) для вбудованого ланцюга наведена нижче. Намалюйте графік стану в кожному конкретному випадку.

1. \( Q = \left[\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix}\right] \)якщо\( a \gt 0 \) і\( b \gt 0 \), щоб обидва держави були стабільними.
2. \( Q = \left[\begin{matrix} 1 & 0 \\ 1 & 0 \end{matrix}\right] \)якщо\( a = 0 \) і\( b \gt 0 \), так що\( a \)\( b \) поглинає і стійкий.
3. \( Q = \left[\begin{matrix} 0 & 1 \\ 0 & 1 \end{matrix}\right] \)якщо\( a \gt 0 \) і\( b = 0 \), так що\( a \) стійкий і\( b \) поглинає.
4. \( Q = \left[\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix}\right] \)якщо\( a = 0 \) і\( b = 0 \), так що обидва стани поглинають.

Повернемося до двухстанной ланцюжку в наступних ділянках.

Обчислювальні вправи

Розглянемо ланцюжок Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \) on\( S = \{0, 1, 2\} \) з функцією експоненціальних параметрів\( \lambda = (4, 1, 3) \) та вбудованою матрицею переходу\[ Q = \left[\begin{matrix} 0 & \frac{1}{2} & \frac{1}{2} \\ 1 & 0 & 0 \\ \frac{1}{3} & \frac{2}{3} & 0\end{matrix}\right] \]

1. Намалюйте граф стану і класифікуйте стани.
2. Знайдіть матрицю швидкостей переходу.
3. Класифікуйте ланцюг стрибків за термінами повторення та періоду.
4. Знайдіть інваріантний розподіл ланцюга стрибка.

Відповідь

1. Край набір є\( E = \{(0, 1), (0, 2), (1, 0), (2, 0), (2, 1)\} \). Всі держави стабільні.
2. Матриця швидкостей переходів\[ \left[\begin{matrix} 0 & 2 & 2 \\ 1 & 0 & 0 \\ 1 & 2 & 0 \end{matrix}\right] \]
3. Ланцюг стрибка є незвідним, позитивним рецидивуючим і аперіодичним.
4. Інваріантний розподіл для ланцюга стрибків має PDF\[ f = \left[\begin{matrix} \frac{6}{14} & \frac{5}{14} & \frac{3}{14}\end{matrix}\right] \]

Спеціальні моделі

Прочитайте вступ до ланцюжків, підпорядкованих процесу Пуассона.

Прочитайте вступ до ланцюжків народження-смерті.

Прочитайте вступ до ланцюгів черг безперервного часу.

Прочитайте вступ до ланцюгів безперервного розгалуження часу.