16.21: Безперервні ланцюги народження-смерті

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)

Основна теорія

Вступ

Безперервний ланцюг народження-смерть - це простий клас ланцюгів Маркова на підмножині\( \Z \) з властивістю, що єдино можливими переходами є збільшення стану на 1 (народження) або зменшення стану на 1 (смерть). Найпростіше визначити процес народження-смерть з точки зору експоненціальних швидкостей переходів, що входять до базової структури безперервно-часових ланцюгів Маркова.

Припустимо, що\( S \) це цілий інтервал (тобто набір послідовних цілих чисел), або скінченний, або нескінченний. Ланцюг народження-смерть з функцією народжуваності\( \alpha: S \to [0, \infty) \) та функцією смертності\( \beta: S \to [0, \infty) \) є ланцюгом Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \) на\( S \) зі швидкістю переходу\( \alpha(x) \) від\( x \) до\( x + 1 \) та швидкістю переходу\( \beta(x) \) від\( x \) до\( x - 1 \), для\( x \in S \).

Якщо\( S \) має мінімальний елемент\( m \), то, звичайно, ми повинні мати\( \beta(m) = 0 \). Якщо\( \alpha(m) = 0 \) також, то гранична точка\( m \) поглинає. Аналогічно, якщо\( S \) має максимальний елемент,\( n \) то ми повинні мати\( \alpha(n) = 0 \). Якщо\( \beta(n) = 0 \) також, то гранична точка\( n \) поглинає. Якщо\( x \in S \) не гранична точка, то, як правило, ми маємо\( \alpha(x) + \beta(x) \gt 0 \), так\( x \) що стабільно. Якщо\( \beta(x) = 0 \) для всіх\( x \in S \), то\( \bs{X} \) це чистий процес народження, і аналогічно якщо\( \alpha(x) = 0 \) для всіх,\( x \in S \)\( \bs{X} \) то чистий процес смерті. З швидкості переходу легко обчислити параметри експоненціального часу утримання в стані і матриці переходу вбудованої ланцюга стрибка дискретного часу.

Розглянемо знову ланцюг\( \bs{X} \) народження-смерть\( S \) з функцією народжуваності\( \alpha \) та функцією смертності\( \beta \). Як завжди, давайте\( \lambda \) позначимо функцію експоненціального параметра і\( Q \) матрицю переходу для ланцюга стрибків.

1. \( \lambda(x) = \alpha(x) + \beta(x) \)для\( x \in S \)
2. Якщо\( x \in S \) стабільно, так що\( \alpha(x) + \beta(x) \gt 0 \), то\[ Q(x, x + 1) = \frac{\alpha(x)}{\alpha(x) + \beta(x)}, \quad Q(x, x - 1) = \frac{\beta(x)}{\alpha(x) + \beta(x)} \]

Зверніть увагу, що ланцюг\( \bs{Y} = (Y_0, Y_1, \ldots) \) стрибків - це ланцюг смерті від народження дискретного часу. Функції ймовірності\( p \)\( q \), і\( r \) з\( \bs Y \) наведені наступним чином: Якщо\( x \in S \) стабільна, то\ begin {align*} p (x) & = Q (x, x + 1) =\ frac {\ alpha (x)} {\ alpha (x) +\ beta (x)}\ q (x) & = Q (x, x - 1) =\ frac {\ beta (x)} {\ alpha (x) +\ бета (x)}\\ r (x) & = Q (x, x) = 0\ кінець {align*} Якщо\( x \) поглинає то звичайно\( p(x) = q(x) = 0 \) і\( r(x) = 1 \). За винятком початкового стану, стрибок ланцюг\( \bs{Y} \) детермінований для чистого родового процесу, при цьому\( Q(x, x) = 1 \) він\( x \)\( x \) поглинає і\( Q(x, x + 1) = 1 \) якщо стабільний. Аналогічно, крім початкового стану,\( \bs{Y} \) детермінований для чистого процесу смерті, при цьому\( Q(x, x) = 1 \) він\( x \)\( x \) поглинає і\( Q(x, x - 1) = 1 \) якщо стабільний. Зауважте, що процес Пуассона з параметром швидкості\( r \in (0, \infty) \), розглядається як ланцюг Маркова безперервного часу, є чистим родовим процесом\( \N \) з функцією народження\( \alpha(x) = r \) для кожного\( x \in \N \). Більш загально, процес смерті\( x \in S \) від народження з\( \lambda(x) = \alpha(x) + \beta(x) = r \) для всіх також підпорядкований процесу Пуассона зі швидкістю\( r \).

Зверніть увагу, що\( \lambda \) обмежується, якщо і тільки\( \alpha \) тоді і\( \beta \) обмежені (завжди випадок, якщо\( S \) є кінцевим), і в цьому випадку ланцюг народження-смерть\( \bs X = \{X_t: t \in [0, \infty)\} \) є рівномірним. Якщо\( \lambda \) необмежений, то\( \bs X \) може бути навіть не регулярним, як показує приклад нижче. Нагадаємо, що достатньою умовою для\( \bs X \) того, щоб бути регулярним, коли\( S \) нескінченно,\( S_+ = \{x \in S: \lambda(x) = \alpha(x) + \beta(x) \gt 0\} \) є\[ \sum_{x \in S_+} \frac{1}{\lambda(x)} = \sum_{x \in S_+} \frac{1}{\alpha(x) + \beta(x)} = \infty \] де знаходиться безліч стабільних станів. За винятком вищезгаданого прикладу, ми обмежимо наше дослідження регулярними ланцюгами народження-смерть.

Нескінченно малі генераторні та перехідні матриці

Знову припустимо, що\( \bs X = \{X_t: t \in [0, \infty)\} \) це безперервний ланцюг народження-смерть на проміжку\( S \subseteq \Z \) з функцією народжуваності\( \alpha \) та функцією смертності\( \beta \). Як завжди, ми дозволимо\( P_t \) позначити матрицю переходу за часом\( t \in [0, \infty) \) і\( G \) нескінченно малий генератор. Як завжди, нескінченно малий генератор дає ту ж інформацію, що і функція експоненціального параметра і матриця переходу стрибка, але в більш компактному і корисному вигляді.

Матриця генератора\( G \) задається\[ G(x, x) = -[\alpha(x) + \beta(x)], \; G(x, x + 1) = \alpha(x), \; G(x, x - 1) = \beta(x), \quad x \in S \]

Доказ

Це випливає із загальної теорії, так як\( G(x, x) = -\lambda(x) \) для\( x \in S \) і\( G(x, y) = \lambda(x) Q(x, y) \) для\( (x, y) \in S^2 \) с\( x \ne y \).

Рівняння Колмогорова назад і вперед

1. \( \frac{d}{dt} P_t(x, y) = -[\alpha(x) + \beta(x)] P_t(x, y) + \alpha(x) P_t(x + 1, y) + \beta(x) P_t(x - 1, y) \)для\( (x, y) \in S^2 \).
2. \( \frac{d}{dt} P_t(x, y) = -[\alpha(y) + \beta(y)] P_t(x, y) + \alpha(y - 1) P_t(x, y - 1) + \beta(y + 1) P_t(x, y + 1) \)для\( (x, y) \in S^2 \)

Доказ

Ці результати випливають з матриці генератора\( G \) вище.

1. Зворотне рівняння є\( \frac{d}{dt} P_t = G P_t \).
2. Рівняння вперед є\( \frac{d}{dt} P_t = P_t G \).

Обмеження поведінки та стаціонарні розподіли

Для нашого обговорення обмежуючої поведінки ми розглянемо спочатку важливий особливий випадок безперервного ланцюга народження-смерті\( \bs{X} = \{X_t: t \in [0, \infty)\} \)\( \alpha(x) \gt 0 \) на\( S = \N \) всіх\( x \in \N \) і\( \beta(x) \gt 0 \) назавжди\( x \in \N_+ \). Що стосується ланцюга\( \bs{Y} = \{Y_n: n \in \N\} \) стрибків, нагадайте, що\[ p(x) = Q(x, x + 1) = \frac{\alpha(x)}{\alpha(x) + \beta(x)}, \; q(x) = Q(x, x - 1) = \frac{\beta(x)}{\alpha(x) + \beta(x)}, \quad x \in \N\] ланцюг стрибка\( \bs{Y} \) - це ланцюг народження та смерті дискретного часу, і наші позначення тут узгоджуються з позначеннями, які ми використовували в цьому розділі. Зверніть увагу, що\( \bs{X} \) і\( \bs{Y} \) є нескорочуваними. Спочатку розглянемо швидкоплинність і рецидиви.

Ланцюги\( \bs{X} \) і\( \bs{Y} \) повторюються тоді і тільки якщо\[ \sum_{x=0}^\infty \frac{\beta(1) \cdots \beta(x)}{\alpha(1) \cdots \alpha(x)} = \infty \]

Доказ

Нагадаємо, що\( \bs{X} \) рецидивує тоді і лише тоді, коли\( \bs{Y} \) є рецидивуючим. У нашому дослідженні ланцюгів народження та смерті дискретного часу ми побачили, що\( \bs{Y} \) це повторюється тоді і лише тоді, коли\[ \sum_{x=0}^\infty \frac{q(1) \cdots q(x)}{p(1) \cdots p(x)} = \infty \] Але тривіально,\[ \frac{q(1) \cdots q(x)}{p(1) \cdots p(x)} = \frac{\beta(1) \cdots \beta(x)}{\alpha(1) \cdots \alpha(x)} \]

Далі ми розглянемо позитивні рекуррентні та інваріантні розподіли. Приємно дивитися на це з різних точок зору.

Функція,\( g: \N \to (0, \infty) \)\[ g(x) = \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)}, \quad x \in \N \] визначена, є інваріантною для\( \bs{X} \), і є єдиною інваріантною функцією, аж до множення на константи. Отже\( \bs{X} \), позитивна рекуррентна тоді і тільки тоді\( B = \sum_{x = 0}^\infty g(x) \lt \infty \), коли (унікальна) функція інваріантної щільності ймовірності\( f \) задається\( f(x) = \frac{1}{B} g(x) \) for\( x \in \N \). Причому,\( P_t(x, y) \to f(y) \) як\( t \to \infty \) для кожного\(x, \, y \in \N\)

Доказ використання ланцюга стрибка

З нашого дослідження ланцюгів народження та смерті дискретного часу ми знаємо, що функція,\( h: \N \to (0, \infty) \) визначена,\[ h(x) = \frac{p(0) \cdots p(x - 1)}{q(1) \cdots q(x)}, \quad x \in \N \] є інваріантною для\( \bs{Y} \), і є єдиною позитивною інваріантною функцією аж до множення на позитивні константи. Потім з нашого дослідження інваріантних функцій для ланцюгів безперервного часу випливає\( \bs{X} \), що функція\( h / \lambda \) є інваріантною і знову є єдиною позитивною інваріантною функцією аж до множення на позитивні константи. Але це просто, щоб побачити,\( g \) що\[ \frac{h(x)}{\lambda(x)} = \frac{h(x)}{\alpha(x) + \beta(x)} = \frac{\alpha(1) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} = \frac{1}{\alpha(0)} g(x) \] де функція дана в теоремі. Решта частини теореми випливають із загальної теорії.

Доказ з рівняння балансу

Функція\( g: \N \to (0, \infty) \) є інваріантною для\( \bs{X} \) if і тільки тоді, коли вона задовольняє рівнянню балансу\( g G = 0 \). Для нашого ланцюга народження-смерті це зводиться до\ begin {align*}\ alpha (0) g (0) & =\ beta (1) g (1)\\ [\ альфа (x) +\ beta (x)] g (x) & =\ альфа (x - 1) g (x - 1) +\ beta (x + 1) g (x + 1),\ quad x\ in\ N_+\ end {align*} Підставляємо рівняння з ліворуч\( x = 0 \) на рівняння з\( x = 1 \) ліворуч дає\( \alpha(1) g(1) = \beta(2) g(2) \). Підставляючи це в рівняння з\( x = 2 \) ліворуч дає\( \alpha(2) g(2) = \beta(3) g(3) \). Загалом, рівняння балансу мають на увазі\[ \alpha(x) g(x) = \beta(x + 1) g(x + 1), \quad x \in \N \] Рішення цих нових рівнянь балансу рекурсивно\( g(0) = 1 \) дає можливість\[ g(x) = g(0) \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} \] дати конкретну інваріантну функцію в теоремі. Знову ж таки, інші частини випливають із загальної теорії.

Ось короткий виклад класифікації:

Для безперервного часу народження-смерті ланцюга\( \bs X \), нехай\[ A = \sum_{x = 0}^\infty \frac{\beta(1) \cdots \beta(x)}{\alpha(1) \cdots \alpha(x)}, \; B = \sum_{x = 0}^\infty \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} \]

1. \( \bs X \)є тимчасовим, якщо\( A \lt \infty \).
2. \( \bs X \)є нульовим повторюваним, якщо\( A = \infty \) і\( B = \infty \).
3. \( \bs X \)позитивний рецидивуючий якщо\( B \lt \infty \).

Припустимо тепер, що\( n \in \N_+ \) і що\( \bs X = \{X_t: t \in [0, \infty)\}\) є безперервним часом народження-смерть ланцюга на цілочисельному інтервалі\( \N_n = \{0, 1, \ldots, n\} \). Ми припускаємо, що\( \alpha(x) \gt 0 \) на\( x \in \{0, 1, \ldots, n - 1\} \) деякий час\( \beta(x) \gt 0 \) для\( x \in \{1, 2, \ldots n\} \). Звичайно, ми повинні мати\( \beta(0) = \alpha(n) = 0 \). При цих припущеннях,\( \bs X \) є незведеним, а оскільки простір стану є кінцевим, позитивний рецидивний. Так що залишається лише знайти інваріантний розподіл. Результат по суті такий же, як і при державному просторі\( \N \).

Інваріантна функція щільності ймовірності\( f_n \) задається\[ f_n(x) = \frac{1}{B_n} \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} \text{ for } x \in \N_n \text{ where } B_n = \sum_{x=0}^n \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} \]

Доказ

Визначити\[ g_n(x) = \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)}, \quad x \in \N_n \] Доказ, для якого вони\( g_n \) є інваріантними\( \bs X \), такий же, як і раніше. Постійна\( B_n \) - нормалізує константа.

Зверніть увагу, що\( B_n \to B \) як\( n \to \infty \), і якщо\( B \lt \infty \),\( f_n(x) \to f(x) \) як\( n \to \infty \) для\( x \in \N \). Ми побачимо цей тип поведінки знову. Результати для ланцюга народження-смерть на\( \N_n \) часто сходяться до відповідних результатів для ланцюга народження-смерть на\( \N \) як\( n \to \infty \).

Поглинання

Часто, коли державний простір\( S = \N \), стан ланцюга народження-смерть являє собою популяцію індивідів якогось роду (і тому терміни народження і смерть мають свої звичні значення). У цьому випадку стан 0 поглинає і означає, що популяція вимерла. Зокрема, припустимо, що\( \bs X = \{X_t: t \in [0, \infty)\} \) це регулярний ланцюг народження-смерті на\( \N \) з\( \alpha(0) = \beta(0) = 0 \) і з\( \alpha(x), \, \beta(x) \gt 0 \) для\( x \in \N_+ \). Таким чином, стан 0 поглинає і всі позитивні стани ведуть один до одного і до 0. Нехай\( T = \min\{t \in [0, \infty): X_t = 0\} \) позначають час до поглинання, де, як зазвичай,\( \min \emptyset = \infty \). Багато результатів, що стосуються вимирання ланцюга безперервного часу народження-смерті, легко випливають із відповідних результатів для ланцюга стрибка дискретного часу народження-смерті.

Відбудуться одна з наступних подій:

1. Вимирання населення:\( T \lt \infty \) або еквівалентно,\( X_s = 0 \) для деяких\( s \in [0, \infty) \) і, отже,\( X_t = 0 \) для всіх\( t \in [s, \infty)\).
2. Вибух населення:\( T = \infty \) або еквівалентно\( X_t \to \infty \) як\( t \to \infty \).

Доказ

Частина (б) випливає із загальної теорії, так як 0 поглинає, а всі позитивні стани ведуть один до одного і до 0. Таким чином, позитивні стани є перехідними, і ми знаємо, що з ймовірністю 1 ланцюг стрибків відвідуватиме перехідний стан лише скінченно часто. Таким\( T = \infty \) чином, еквівалентно\( X_t \to \infty \) як\( t \to \infty \). Без припущення, що ланцюг регулярний, вибух населення може статися за кінцевий час.

Природно, ми хотіли б знайти ймовірність цих взаємодоповнюючих подій, і, на щастя, ми вже зробили це в нашому дослідженні ланцюгів народження та смерті дискретного часу. Функція ймовірності поглинання\( v \) визначається\[v(x) = \P(T \lt \infty) = \P(X_t = 0 \text{ for some } t \in [0, \infty) \mid X_0 = x), \quad x \in \N \]

Як і раніше, нехай\[A = \sum_{i=0}^\infty \frac{\beta(1) \cdots \beta(i)}{\alpha(1) \cdots \alpha(i)}\]

1. Якщо\( A = \infty \) то\( v(x) = 1 \) для всіх\( x \in \N \).
2. Якщо\( A \lt \infty \) тоді\[ v(x) = \frac{1}{A} \sum_{i=x}^\infty \frac{\beta(1) \cdots \beta(i)}{\alpha(1) \cdots \alpha(i)}, \quad x \in \N \]

Доказ

Безперервний ланцюг часу поглинається в 0 тоді і тільки тоді, коли ланцюг стрибка дискретного часу поглинається в 0. Таким чином, результат випливає з відповідного результату для дискретних ланцюжків народження-смерть. Згадаймо ще раз, що\( q(x) / p(x) = \beta(x) / \alpha(x) \) для\( x \in \N_+ \)

Середній час до вимирання вважається наступним, так що давайте\( m(x) = \E(T \mid X_0 = x) \)\( x \in \N \). На відміну від ймовірності зникнення, обчислення середнього часу до вимирання не може бути легко зведено до відповідного дискретного обчислення часу. Однак метод обчислень дійсно розширюється.

Середня функція поглинання задається\[ m(x) = \sum_{j=1}^x \sum_{k=j-1}^\infty \frac{\alpha(j) \cdots \alpha(k)}{\beta(j) \cdots \beta(k+1)}, \quad x \in \N \]

Імовірнісний доказ

Час, необхідний для переходу від стану\( x \in \N_+ \) до,\( x - 1 \) має такий же розподіл, як і час, необхідний для переходу від стану 1 до 0, за винятком параметрів\( \alpha(y), \, \beta(y) \)\( \alpha(y), \, \beta(y) \) для\( y \in \{x, x + 1, \ldots\} \)\( y \in \{1, 2, \ldots\} \). Таким чином, адитивність очікуваного значення, нам просто потрібно обчислити\( m(1) \) як функцію параметрів. Починаючи зі стану 1, ланцюг буде поглинена в стані 0 після випадкового числа повернень до стану 1 без поглинання. Всякий раз, коли ланцюг знаходиться в стані 1, поглинання відбувається при наступному переході з ймовірністю,\( q(1) \) тому випливає, що кількість разів, коли ланцюг знаходиться в стані 1 до поглинання, має геометричний розподіл на\( \N_+ \) з параметром успіху\( q(1) \). Середнє значення цього розподілу є\( 1 / q(1) = [\alpha(1) + \beta(1)] / \beta(1) \). З іншого боку, починаючи з стану 1, час, поки ланцюг знову не перебуває у стані 1 (без поглинання), має такий же розподіл, як і час повернення до стану 0, починаючи з стану 0 для незведеного ланцюга народження-смерті\( \N \) з народжуваністю та смертністю\( \alpha^\prime \) і\( \beta^\prime \) задано\( \alpha^\prime(x) = \alpha(x + 1) \) для\( x \in \N \) і\( \beta^\prime(x) = \beta(x + 1) \) для\( x \in \N_+ \). Таким чином, нехай\[ \mu = \frac{1}{\alpha(1) + \beta(1)}\sum_{k=0}^\infty \frac{\alpha(1) \cdots \alpha(k)}{\beta(2) \cdots \beta(k+1)} \] Тоді\( \mu \) - це середній час повернення до стану 0 для ланцюга\( \bs{X}^\prime \). Зокрема, зверніть увагу, що якщо\( \mu = \infty \) тоді\( \bs{X}^\prime \) є або перехідним, або нульовим повторюваним. Якщо\( \mu \lt \infty \) тоді\( 1 / \mu \) є інваріантним PDF на 0. Отже, випливає, що\[ m(1) = \frac{1}{q(1)} \mu = \sum_{k=0}^\infty \frac{\alpha(1) \cdots \alpha(k)}{\beta(1) \cdots \beta(k + 1)} \] За нашим аргументом вище середній час переходу від держави\( x \) до\( x - 1 \) є\[ \sum_{k=x-1}^\infty \frac{\alpha(x) \cdots \alpha(k)}{\beta(x) \cdots \beta(k + 1)} \]

Зокрема, зверніть увагу, що\[ m(1) = \sum_{k=0}^\infty \frac{\alpha(1) \cdots \alpha(k)}{\beta(1) \cdots \beta(k + 1)} \] якщо\( m(1) = \infty \) то\( m(x) = \infty \) для всіх\( x \in S \). Якщо\( m(1) \lt \infty \) то\( m(x) \lt \infty \) для всіх\( x \in S \)

Далі ми розглянемо ланцюг народження-смерть на скінченному цілочисельному інтервалі з поглинаючими обома кінцевими точками. Наш інтерес полягає в ймовірності поглинання в одній кінцевій точці, а не в іншій, і в середньому часі до поглинання. Таким чином, припустимо, що\( n \in \N_+ \) і що\( \bs X = \{X_t: t \in [0, \infty)\} \) є безперервним часом народження-смерть ланцюг на\( \N_n = \{0, 1, \ldots, n\} \) с\( \alpha(0) = \beta(0) = 0 \)\( \alpha(n) = \beta(n) = 0 \), і\( \alpha(x) \gt 0 \),\( \beta(x) \gt 0 \) для\( x \in \{1, 2, \ldots, n - 1\} \). Таким чином, кінцеві точки 0 і\( n \) поглинають, а всі інші стани ведуть один до одного і до кінцевих точок. Нехай\( T = \inf\{t \in [0, \infty): X_t \in \{0, n\}\} \), час до поглинання, а для\( x \in S \) нехай\( v_n(x) = \P(X_T = 0 \mid X_0 = x) \) і\( m_n(x) = \E(T \mid X_0 = x) \). Визначення мають сенс, оскільки\( T \) є кінцевим з ймовірністю 1.

Функція ймовірності поглинання для стану 0 задається\[ v_n(x) = \frac{1}{A_n} \sum_{i=x}^{n-1} \frac{\beta(1) \cdots \beta(i)}{\alpha(1) \cdots \alpha(i)} \text{ for } x \in \N_n \text{ where } A_n = \sum_{i=0}^{n-1} \frac{\beta(1) \cdots \beta(i)}{\alpha(1) \cdots \alpha(i)} \]

Доказ

Стрибок ланцюг\( \bs Y = \{Y_n: n \in \N\} \) дискретного часу народження і смерті ланцюг на\( \N_n \) з\( 0 \) і\( n \) поглинання. Крім того,\( \bs X \) поглинається в 0 або\( n \) якщо і тільки якщо\( \bs Y \) поглинається в 0 або\( n \), відповідно. Так що результат випливає з відповідного результату для\( \bs Y \), так як\( q(x) / p(x) = \beta(x) / \alpha(x) \) для\( x \in \{1, 2, \ldots, n - 1\} \).

Зауважте, що\( A_n \to A \) як\( n \to \infty \) де\( A \) - константа вище для ймовірності поглинання при 0 з нескінченним простором стану\( \N \). Якщо\( A \lt \infty \) тоді\( v_n(x) \to v(x) \) як\( n \to \infty \) для\( x \in \N \).

Час розвороту

По суті, кожен незвідний безперервний ланцюг народження-смерті є оборотним.

Припустимо, що\( \bs X = \{X_t: t \in [0, \infty)\} \) це позитивний повторюваний ланцюг народження-смерть на цілочисельному інтервалі\( S \subseteq \Z \) з функцією народжуваності\( \alpha: S \to [0, \infty) \) та функцією смертності\( \beta: S \to \infty \). Припустимо\( \alpha(x) \gt 0 \), що, крім максимального значення\( S \), якщо таке є, і аналогічно тому\( \beta(x) \gt 0 \), крім мінімального значення\( X \), якщо таке є. Потім\( \bs X \) є оборотним.

Доказ

Зверніть увагу, що\( \bs X \) є нескоротним. Як завжди, давайте\( G \) позначимо матрицю генератора. Легко помітити, що під припущеннями,\( G(x, y) = 0 \) має\( G(y, x) = 0 \) на увазі для\( (x, y) \in S^2 \), і що умова циклу Колмогорова задовольняється: Для кожної\( n \in \N_+ \) послідовності\( (x_1, x_2, \ldots x_n) \in S^n \),\[ G(x_1, x_2) \cdots G(x_{n-1}, x_n) G(x_n, x_1) = G(x_1, x_n), G(x_n, x_{n-1} \cdots G(x_2, x_1) \]

У важливому особливому випадку ланцюга народження-смерті\( \N \) ми можемо перевірити рівняння балансу безпосередньо.

Припустимо, що\( \bs{X} = \{X_t: t \in [0, \infty)\} \) це безперервний ланцюг народження-смерті на\( S = \N \) і з народжуваністю\( \alpha(x) \gt 0 \) для всіх\( x \in \N \) і смертність\( \beta(x) \gt 0 \) для всіх\( x \in \N_+ \). Потім\( \bs X \) є оборотним.

Доказ

Нам просто потрібно показати, що рівняння балансу для оборотного ланцюга тримає, і це було насправді зроблено в результаті вище. Як і раніше,\( g: \N \to (0, \infty) \) нехай функція, задана\[ g(x) = \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)}, \quad x \in \N \] Єдиним нетривіальним випадком рівняння балансу\( g(x) G(x, y) = g(y) G(y, x) \) для\( (x, y) \in S^2 \) є\[g(x) G(x, x + 1) = g(x + 1) G(x + 1, x) ) = \frac{\alpha(0) \cdots \alpha(x)}{\beta(1) \cdots \beta(x)}, \quad x \in \N \] Це випливає із загальної теорії, яка\( g \) є інваріантною для\( \bs X \) і яка\( \bs X \) є оборотною щодо\( g \). Оскільки ми насправді знаємо з нашої роботи вище, що\( g \) є єдиною позитивною інваріантною функцією, аж до множення на позитивні константи, ми можемо просто сказати, що\( \bs X \) є оборотною.

У позитивному рецидивуючому випадку випливає, що ланцюг народження-смерть стохастично однакова, вперед або назад за часом, якщо ланцюг має інваріантний розподіл.

Приклади та особливі випадки

Регулярні та нерегулярні ланцюги

Наша перша вправа дає два чистих ланцюга народження, кожна з яких має необмежену експоненціальну функцію параметрів. Один регулярний, а один нерегулярний.

Розглянемо чистий процес\( \bs{X} = \{X_t: t \in [0, \infty)\} \) народження з\( \N_+ \) функцією народжуваності\( \alpha \).

1. Якщо\( \alpha(x) = x^2 \) для\( x \in \N_+ \), то не\( \bs{X} \) є регулярним.
2. Якщо\( \alpha(x) = x \) для\( x \in \N_+ \), то\( \bs{X} \) регулярний.

Доказ

Ланцюг\( \bs Y \) стрибка детермінована, за винятком початкового стану. Враховуючи\( Y_0 = x \in \N_+ \), у нас є\( Y_n = n + x \). Звідси

1. \( \sum_{n=0}^\infty \frac{1}{\lambda(Y_n)} = \sum_{n=0}^\infty \frac{1}{(n + x)^2} \lt \infty\)
2. \( \sum_{n=0}^\infty \frac{1}{\lambda(Y_n)} = \sum_{n=0}^\infty \frac{1}{n + x} = \infty\)

Отже, результати випливають із загальної теорії.

Постійні показники народжуваності та смертності

Наступні наші приклади розглядають ланцюги народження-смерть з постійними показниками народжуваності та смертності, крім хіба що в кінцевих точках. Зауважте, що такі ланцюжки будуть регулярними, оскільки функція експоненціального параметра\( \lambda \) обмежена.

Припустимо,\( \bs X = \{X_t: t \in [0, \infty)\} \) що ланцюг народження-смерть включений\( \N \), з постійною народжуваністю\( \N \) і постійною\( \beta \in (0, \infty) \) смертністю на\( \N_+ \).\( \alpha \in (0, \infty) \)

1. \( \bs X \)є тимчасовим, якщо\( \beta \lt \alpha \).
2. \( \bs X \)є нульовим повторюваним, якщо\( \beta = \alpha \).
3. \( \bs X \)позитивний рецидивуючий якщо\( \beta \gt \alpha \). Інваріантний розподіл - геометричний розподіл по\( \N \) параметру\( \alpha / \beta \)\[ f(x) = \left( 1 - \frac{\alpha }{\beta} \right) \left( \frac{\alpha}{\beta} \right)^x, \quad x \in \N \]

Доказ

Зверніть увагу, що\( \bs X \) це не можна скоротити, оскільки рівень народжуваності позитивний,\( \N \) а рівень смертності позитивний\( \N_+ \). Серії в результатах вище є геометричними рядами:\[ \frac{\beta(1) \cdots \beta(x)}{\alpha(1) \cdots \alpha(x)} = \left(\frac{\beta}{\alpha}\right)^x, \; \frac{\alpha(0) \cdots \alpha(x - 1)}{\beta(1) \cdots \beta(x)} = \left(\frac{\alpha}{\beta}\right)^x, \quad x \in \N \]

Далі розглядаємо ланцюг з\( 0 \) абсорбуванням. Як і в загальному обговоренні вище, давайте\( v \) позначимо функцію, яка дає ймовірність поглинання і\( m \) функцію, яка дає середній час на поглинання.

Припустимо,\( \bs X = \{X_t: t \in [0, \infty)\} \) що ланцюг народження-смерть в\( \N \) з постійною народжуваністю\( \alpha \in (0, \infty) \)\( \N_+ \) включений,\( \beta \in (0, \infty) \) постійна смерть reate\( \N_+ \), і з 0 поглинанням. Тоді

1. Якщо\( \beta \ge \alpha \) тоді\( v(x) = 1 \) для\( x \in \N \). Якщо\( \beta \lt \alpha \) тоді\( v(x) = (\beta / \alpha)^x \) для\( x \in \N \).
2. Якщо\( \alpha \ge \beta \) тоді\( m(x) = \infty \). Якщо\( \alpha \lt \beta \) тоді\(m(x) = x / (\beta - \alpha)\) для\( x \in \N \).

Далі розглянемо ланцюги на скінченному просторі стану. Дозвольте\( n \in \N_+ \) і визначте\( \N_n = \{0, 1, \ldots, n\} \).

Припустимо, що\( \bs X = \{X_t: t \in [0, \infty)\} \) це безперервний час народження-смерть ланцюга\( \N_n \) з постійною народжуваністю\( \{0, 1, \ldots, n - 1\} \) і постійною смертністю\( \beta \in (0, \infty) \) на\( \{1, 2, \ldots n\} \).\( \alpha \in (0, \infty) \) Інваріантна функція щільності ймовірності\( f_n \) задається наступним чином:

1. Якщо\( \alpha \ne \beta \) тоді\[ f_n(x) = \frac{(\alpha / \beta)^x (1 - \alpha / \beta)}{1 - (\alpha / \beta)^{n+1}}, \quad x \in \N_n \]
2. Якщо\( \alpha = \beta \) тоді\( f_n(x) = 1 / (n + 1) \) для\( x \in \N_n \)

Зверніть увагу, що коли\( \alpha = \beta \), інваріантний розподіл є рівномірним на\( \N_n \). Наша заключна вправа розглядає ймовірність поглинання при 0, коли обидві кінцеві точки поглинають. Нехай\( v_n \) позначають функцію, яка дає ймовірність поглинання в 0, а не\( n \).

Припустимо,\( \bs X = \{X_t: t \in [0, \infty)\} \) що ланцюг народження-смерть на\( \N_n \) з постійною народжуваністю\( \alpha \) і постійною\( \beta \) смертністю на\( \{1, 2, \ldots, n - 1\} \), а з 0 і\( n \) поглинання.

1. Якщо\( \alpha \ne \beta \) тоді\[ v_n(x) = \frac{(\beta / \alpha)^x - (\beta / \alpha)^n}{1 - (\beta / \alpha)^n}, \quad x \in \N_n \]
2. Якщо\( \alpha = \beta \) тоді\( v_n(x) = (n - x) / n \) для\( x \in \N_n \).

Лінійні показники народжуваності та смерті

Для нашого наступного обговорення розглянемо осіб, які діють однаково і незалежно. Кожна людина розбивається на дві з експоненціальною швидкістю\( a \in (0, \infty) \) і вмирає з експоненціальною швидкістю\( b \in (0, \infty) \).

Нехай\( X_t \) позначають чисельність населення в часі\( t \in [0, \infty) \). Потім\( \bs X = \{X_t: t \in [0, \infty)\} \) є регулярний, безперервний ланцюг народження-смерть з функціями народжуваності та смертності, що даються\( \alpha(x) = a x \) і\( \beta(x) = b x \) за\( x \in \N \).

Доказ

Те, що\( \bs X \) являє собою безперервно-часовий ланцюжок Маркова, випливає з припущень. Більше того, оскільки індивіди діють самостійно, загальний рівень народжуваності та смертності, коли населення\( x \in \N \) є простим\( x \) часом індивідуальної народжуваності та смертності. Ланцюг регулярний, так як\[ \sum_{x=1}^\infty \frac{1}{(a + b) x} = \infty \]

Зверніть увагу, що\( 0 \) поглинає, оскільки популяція вимерла, тому, як зазвичай, наш інтерес полягає в ймовірності поглинання та середньому часі до поглинання як функцій початкового стану. Імовірність поглинання така ж, як і для ланцюга з постійними народженнями і смертністю, розглянутими вище.

Функція ймовірності поглинання\( v \) задається наступним чином:

1. \( v(x) = 1 \)для всіх\( x \in \N \) якщо\( b \ge a \).
2. \( v(x) = (b / a)^x \)для\( x \in \N \) якщо\( b \lt a \).

Доказ

Ці результати випливають із загальних результатів вище, оскільки\( \beta(x) / \alpha(x) = b / a \) для\( x \in \N_+ \). Звідси для\( x \in \N \),\[ \sum_{i=x}^\infty (b / a)^i = \begin{cases} \infty & b \ge a \\ \frac{(b/a)^x}{1 - b / a} & b \lt a \end{cases}\]

Середній час до поглинання цікавіше.

Середній час до функції поглинання\( m \) задається наступним чином:

1. Якщо\( a \ge b \) тоді\( m(x) = \infty \) для\( x \in \N_+ \).
2. Якщо\( a \lt b \) тоді\[m(x) = \sum_{j=1}^x \frac{b^{j-1}}{a^j} \int_0^{a/b} \frac{u^{j-1}}{1 - u} du, \quad x \in \N\]

Доказ

1. З загальних результатів вище зверніть увагу, що\[ m(1) = \sum_{k=0}^\infty \frac{1}{(k + 1) b} \left(\frac{a}{b}\right)^k\] Сума нескінченна, якщо\( a \ge b \).
2. Якщо\( \alpha \lt \beta \) потім знову із загальної формули вище,\[ m(x) = \sum_{j=1}^x \sum_{k=j-1}^\infty \frac{1}{(k + 1) b} \left(\frac{a}{b}\right)^{k - j + 1} = \sum_{j=1}^x \frac{1}{b} \left(\frac{b}{a}\right)^j \sum_{k=j-1}^\infty \frac{1}{k + 1}\left(\frac{a}{b}\right)^{k+1} \] внутрішній ряд сходиться абсолютно. Більш того, для\( k \in \N \),\[ \frac{1}{k + 1} \left(\frac{a}{b}\right)^{k+1} = \int_0^{a/b} u^k du \] підставляючи і міняючи суму і інтеграл дає\[ m(x) = \sum_{j=1}^x \frac{b^{j-1}}{a^j}\int_0^{a/b} \left( \sum_{k=j-1}^\infty u^k \right) du = \sum_{j=1}^x \frac{b^{j-1}}{a^j} \int_0^{a/b} \frac{u^{j-1}}{1 - u} du \]

При малих значеннях\( x \in \N \), інтеграли у випадку\( a \lt b \) можуть бути виконані елементарними методами. Наприклад,\ begin {align*} m (1) & = -\ frac {1} {a}\ ln\ left (1 -\ frac {a} {b}\ праворуч)\\ m (2) & = m (1) -\ frac {1} {a} -\ frac {b} {a^2}\ ln\ left (1 -\ frac {a} {b}\ праворуч)\\ m (3) & = m (2) -\ frac {1} {2 a} -\ frac {b} {a^2} -\ frac {b^2} {a^3}\ ln\ left (1 -\ frac {a} {b}\ праворуч)\ end {align*} Однак загальна формула вимагає введення спеціальної функції, яка не набагато корисніша, ніж самі інтеграли. Ланцюг Маркова насправді\( \bs X \) є прикладом розгалужується ланцюга. Ми переглянемо цей ланцюжок у цьому розділі.

Лінійні народження і смерть з імміграцією

Ми продовжуємо нашу попередню дискусію, але трохи узагальнюємо. Припустимо ще раз, що у нас є особистості, які діють однаково і самостійно. Індивід розбивається на два з експоненціальною швидкістю\( a \in [0, \infty) \) і вмирає з експоненціальною швидкістю\( b \in [0, \infty) \). Крім того, нові особини потрапляють в популяції з експоненціальною швидкістю\( c \in [0, \infty) \). Це імміграційний ефект, і коли\( c = 0 \) ми маємо ланцюг народження-смерть в попередньому обговоренні.

Нехай\( X_t \) позначають чисельність населення в часі\( t \in [0, \infty) \). Потім\( \bs X = \{X_t: t \in [0, \infty)\} \) є регулярний, безперервний ланцюг народження-смерть з функціями народжуваності та смертності, що даються\( \alpha(x) = a x + c \) і\( \beta(x) = b x \) за\( x \in \N \).

Доказ

Те, що\( \bs X \) являє собою безперервно-часовий ланцюжок Маркова, випливає з припущень. Більше того, оскільки індивіди діють самостійно, загальна народжуваність, коли населення\( x \in \N \) є,\( a x + c \) поки смертність становить\( b x \). Ланцюг регулярний, так як\[ \sum_{x=1}^\infty \frac{1}{((a + b) x + c} = \infty \]

Нескінченно мала матриця\( G \) задається наступним чином, для\( x \in \N \):

1. \( G(x, x) = -[(a + b) x + c] \)
2. \( G(x, x + 1) = a x + c \)
3. \( G(x, x - 1) = bx \)

Рівняння назад і вперед задаються наступним чином, для\( (x, y) \in \N^2 \) і\( t \in (0, \infty) \)

1. \( \frac{d}{dt} P_t(x, y) = -[(a + b)x + c] P_t(x, y) + (a x + c) P_t(x + 1, y) + b x P_t(x - 1, y) \)
2. \( \frac{d}{dt} P_t(x, y) = -[(a + b)y + c] P_t(x, y) + [a (y - 1) + c] P_t(x, y - 1) + b(y + 1) P_t(x, y + 1 \))

Ми можемо використовувати пряме рівняння, щоб знайти очікуваний розмір населення. Нехай\( M_t(x) = \E(X_t, \mid X_0 = x) \) для\( t \in [0, \infty) \) і\( x \in \N \).

Для\( t \in [0, \infty) \) і\( x \in \N \), середня чисельність населення\( M_t(x) \) наведена наступним чином:

1. Якщо\( a = b \) тоді\( M_t(x) = c t + x \).
2. Якщо\( a \ne b \) тоді\[ M_t(x) = \frac{c}{a - b}\left[e^{(a - b)t} - 1 \right] + x e^{(a - b) t} \]

Доказ

Спочатку зверніть увагу, що\( M_t(x) = \sum_{y=0}^\infty y P_t(x, y) \) для\( x \in \N \). Множення прямого рівняння вище на\( y \) і підсумовування\( y \in \N \) дає\ begin {align*}\ sum_ {y=0} ^\ infty y\ frac {d} {dt} p_t (x, y) = & a\ sum_ {y=2} ^\ infty y (y - 1) p_t (x, y - 1) + c\ sum_ {y=1} ^\ infty p_t (x, y - 1)\\ & - (a + b)\ sum_ {y=0} ^\ infty y^2 p_t (x, y) - c\ sum_ {y=0} ^\ infty y p_t ( x, y) + b\ sum_ {y=0} ^\ infty y (y + 1) p_t (x, y + 1)\ end {align*} Повторна індексація сум і використання деякої алгебри дає диференціальне рівняння першого порядку\[ \frac{d}{dt} M_t(x) = c + (a - b) M_t(x), \quad x \in \N, \, t \in (0, \infty) \] з початковою умовою\( M_0(x) = x \). Рішення диференціального рівняння дає результат.

Відзначимо\( b \gt a \), що, щоб індивідуальна смертність перевищувала народжуваність, то що\( M_t(x) \to c / (b - a) \)\( t \to \infty \) стосується\( x \in \N \). Якщо\( a \ge b \) так, що народжуваність дорівнює або перевищує смертність, то що\( M_t(x) \to \infty \)\( t \to \infty \) стосується\( x \in \N_+ \).

Далі ми розглянемо особливий випадок без пологів, а тільки смерть і імміграція. У цьому випадку інваріантний розподіл легко обчислюється і є одним з наших улюблених.

Припустимо, що\( a = 0 \) і те\( b, \, c \gt 0 \). Потім\( \bs X \) позитивний рецидивуючий. Інваріантний розподіл Пуассона з параметром\( c / b \):\[ f(x) = e^{-c/b} \frac{(c / b)^x}{x!}, \quad x \in \N \]

Доказ

З точки зору загальної теорії вище, зверніть увагу, що інваріантна функція\( g \), унікальна аж до множення на позитивні константи, задається\[ g(x) = \frac{\alpha(0) \cdots \alpha(x)}{\beta(1) \cdots \beta(x)} = \frac{c^x}{b^x x!} = \frac{(c/b)^x}{x!}, \quad x \in \N \] Отже,\( B = \sum_{x=0}^\infty g(x) = e^{c/b} \lt \infty \) і тому ланцюг позитивний рекурентний з інваріантним PDF\[ f(x) = \frac{1}{B} g(x) = e^{-c/b} \frac{(c / b)^x}{x!}, \quad x \in \N \] Це PDF розподілу Пуассона з параметром\( c / b \).

Логістичний ланцюг

Розглянемо населення, яке коливається між мінімальним значенням\( m \in \N_+ \) і максимальним значенням\( n \in \N_+ \), де, звичайно,\( m \lt n \). З огляду на чисельність популяції, особини діють самостійно і однаково. Зокрема, якщо популяція,\( x \in \{m, m + 1, \ldots, n\} \) то людина розщеплюється надвоє з експоненціальною швидкістю\( a (n - x) \) і вмирає з експоненціальною швидкістю\( b (x - m) \), де\( a, \, b \in (0, \infty) \). Таким чином, народжуваність людини лінійно зменшується з чисельністю населення від\( a (n - m) \) до,\( 0 \) тоді як рівень смертності зростає лінійно з чисельністю населення від\( 0 \) до\( b (n - m) \). Ці припущення призводять до наступного визначення.

Безперервний ланцюг народження-смерть\( \bs X = \{X_t: t \in [0, \infty)\} \) на\( S = \{m, m + 1, \ldots, n\} \) з функцією народжуваності\( \alpha \) та функцією смертності,\( \beta \) заданою,\[ \alpha(x) = a x (n - x), \; \beta(x) = b x (x - m), \quad x \in S \] є логістичним ланцюгом на\( S \) з параметрами\( a \) і\( b \).

обгрунтування

Оскільки індивіди діють незалежно та однаково, загальний рівень народжуваності та смертності, коли населення\( x \in S \) є, просто\( x \) разів перевищує рівень народжуваності та смертності для людини.

Зверніть увагу, що логістичний ланцюг є стохастичним аналогом логістичного диференціального рівняння, яке зазвичай має вигляд\[ \frac{dx}{dt} = c (x - m)(n - x) \] де\( m, \, n, \, c \in (0, \infty) \) і\( m \lt n \). Починаючи з\( x(0) \in (m, n) \), розчин залишається\( (m, n) \) для всіх\( t \in [0, \infty) \). Звичайно, логістичне диференціальне рівняння моделює систему, яка є безперервною у часі та просторі, тоді як логістичний ланцюг Маркова моделює систему, яка є безперервною у часі, а дискретною є простір.

Для логістичного ланцюга

1. Функція експоненціального параметра\( \lambda \) задається\[ \lambda(x) = a x (n - x) + b x (x - m), \quad x \in S \]
2. Матриця\( Q \) переходу ланцюга стрибка задається\[ Q(x, x - 1) = \frac{b (x - m)}{a (n - x) + b (x - m)}, \, Q(x, x + 1) = \frac{a (n - x)}{a (n - x) + b (x - m)}, \quad x \in S \]

Зокрема,\( m \) і\( n \) відображають граничні точки, і тому ланцюг є нескорочуваною.

\( G \)Генераторна матриця для логістичного ланцюга наведена наступним чином, для\( x \in S \):

1. \( G(x, x) = - x[a (n - x) + b (x - m)] \)
2. \(G(x, x - 1) = b x (x - m)\)
3. \( G(x, x + 1) = a x (n - x) \)

Оскільки\( S \) є кінцевим,\( \bs X \) є позитивним рецидивом. Далі наведено інваріантний розподіл.

Визначити\( g: S \to (0, \infty) \) по\[ g(x) = \frac{1}{x} \binom{n - m}{x - m} \left(\frac{a}{b}\right)^{x - m}, \quad x \in S \] Тоді\( g \) є інваріантним для\( \bs X \).

Доказ

Оскільки ми знаємо, що\( \bs X \) це оборотно, нам просто потрібно показати, що\( g(x) G(x, y) = g(y) G(y, x) \) для\( (x, y) \in S^2 \). Для логістичного ланцюга єдине нетривіальне рівняння -\( g(x) G(x, x + 1) = g(x + 1) G(x + 1, x) \) для\( x \in S \). Проста заміщення та алгебра показують, що обидві сторони зводяться до\[\frac{(n - m)!}{(x - m)! (n - x - 1)!} \frac{a^{x - m + 1}}{b^{x - m}}\]

Звичайно, тепер випливає, що інваріантна функція щільності ймовірності\( f \) для\( \bs X \) задається\( f(x) = g(x) / c \) for\( x \in S \) де\( c \) нормалізуюча\[ c = \sum_{x=m}^n \frac{1}{x} \binom{n - m}{x - m} \left(\frac{a}{b}\right)^{x - m} \] константа Граничний розподіл\( \bs X \) має функцію щільності ймовірності\( f \).

Інші спеціальні ланцюги народження-смерті

Існує ряд спеціальних ланцюжків народження-смерть, які вивчаються в інших розділах, оскільки моделі важливі і призводять до спеціальних інсайтів та аналітичних інструментів. До них відносяться

• Ланцюги черг
• Чиста смерть розгалужується ланцюг
• Процес Юле, чистий ланцюг розгалуження народження
• Загальний ланцюг розгалуження народження-смерть