16.2: Потенціали та генератори загальних марковських процесів

\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\bs}{\boldsymbol}\)

Наша мета в цьому розділі - продовжити широкий начерк загальної теорії марківських процесів. Як і в останньому розділі, деякі твердження не є повністю точними та суворими, тому що ми хочемо зосередитись на основних ідеях, не надто обтяжуючись технічними можливостями. Якщо ви новий студент ймовірності, або в першу чергу зацікавлені в додатках, можливо, ви захочете перейти вперед до вивчення дискретно-часових ланцюжків Маркова.

Попередні етапи

Основні визначення

Як завжди, нашою відправною точкою є простір ймовірностей\( (\Omega, \mathscr{F}, \P) \),\( \Omega \) тобто сукупність результатів,\( \mathscr{F} \)\( \sigma \) -алгебра подій та міра\( \P \) ймовірності на просторі вибірки\( (\Omega, \mathscr{F}) \). Безліч разів\( T \) - це або\( \N \) дискретний час з дискретною топологією\( [0, \infty) \), або безперервний час зі звичайною евклідовою топологією. У\( T \) множині часу задана\( \sigma \) Алгебра Бореля\( \mathscr{T} \), яка є якраз встановленою потужністю\( T = \N \), якщо, а потім часовому просторі\( (T, \mathscr{T}) \) задається звичайна міра, підрахунок міри в дискретному випадку і мірою Лебега в безперервному випадку. Набір станів\( S \) має топологію LCCB (локально компактний, Hausdorff, з підрахунковою базою), а також дається\( \sigma \) алгебра Бореля\( \mathscr{S} \). Нагадаємо, що сказати, що державний простір дискретний означає, що\( S \) підраховується з дискретною топологією, так що\( \mathscr{S} \) це набір потужності\( S \). Топологічні припущення означають, що державний простір\( (S, \mathscr{S}) \) досить хороший для багатої математичної теорії і досить загальний, щоб охопити найважливіші програми. Часто існує природна міра Бореля\( \lambda \) на\( (S, \mathscr{S}) \), підрахунок міри,\( \# \) якщо\( S \) дискретна, і, наприклад, міра Лебега, якщо\( S = \R^k \) для деяких\( k \in \N_+ \).

Нагадаємо також, що є кілька просторів функцій на\( S \) які важливі. \( \mathscr{B} \)Дозвольте позначити набір обмежених, вимірюваних функцій\( f: S \to \R \). \( \mathscr{C} \)Дозвольте позначити набір обмежених, безперервних функцій\( f: S \to \R \), і нехай\( \mathscr{C}_0 \) позначають набір безперервних функцій\( f: S \to \R \), які зникають\( \infty \) в тому сенсі, що для кожного\( \epsilon \gt 0 \), існує компактний набір\( K \subseteq S \) таких\( \left|f(x)\right| \lt \epsilon \) для\( x \in K^c \). Це все векторні простори при звичайному (точковому) додаванні і скалярному множенні, і\( \mathscr{C}_0 \subseteq \mathscr{C} \subseteq \mathscr{B} \). Норма супремум,\( f \in \mathscr{B} \) визначена\( \left\| f \right\| = \sup\{\left|f(x)\right|: x \in S\} \) for - норма, яка використовується на цих просторах.

Припустимо, що тепер\(\bs{X} = \{X_t: t \in T\}\) це однорідний за часом марковський процес з простором стану,\( (S, \mathscr{S}) \) визначеним на просторі ймовірностей\( (\Omega, \mathscr{F}, \P) \). Як і раніше, ми також припускаємо, що у нас є фільтрація\( \mathfrak{F} = \{\mathscr{F}_t: t \in T\} \), тобто зростаюче сімейство\( \sigma \) суб-алгебр\( \mathscr{F} \), індексованих часовим простором, з властивостями, які\( X_t \) можна виміряти з represct to\( \mathscr{F}_t \) for\( t \in T \). Інтуїтивно,\( \mathscr{F}_t \) це збір подій до часу\( t \in T \).

Як завжди, дозволимо\( P_t \) позначити ймовірність переходу ядра для збільшення часу розміру\( t \in T \). Таким чином,\[ P_t(x, A) = \P(X_t \in A \mid X_0 = x), \quad x \in S, \, A \in \mathscr{S} \] нагадаємо\( t \in T \), що for, ядро переходу\( P_t \) визначає два оператори, зліва з мірами і праворуч з функціями. Отже, якщо\( \mu \) є мірою на\( (S, \mathscr{S}) \) то\( \mu P_t \) це міра на\( (S, \mathscr{S}) \) заданий\[ \mu P_t(A) = \int_S \mu(dx) P_t(x, A), \quad A \in \mathscr{S} \]\( \mu \) If є розподіл\( X_0 \) то\( \mu P_t \) розподіл\( X_t \) for\( t \in T \). Якщо\( f \in \mathscr{B} \) then\( P_t f \in \mathscr{B} \) визначається\[ P_t f(x) = \int_S P_t(x, dy) f(y) = \E\left[f(X_t) \mid X_0 = x\right] \] Recall, що колекція операторів переходу\( \bs{P} = \{P_t: t \in T\} \) є напівгрупою, оскільки\( P_s P_t = P_{s+t} \) for\( s, \, t \in T \). Якраз все в цьому розділі визначено з точки зору напівгрупи\( \bs{P} \), яка є одним з основних аналітичних інструментів у вивченні марковських процесів.

Феллер Марківські процеси

Робимо ті ж припущення, що і у Вступі. Ось короткий огляд:

Припустимо, що марковський процес\( \bs{X} = \{X_t: t \in T\} \) задовольняє наступним властивостям (а значить, і є марковським процесом Феллера):

1. Для\( t \in T \) і\( y \in S \), розподіл\( X_t \) заданого\( X_0 = x \) сходиться до розподілу\( X_t \) заданого\( X_0 = y \) як\( x \to y \).
2. З огляду на\(X_0 = x \in S \),\( X_t \) сходиться за ймовірністю до\( x \) як\( t \downarrow 0 \).

Частина (а) - це припущення про безперервність у просторі, тоді як частина (b) - припущення про безперервність у часі. Якщо\( S \) дискретний, то (a) автоматично утримує, а якщо\( T \) дискретний, то (b) автоматично утримує. Як ми побачимо, припущення Феллера є достатніми для дуже приємної математичної теорії, і все ж є досить загальними, щоб охопити найважливіші безперервні марковські процеси.

Процес\( \bs{X} = \{X_t: t \in T\} \) має такі властивості:

1. Є версія\( \bs{X} \) така, яка\( t \mapsto X_t \) суцільна справа і має ліві межі.
2. \( \bs{X} \)є сильним марковським процесом щодо\( \mathfrak{F}^0_+ \), праворуч безперервної доопрацювання природної фільтрації.

Припущення Феллера щодо марковського процесу мають еквівалентні формулювання з точки зору перехідної напівгрупи.

Перехідна напівгрупа\( \bs{P} = \{P_t: t \in T\} \) має такі властивості:

1. Якщо\( f \in \mathscr{C}_0 \) і\( t \in T \) тоді\( P_t f \in \mathscr{C}_0 \)
2. Якщо\( f \in \mathscr{C}_0 \) і\( x \in S \) то\( P_t f(x) \to f(x) \) як\( t \downarrow 0 \).

Як і раніше, частина (а) є умовою безперервності у просторі, тоді як частина (b) - умова безперервності у часі. Знову ж таки, (а) є тривіальним, якщо\( S \) дискретним, і (b) тривіальним, якщо\( T \) є дискретним. Перша умова означає, що\( P_t \) є лінійним оператором on\( \mathscr{C}_0 \) (а також є лінійним оператором on\( \mathscr{B} \)). Друга умова призводить до більш сильного результату безперервності.

Бо\( f \in \mathscr{C}_0 \), відображення\( t \mapsto P_t f \) безперервне\( T \). Тобто, для того\( t \in T \),\[ \|P_s f - P_t f\| = \sup\{\left|P_s f(x) - P_t f(x) \right|: x \in S\} \to 0 \text{ as } s \to t\]

Наш інтерес до цього розділу - це, перш за все, випадок безперервного часу. Однак ми починаємо з дискретного випадку часу, оскільки поняття чіткіші та простіші, і ми можемо уникнути деяких технічних аспектів, які неминуче виникають у безперервний час.

Дискретний час

Припустимо\( T = \N \), що, щоб час дискретно. Нагадаємо, що перехідні ядра - це всього лише повноваження однокрокового ядра. Тобто ми пускаємо\( P = P_1 \) і тоді\( P_n = P^n \) за\( n \in \N \).

Потенційні оператори

Для\( \alpha \in (0, 1] \), \( \alpha \)-потенціал\( R_\alpha \) ядра\( \bs{X} \) визначається наступним чином:\[ R_\alpha(x, A) = \sum_{n=0}^\infty \alpha^n P^n(x, A), \quad x \in S, \, A \in \mathscr{S} \]

1. Особливий випадок\( R = R_1 \) - це просто потенційне ядро\( \bs{X} \).
2. Для\( x \in S \) і\( A \in \mathscr{S} \),\( R(x, A) \) це очікувана кількість відвідувань\( \bs{X} \) до\( A \), починаючи з\( x \).

Доказ

Функція\( x \mapsto R_\alpha(x, A) \) від\( S \) до\( [0, \infty) \) вимірюється для\( A \in \mathscr{S} \) так як\( x \mapsto P^n(x, A) \) вимірюється для кожного\( n \in \N \). Відображення\( A \mapsto R_\alpha(x, A) \) є позитивною мірою\( \mathscr{S} \) для\( x \in S \) оскільки\( A \mapsto P^n(x, A) \) є мірою ймовірності для кожного\( n \in \N \). Нарешті, тлумачення\( R(x, A) \) for\( x \in S \) і\( A \in \mathscr{S} \) походить від зміни суми та очікуваного значення, що дозволено, оскільки терміни невід'ємні:\[ R(x, A) = \sum_{n=0}^\infty P^n(x, A) = \sum_{n=0}^\infty \E[\bs{1}(X_n \in A) \mid X_0 = x] = \E\left( \sum_{n=0}^\infty \bs{1}(X_n \in A) \biggm| X_0 = x\right) = \E[\#\{n \in \N: X_n \in A\} \mid X_0 = x] \]

Відзначимо, що цілком можливо, що\( R(x, A) = \infty \) для деяких\( x \in S \) і\( A \in \mathscr{S} \). Насправді знання, коли це відбувається, має чимале значення при вивченні марковських процесів. Як і у всіх ядер, потенційне ядро\( R_\alpha \) визначає два оператори, що працюють праворуч на функціях, а що працюють зліва на позитивні заходи. Для правильного потенційного оператора, якщо\( f: S \to \R \) є вимірним, то\[R_\alpha f(x) = \sum_{n=0}^\infty \alpha^n P^n f(x) = \sum_{n=0}^\infty \alpha^n \int_S P^n(x, dy) f(y) = \sum_{n=0}^\infty \alpha^n \E[f(X_n) \mid X_0 = x], \quad x \in S \] припускаючи, як зазвичай, що очікувані значення та нескінченний ряд мають сенс. Це буде так, зокрема, якщо\( f \) ненегативний або якщо\( p \in (0, 1) \) і\( f \in \mathscr{B} \).

Якщо\( \alpha \in (0, 1) \), то\( R_\alpha(x, S) = \frac{1}{1 - \alpha} \) для всіх\( x \in S \).

Доказ

Використовуючи геометричні ряди,\[ R_\alpha(x, S) = \sum_{n=0}^\infty \alpha^n P^n(x, S) = \sum_{n=0}^\infty \alpha^n = \frac{1}{1 - \alpha} \]

Звідси випливає\( \alpha \in (0, 1) \), що for, правий оператор\( R_\alpha \) є обмеженим, лінійним оператором на\( \mathscr{B} \) с\(\left\|R_\alpha \right\| = \frac{1}{1 - \alpha}\). Звідси також випливає, що\( (1 - \alpha) R_\alpha \) є ядром ймовірності. Є приємна інтерпретація цього ядра.

Якщо\( \alpha \in (0, 1) \) то\( (1 - \alpha) R_\alpha(x, \cdot) \) є умовним розподілом\( X_N \) заданого\( X_0 = x \in S \), де\( N \) є незалежним\( \bs{X} \) і має геометричний розподіл по параметру\( \N \) with\( 1 - \alpha \).

Доказ

Припустимо, що\( x \in S \) і\( A \in \mathscr{S} \). Кондиціонування на\( N \) дає\[ \P(X_N \in A \mid X_0 = x) = \sum_{n=0}^\infty \P(N = n) \P(X_N \in A \mid N = n, X_0 = x) \] Але за правилом заміщення і припущення про незалежність,\[ \P(X_N \in A \mid N = n, X_0 = x) = \P(X_n \in A \mid N = n, X_0 = x) = \P(X_n \in A \mid X_0 = x) = P^n(x, A) \] Так як\( N \) має геометричний розподіл на\( N \) з параметром\( 1 - \alpha \) ми маємо\( P(N = n) = (1 - \alpha) \alpha^n \) для\( n \in \N \). Заміна дає\[ \P(X_N \in A \mid X_0 = x) = \sum_{n=0}^\infty (1 - \alpha) \alpha^n P^n(x, A) = (1 - \alpha) R_\alpha(x, A)\]

Так\( (1 - \alpha)R_\alpha \) і ядро ймовірності переходу,\( P_n \) так само як і ядро ймовірності переходу, але відповідне випадковому часу\( N \) (з\( \alpha \in (0, 1) \) як параметр), а не детермінованого часу\( n \in \N \). Інтерпретація потенційного ядра\( R_\alpha \) для\( \alpha \in (0, 1) \) може бути надана і в економічному плані. Припустимо, що\( A \in \mathscr{S} \) і що ми отримуємо по одній грошовій одиниці кожного разу, коли процес\( \bs{X} \) відвідує\( A \). Тоді, як зазначено вище,\( R(x, A) \) очікувана загальна сума грошей, яку ми отримуємо, починаючи з\( x \in S \). Однак зазвичай гроші, які ми отримаємо в далекі часи в майбутньому, мають меншу цінність для нас зараз, ніж гроші, які ми отримаємо найближчим часом. Зокрема припустимо, що грошова одиниця, отримана в той час,\( n \in \N \) має теперішню вартість\( \alpha^n \), де\( \alpha \in (0, 1) \) є інфляційний фактор (іноді також називають дисконтним фактором). Потім\( R_\alpha(x, A) \) дає очікувану, загальну, дисконтовану суму, яку ми отримаємо, починаючи з\( x \in S \). Трохи загалом, якщо\( f \in \mathscr{B} \) це функція винагороди, так що\( f(x) \) це винагорода (або вартість, залежно від знака), яку ми отримуємо, коли ми відвідуємо стан\( x \in S \), то для\( \alpha \in (0, 1) \),\( R_\alpha f(x) \) це очікувана, загальна, знижка винагороди, починаючи з\( x \in S \).

Для лівого потенційного оператора, якщо\( \mu \) позитивна міра на\( \mathscr{S} \) потім\[\mu R_\alpha(A) = \sum_{n=0}^\infty \alpha^n \mu P^n(A) = \sum_{n=0}^\infty \alpha^n \int_S \mu(dx) P^n(x, A), \quad A \in \mathscr{S}\] Зокрема, якщо\( \mu \) є мірою ймовірності і\( X_0 \) має розподіл\( \mu \)\( \mu P^n \) то розподіл\( X_n \) for\( n \in \N \), отже, з останнього результату,\((1 - \alpha) \mu R_\alpha \) є розподіл\( X_N \) де знову ж таки,\( N \) є незалежним\( \bs{X} \) і має геометричний розподіл по\( \N \) параметру\( 1 - \alpha \). Сімейство потенційних ядер дає ту ж інформацію, що і сімейство перехідних ядер.

Потенційні ядра\( \bs{R} = \{R_\alpha: \alpha \in (0, 1)\} \) повністю визначають перехідні ядра\( \bs{P} = \{P_n: n \in \N\} \).

Доказ

Зверніть увагу, що для\( x \in S \) і\( A \in \mathscr{S} \), функція\( \alpha \mapsto R_\alpha(x, A) \) є степеневим рядом в\( \alpha \) з коефіцієнтами\( n \mapsto P^n(x, A) \). Мовою комбінаторики,\( \alpha \mapsto R_\alpha(x, A) \) це звичайна генеруюча функція послідовності\( n \mapsto P^n(x, A) \). Як зазначалося вище, цей енергетичний ряд має радіус збіжності не менше 1, тому ми можемо розширити область до\( \alpha \in (-1, 1) \). Таким чином, з огляду на потенційні ядра, ми можемо відновити перехідні ядра, взявши похідні і оцінюючи при 0:\[ P^n(x, A) = \frac{1}{n!}\left[\frac{d^n}{d\alpha^n} R_\alpha(x, A) \right]_{\alpha = 0} \]

Звичайно, дійсно необхідно тільки визначити, один крок переходу ядра\( P \), так як інші перехідні ядра є повноваження\( P \). У будь-якому випадку з цього випливає\( \bs{R} = \{R_\alpha: \alpha \in (0, 1)\} \), що ядра разом з початковим розподілом повністю визначають кінцеві розмірні розподіли марковського процесу\( \bs{X} \). Потенційні ядра коммутують між собою і з переходом ядер.

Припустимо, що\( \alpha, \, \beta \in (0, 1] \) і\( k \in \N \). Потім (як ядра)

1. \( P^k R_\alpha = R_\alpha P^k = \sum_{n=0}^\infty \alpha^n P^{n+k} \)
2. \( R_\alpha R_\beta = R_\beta R_\alpha = \sum_{m=0}^\infty \sum_{n=0}^\infty \alpha^m \beta^n P^{m+n} \)

Доказ

Припустимо, що\( f \in \mathscr{B} \) це ненегативне. Обмін сумами з операцією ядра дозволений, оскільки ядра невід'ємні. Іншим інструментом є властивість semigroup.

1. Безпосередньо\[ R_\alpha P^k f = \sum_{n=0}^\infty \alpha^n P^n P^k f = \sum_{n=0}^\infty \alpha^n P^{n+k} f\] інший напрямок вимагає розв'язки. \[ P^k R_\alpha f = P^k \sum_{n=0}^\infty \alpha^n P^n f = \sum_{n=0}^\infty \alpha^n P^k P^n f = \sum_{n=0}^\infty \alpha^n P^{n+k} f \]
2. По-перше,\[ R_\alpha R_\beta f = \sum_{m=0}^\infty \alpha^m P^m R_\beta f = \sum_{m=0}^\infty \alpha^m P^m \left(\sum_{n=0}^\infty \beta^n P^n f\right) = \sum_{m=0}^\infty \sum_{n=0}^\infty \alpha^m \beta^n P^m P^n f = \sum_{m=0}^\infty \sum_{n=0}^\infty \alpha^m \beta^n P^{m+n} f\] інший напрямок аналогічно.

Ті ж ідентичності тримаються для правильних операторів на всьому просторі\( \mathscr{B} \), з додатковими обмеженнями, які\( \alpha \lt 1 \) і\( \beta \lt 1 \). Далі наведено фундаментальне рівняння, яке пов'язує потенційні ядра.

Якщо\( \alpha, \, \beta \in (0, 1] \) з\( \alpha \le \beta \) то (як ядра),\[ \beta R_\beta = \alpha R_\alpha + (\beta - \alpha) R_\alpha R_\beta \]

Доказ

Якщо\( \alpha = \beta \) рівняння тривіальне, так припустимо\( \alpha \lt \beta \). Припустимо, що\( f \in \mathscr{B} \) це ненегативне. З попереднього результату,\[ R_\alpha R_\beta f = \sum_{j=0}^\infty \sum_{k=0}^\infty \alpha^j \beta^k P^{j+k} f \] Зміна змінних, щоб підсумувати\( n = j + k \) і\( j \) дає\[ R_\alpha R_\beta f = \sum_{n=0}^\infty \sum_{j=0}^n \alpha^j \beta^{n-j} P^n f = \sum_{n=0}^\infty \sum_{j=0}^n \left(\frac{\alpha}{\beta}\right)^j \beta^n P^n f = \sum_{n=0}^\infty \frac{1 - \left(\frac{\alpha}{\beta}\right)^{n+1}}{1 - \frac{\alpha}{\beta}} \beta^n P^n f \] спрощення дає\[ R_\alpha R_\beta f = \frac{1}{\beta - \alpha} (\beta R_\beta f - \alpha R_\alpha f)\] Примітка\( \alpha \lt 1 \), що так як,\( R_\alpha f\) є кінцевим, так що нам не доведеться турбуватися про страшний невизначеної форми\( \infty - \infty \).

Той самий ідентифікатор тримає для правильних операторів на всьому просторі\( \mathscr{B} \), з додатковим обмеженням, що\( \beta \lt 1 \).

Якщо\( \alpha \in (0, 1] \), то (як ядра),\( I + \alpha R_\alpha P = I + \alpha P R_\alpha = R_\alpha \).

Доказ

Припустимо, що\( f \in \mathscr{B} \) це ненегативне. З наведеного вище результату,\[ (I + \alpha R_\alpha P) f = (I + \alpha P R_\alpha) f = f + \sum_{n=0}^\infty \alpha^{n+1} P^{n+1} f = \sum_{n = 0}^\infty \alpha^n P^n f = R_\alpha f \]

Той самий ідентифікатор тримає для правильних операторів на всьому просторі\( \mathscr{B} \), з додатковим обмеженням, що\( \alpha \lt 1 \). Це призводить до наступного важливого результату:

Якщо\( \alpha \in (0, 1) \), то як оператори на просторі\( \mathscr{B} \),

1. \( R_\alpha = (I - \alpha P)^{-1} \)
2. \( P = \frac{1}{\alpha}\left(I - R_\alpha^{-1}\right) \)

Доказ

Оператори обмежені, тому ми можемо відняти. Ідентичність\( I + \alpha R_\alpha P = R_\alpha \) призводить до\( R_\alpha(I - \alpha P) = I \) і особистість\( I + \alpha P R_\alpha = R_\alpha \) призводить до\( (I - \alpha P) R_\alpha = I \). Звідси (а) тримає. Частина (б) випливає з (а).

Цей результат знову показує, що потенційний оператор\( R_\alpha \) визначає оператор переходу\( P \).

Приклади і застосування

Наш перший приклад розглядає біноміальний процес як марковський процес.

\( \bs{I} = \{I_n: n \in \N_+\} \)Дозволяти послідовність випробувань Бернуллі з параметром успіху\( p \in (0, 1) \). Визначте процес Маркова\( \bs{X} = \{X_n: n \in \N\} \) по тому\( X_n = X_0 + \sum_{k=1}^n I_k \), де\( X_0 \) приймає значення в\( \N \) і не залежить від\( \bs{I} \).

1. Для\( n \in \N \), показати, що матриця\( P^n \) ймовірності переходу\( \bs{X} \) задається\[ P^n(x, y) = \binom{n}{y - x} p^{y - x} (1 - p)^{n - y + x}, \quad x \in \N, \, y \in \{x, x + 1, \ldots, x + n\} \]
2. Для\( \alpha \in (0, 1] \), показати, що матриця\( R_\alpha \) потенціалу\( \bs{X} \) задається\[ R_\alpha(x, y) = \frac{1}{1 - \alpha + \alpha p} \left(\frac{\alpha p}{1 - \alpha + \alpha p}\right)^{y - x}, \quad x \in \N, \, y \in \{x, x + 1, \ldots\} \]
3. Для\( \alpha \in (0, 1) \) і\( x \in \N \), визначити розподіл ймовірностей, визначених\( (1 - \alpha) R_\alpha(x, \cdot) \).
4. Для\( x, \, y \in \N \) з\( x \le y \)\( R(x, y) \), інтерпретувати, очікуваний час в\( y \) початку\( x \), в контексті процесу\( \bs{X} \).

Рішення

Нагадаємо, що\( \bs{X} \) це марковський процес, оскільки він має стаціонарні, незалежні прирости.

1. Зверніть увагу, що для\( n, \, x \in \N \),\( P^n(x, \cdot) \) є (дискретним) PDF з\( x + \sum_{k=1}^n I_k \). Результат випливає, оскільки сума змінних індикатора має біноміальний розподіл з параметрами\( n \) і\( p \).
2. Нехай\( \alpha \in (0, 1] \) і нехай\( x, \, y \in \N \) з\( x \le y \). Потім\ почати {вирівнювати*} R_\ альфа (x, y) & =\ sum_ {n=0} ^\ infty\ альфа ^ n (x, y) =\ сума_ {n = у - х} ^\ infty\ альфа ^n\ binom {y - x} p^ {y-x} (1 - p) ^ {n - y +}\ & = (\ альфа р) ^ {у - х}\ сума_ {n = у - х} ^\ інфти\ біном {n} {y - x} [\ альфа (1 - р)] ^ {n - y + x} =\ frac {(\ альфа р) ^ {y - x}} {[1 -\ альфа (1 - р)] ^ {n - х + 1}}\ end {align*} Спрощення дає результат.
3. Для\( \alpha \in (0, 1) \),\[ (1 - \alpha) R_\alpha(x, y) = \frac{1 - \alpha}{1 - \alpha + \alpha p} \left(\frac{\alpha p}{1 - \alpha + \alpha p}\right)^{y - x} \] як функція\( y \) для фіксованого\( x \), це PDF\( x + Y_\alpha \) де\( Y_\alpha \) має геометричний розподіл на\( N \) з параметром\( \frac{1 - \alpha}{1 - \alpha + \alpha p} \).
4. Зверніть увагу, що\( R(x, y) = 1 / p \) для\( x, \, y \in \N \) с\( x \le y \). Починаючи в стані\( x \), процес в кінцевому підсумку досягає\( y \) з ймовірністю 1. Процес залишається в стані\( y \) протягом геометрично розподіленого часу, з параметром\( p \). Середнє значення цього розподілу є\( 1 / p \).

Безперервний час

З налаштуванням дискретного часу як мотивації, ми тепер перетворюємо більш важливий випадок безперервного часу, де\( T = [0, \infty) \).

Потенційні ядра

Для\( \alpha \in [0, \infty) \), \( \alpha \)-потенціал\( U_\alpha \) ядра\( \bs{X} \) визначається наступним чином:\[ U_\alpha(x, A) = \int_0^\infty e^{-\alpha t} P_t(x, A) \, dt, \quad x \in S, \, A \in \mathscr{S} \]

1. Особливий випадок\( U = U_0 \) - це просто потенційний ядро\( \bs{X} \).
2. Для\( x \in S \) і\( A \in \mathscr{S} \),\( U(x, A) \) це очікувана кількість часу, який\( \bs{X} \) проводить в\( A \), починаючи з\( x \).
3. Сімейство ядер\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \) відомо як розчинник\( \bs{X} \).

Доказ

Оскільки\( \bs{P} = \{P_t: t \in T\} \) це напівгрупа Феллера операторів переходу, відображення\((t, x) \mapsto P_t(x, A)\) від\( [0, \infty) \times S \) до\( [0, 1] \) є спільним виміром для\( A \in \mathscr{S} \). Таким чином, має\( U_\alpha(x, A) \) сенс для\( x \in S \)\( A \in \mathscr{S} \) і\( x \mapsto U_\alpha(x, A) \) від\( S \) до\( [0, \infty) \) вимірюється для\( A \in \mathscr{S} \). \( A \mapsto U_\alpha(x, A) \)Це міра на\( \mathscr{S} \) випливає зі звичайного обміну сумою та інтегралом, через теорему Фубіні: Припустимо, що\( \{A_j: j \in J\} \) це лічильна колекція нез'єднаних множин\( \mathscr{S} \), і нехай\( S = \bigcup_{j \in J} A_j \)\ begin {align*} U_\ alpha (x, A) & =\ int_0^\ infty e^ {-\ alpha t} p_t (x, A)\ dt =\ int_0^\ infty\ ліворуч [\ sum_ {j\ in J} e^ {-\ альфа т} p_t (x, a_J)\ праворуч]\, dt\\ & =\ sum_ {j\ in J}\ int_0^\ infty e^ {-\ альфа т} p_t (x, a_j)\, dt =\ sum_ {j\ in} U_\ alpha (x, a_J)\ end {align*} Нарешті, інтерпретація\( U(x, A) \) for\( x \in S \) and -\( A \in \mathscr{S} \) це ще один обмін інтегралами: \[ U(x, A) = \int_0^\infty P_t(x, A) \, dt = \int_0^\infty \E[\bs{1}(X_t \in A) \mid X_0 = x] \, dt = \E\left( \int_0^\infty \bs{1}(X_t \in A) \, dt \biggm| X_0 = x\right) \]Внутрішній інтеграл - це міра Лебега\( \{t \in [0, \infty): X_t \in A\} \).

Як і у випадку з дискретним часом, цілком можливо, що\( U(x, A) = \infty \) для деяких\( x \in S \) і\( A \in \mathscr{S} \), і знання, коли це так, представляє значний інтерес. Як і у всіх ядер, потенційне ядро\( U_\alpha \) визначає два оператори, що працюють праворуч на функціях, а що працюють зліва на позитивні заходи. Якщо\( f: S \to \R \) вимірюється, то, даючи правильний потенційний оператор у багатьох його формах,\ begin {align*} U_\ alpha f (x) & =\ int_s U_\ alpha (x, dy) f (y) =\ int_0^\ infty e^ {-\ альфа t} p_t f (x)\, dt\\ & =\ int_0^\ infty e^ {-\ alpha t}\ int_s p_t (x, dy) f (y) =\ int_0^\ infty e^ {-\ альфа т}\ Е [f (x_t)\ середина X_0 = х ]\, dt,\ quad x\ in S\ end {align*} припускаючи, що різні інтеграли мають сенс. Це буде, зокрема, якщо\( f \) ненегативний, або якщо\( f \in \mathscr{B} \) і\( \alpha \gt 0 \).

Якщо\( \alpha \gt 0 \), то\( U_\alpha(x, S) = \frac{1}{\alpha} \) для всіх\( x \in S \).

Доказ

Для\( x \in S \),\[ U_\alpha(x, S) = \int_0^\infty e^{-\alpha t} P_t(x, S) \, dt = \int_0^\infty e^{-\alpha t} dt = \frac{1}{\alpha} \]

Звідси випливає\( \alpha \in (0, \infty) \), що для, правий потенційний оператор\( U_\alpha \) є обмеженим, лінійним оператором на\( \mathscr{B} \) с\( \|U_\alpha\| = \frac{1}{\alpha} \). Звідси також випливає, що\( \alpha U_\alpha \) є ядром ймовірності. Це ядро має приємну інтерпретацію.

If\( \alpha \gt 0 \)\( \alpha U_\alpha (x, \cdot) \) then - умовний розподіл\( X_\tau \) де\( \tau \) не залежить від\( \bs{X} \) і має експоненціальний розподіл по параметру\( [0, \infty) \) with\( \alpha \).

Доказ

Припустимо, що\( x \in S \) і\( A \in \mathscr{S} \). Випадковий час\( \tau \) має PDF\( f(t) = \alpha e^{-\alpha t} \) для\( t \in [0, \infty) \). Отже, обумовлення на\( \tau \) дає\[ \P(X_\tau \in A \mid X_0 = x) = \int_0^\infty \alpha e^{-\alpha t} \P(X_\tau \in A \mid \tau = t, X_0 = x) \, dt \] Але правилом підміни і припущенням незалежності,\[ \P(X_\tau \in A \mid \tau = t, X_0 = x) = \P(X_t \in A \mid \tau = t, X_0 = x) = \P(X_t \in A \mid X_0 = x) = P_t(x, A) \] Замінюючи дає\[ \P(X_\tau \in A \mid X_0 = x) = \int_0^\infty \alpha e^{-\alpha t} P_t(x, A) \, dt = \alpha U_\alpha(x, A)\]

Так\( \alpha U_\alpha \) і ядро ймовірності переходу,\( P_t \) так само як і ядро ймовірності переходу, але відповідне випадковому часу\( \tau \) (з\( \alpha \in (0, \infty) \) як параметр), а не детермінованого часу\( t \in [0, \infty) \). Як і в дискретному випадку, потенційне ядро також можна трактувати в економічному плані. Припустимо, що\( A \in \mathscr{S} \) і що ми отримуємо гроші зі швидкістю однієї одиниці часу, коли процес\( \bs{X} \) знаходиться в\( A \). Далі\( U(x, A) \) йде очікувана загальна сума грошей, яку ми отримуємо, починаючи з держави\( x \in S \). Але знову ж таки, гроші, які ми отримуємо пізніше, зараз мають для нас меншу цінність, ніж гроші, які ми отримаємо раніше. Зокрема, припустимо, що одна грошова одиниця в той час\( t \in [0, \infty) \) має теперішню вартість,\( e^{-\alpha t} \) де\( \alpha \in (0, \infty) \) є коефіцієнт інфляції або коефіцієнт дисконту. \( U_\alpha(x, A) \)Це загальна, очікувана, дисконтована сума, яку ми отримуємо, починаючи з\( x \in S \). Трохи загаліше, припустимо, що\( f \in \mathscr{B} \) і\( f(x) \) це винагорода (або вартість, залежно від знака) за одиницю часу, яку ми отримуємо, коли процес знаходиться в стані\( x \in S \). Потім\( U_\alpha f(x) \) очікувана, загальна, дисконтована винагорода, починаючи з держави\( x \in S \).

Для оператора лівого потенціалу, якщо\( \mu \) є додатною мірою,\( \mathscr{S} \) то\ begin {align*}\ mu U_\ alpha (A) & =\ int_s\ mu (dx) U_\ альфа (x, A) =\ int_0^\ infty e^ {-\ alpha t}\ mu p_t (A)\, dt\\ & =\ int_0^\ infty e^ {-\ mu p_t (A)\, dt\\ & =\ int_0^\ infty e^ {-\ alpha t}\ ліворуч [\ int_s\ му (dx) p_t (x, A)\ праворуч] dt =\ int_0^\ infty e^ {-\ альфа т} \ left [\ int_s\ mu (dx)\ P (x_t\ in A)\ справа] dt,\ quad A\ in\ mathscr {S}\ end {align*} Зокрема, припустимо, що\( \alpha \gt 0 \) і що\( \mu \) є мірою ймовірності і\( X_0 \) має розподіл\( \mu \). Потім\( \mu P_t \) відбувається розподіл\( X_t \) for\( t \in [0, \infty) \), а отже, з останнього результату, розподіл,\( \alpha \mu U_\alpha \) де знову ж таки\( X_\tau \),\( \tau \) не залежить від\( \bs{X} \) і має експоненціальний розподіл на\( [0, \infty) \) з параметром\( \alpha \). Сімейство потенційних ядер дає ту ж інформацію, що і сімейство перехідних ядер.

Ресольвент\(\bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \) повністю визначає сімейство перехідних ядер\( \bs{P} = \{P_t: t \in (0, \infty)\} \).

Доказ

Зауважте\( A \in \mathscr{S} \), що для\( x \in S \) і, функція\( \alpha \mapsto U_\alpha(x, A) \) on\( (0, \infty) \) є перетворенням Лапласа функції\( t \mapsto P_t(x, A) \) на\( [0, \infty) \). Перетворення Лапласа функції повністю визначає функцію.

Звідси випливає\( \{U_\alpha: \alpha \in [0, \infty)\} \), що резольвент разом з початковим розподілом повністю визначають кінцеві розмірні розподіли марковського процесу\( \bs{X} \). Це набагато важливіше тут у випадку безперервного часу, ніж у випадку дискретного часу, оскільки ядра переходу\( P_t \) не можуть бути створені з одного перехідного ядра. Потенційні ядра коммутують між собою і з переходом ядер.

Припустимо, що\( \alpha, \, \beta, \, t \in [0, \infty) \). Потім (як ядра),

1. \( P_t U_\alpha = U_\alpha P_t = \int_0^\infty e^{-\alpha s} P_{s+t} ds\)
2. \( U_\alpha U_\beta = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_{s+t} ds \, dt \)

Доказ

Припустимо, що\( f \in \mathscr{B} \) це ненегативне. Нижче наведені взаємозв'язки операторів та інтегралів є взаємозамінними інтегралами, і обґрунтовані, оскільки інтеграли невід'ємні. Іншим інструментом, який використовується, є напівгрупова властивість\( \bs{P} = \{P_t: t \in [0, \infty)\} \).

1. Безпосередньо,\[ U_\alpha P_t f = \int_0^\infty e^{-\alpha s} P_s P_t f \, ds = \int_0^\infty e^{-\alpha s} P_{s+t} f \, ds \] Інший напрямок передбачає розв'язку. \[ P_t U_\alpha f = P_t \int_0^\infty e^{-\alpha s} P_s f \, ds = \int_0^\infty e^{-\alpha s} P_t P_s f \, ds = \int_0^\infty e^{-\alpha s} P_{s+t} f \, ds\]
2. Перший\ почати {вирівнювати*} U_\ альфа U_\ бета f & =\ int_0^\ infty e^ {-\ альфа с} p_s U_\ бета f\, ds =\ int_0^\ infty e^ {-\ альфа с} p_s\ int_0^\ infty e^ {-\ бета т} p_t f\, dt\\\ &\ int= _0^\ infty e^ {-\ альфа с}\ int_0^\ infty e^ {-\ бета т} p_s p_t f\, ds\, dt =\ int_0^\ int_0^\ int_0^\ infty e^ {-\ альфа с} e^ {-\ бета-т} P_ {s+t} f\, ds\, dt\ end {align*} Інший напрямок аналогічний.

Ті ж посвідчення тримаються для правильних операторів на всьому просторі\( \mathscr{B} \) під додатковим обмеженням, що\( \alpha \gt 0 \) і\( \beta \gt 0 \). Фундаментальне рівняння, яке пов'язує потенційні ядра, відоме як рівняння розчинника, наведено в наступній теоремі:

Якщо\( \alpha, \, \beta \in [0, \infty) \) з\( \alpha \le \beta \) то (як ядра)\( U_\alpha = U_\beta + (\beta - \alpha) U_\alpha U_\beta \).

Доказ

Якщо\( \alpha = \beta \) рівняння тривіальне, так припустимо\( \alpha \lt \beta \). Припустимо, що\( f \in \mathscr{B} \) це ненегативне. З попереднього результату,\[ U_\alpha U_\beta f = \int_0^\infty \int_0^\infty e^{-\alpha s} e^{-\beta t} P_{s + t} f \, dt \, ds \] Трансформація\( u = s + t, \, v = s \) відображає\( [0, \infty)^2 \) один до одного на\( \{(u, v) \in [0, \infty)^2: u \ge v\} \). Зворотне перетворення відбувається\( s = v, \, t = u - v \) з Якобіан\( -1 \). Звідси ми маємо\ почати {align*} U_\ альфа U_\ бета f & =\ int_0^\ infty\ int_0^u e^ {-\ альфа v} e^ {-\ бета (u - v)} p_u f\, dv\, du =\ int_0^\ infty\ ліво (\ int_0^u e^ {(\ бета -\ альфа v)} dv\ праворуч) e^ {-\ бета u} p_u f\, du\\ & =\ frac {1} {\ бета -\ альфа}\ int_0^\ infty\ ліворуч [e^ {(\ бета -\ альфа) u} - 1\ праворуч] e^ {-\ бета u} p_u ф ду\\ & =\ frac {1} {\ бета -\ альфа}\ лівий (\ int_0^\ infty e^ {-\ альфа u} p_u f\, du -\ int_0^\ infty e^ {-\ бета u} p_u f\, ду\ праворуч) =\ frac {1} {\ бета -\ альфа}\ (U_\ alpha f - U_\ beta f\ right)\ end {align*} Спрощення дає результат. Зверніть увагу, що\( U_\beta f \) є кінцевим з тих пір\( \beta \gt 0 \).

Той самий ідентифікатор тримає для потрібних потенційних операторів на всьому просторі\( \mathscr{B} \), під додатковим обмеженням, що\( \alpha \gt 0 \). Для\( \alpha \in (0, \infty) \), також\( U_\alpha \) є оператором на просторі\( \mathscr{C}_0 \).

Якщо\( \alpha \in (0, \infty) \) і\( f \in \mathscr{C}_0 \) тоді\( U_\alpha f \in \mathscr{C}_0 \).

Доказ

Припустимо, що\( f \in \mathscr{C}_0 \) і що\( (x_1, x_2, \ldots) \) є послідовністю в\( S \). Тоді\( P_t f \in \mathscr{C}_0 \) для\( t \in [0, \infty) \). Звідси\( x_n \to x \in S \) ніби\( e^{-\alpha t} P_t f(x_n) \to e^{-\alpha t} P_t f(x) \) як\( n \to \infty \) тоді, як\( n \to \infty \) для кожного\( t \in [0, \infty) \). За домінуючою теоремою збіжності,\[ U_\alpha f(x_n) = \int_0^\infty e^{-\alpha t} P_t f(x_n) \, dt \to \int_0^\infty e^{-\alpha t} P_t f(x) \, dt = U_\alpha f(x) \text{ as } n \to \infty \] Звідси\( U_\alpha f \) є безперервним. Далі припустимо, що\( x_n \to \infty \) як\( n \to \infty \). Це означає, що для кожного\( C \subseteq S\) компакта існують\( m \in \N_+ \) такі, що\( x_n \notin C \) для\( n \gt m \). Їх\( e^{-\alpha t} P_t f(x_n) \to 0 \) як\( n \to \infty \) для кожного\( t \in [0, \infty) \). Знову домінує теорема збіжності,\[ U_\alpha f(x_n) = \int_0^\infty e^{-\alpha t} P_t f(x_n) \, dt \to 0 \text{ as } n \to \infty \] Так\( U_\alpha f \in \mathscr{C}_0 \).

Якщо\( f \in \mathscr{C}_0 \) тоді\( \alpha U_\alpha f \to f \) як\( \alpha \to \infty \).

Доказ

Зближення є по відношенню до супремум норми на\( \mathscr{C}_0 \), звичайно. Припустимо, що\( f \in \mathscr{C}_0 \). Зверніть увагу спочатку, що зі зміною змінних\( s = \alpha t \),\[ \alpha U_\alpha f = \int_0^\infty \alpha e^{-\alpha t} P_t f \, dt = \int_0^\infty e^{-s} P_{s/\alpha} f \, ds \] а отже,\[ \left|\alpha U_\alpha f - f\right| = \left|\int_0^\infty e^{-s} \left(P_{s/\alpha} f - f\right) ds\right| \le \int_0^\infty e^{-s} \left|P_{s/\alpha} f - f\right| \, ds \le \int_0^\infty e^{-s} \left\|P_{s/\alpha} f - f\right\| \, ds \] так випливає, що\[ \left\|\alpha U_\alpha f - f\right\| \le \int_0^\infty e^{-s} \left\|P_{s/\alpha} f - f\right\| \, ds\] Але\( \left\|P_{s/\alpha} f - f\right\| \to 0 \) як\( \alpha \to \infty \) і звідси домінує теорема збіжності,\( \int_0^\infty e^{-s} \left\|P_{s/\alpha} f - f\right\| \, ds \to 0 \) як\( \alpha \to \infty \).

Нескінченно малий генератор

У безперервний час зовсім не зрозуміло, як ми могли б побудувати марковський процес з бажаними властивостями, скажімо, моделювати реальну систему якогось роду. Математично викладена екзистенціальна задача полягає в тому, як побудувати сімейство перехідних ядер\( \{P_t: t \in [0, \infty)\} \) так, щоб властивість напівгрупи\(P_s P_t = P_{s + t}\) була задоволена для всіх\( s, \, t \in [0, \infty) \). Відповідь, що стосується подібних проблем у детермінованому світі, походить по суті від числення, від типу похідної.

Нескінченно малим генератором марковського процесу\( \bs{X} \) є оператор, який\( G: \mathscr{D} \to \mathscr{C}_0 \) визначається\[ G f = \lim_{t \downarrow 0} \frac{P_t f - f}{t} \] на області,\( \mathscr{D} \subseteq \mathscr{C}_0 \) для якої існує межа.

Як завжди, межа по відношенню до supremum норма на\( \mathscr{C}_0 \), так\( f \in \mathscr{D} \) і\( G f = g \) означає що\( f, \, g \in \mathscr{C}_0 \) і\[ \left\|\frac{P_t f - f}{t} - g \right\| = \sup\left\{\left| \frac{P_t f(x) - f(x)}{t} - g(x) \right|: x \in S \right\} \to 0 \text{ as } t \downarrow 0 \] Так зокрема,\[ G f(x) = \lim_{t \downarrow 0} \frac{P_t f(x) - f(x)}{t} = \lim_{t \downarrow 0} \frac{\E[f(X_t) \mid X_0 = x] - f(x)}{t}, \quad x \in S \]

Домен\( \mathscr{D} \) є підпростором,\( \mathscr{C}_0 \) а генератор\( G \) - лінійним оператором на\( \mathscr{D} \)

1. Якщо\( f \in \mathscr{D} \) і\( c \in \R \) то\( c f \in \mathscr{D} \) і\( G(c f) = c G f \).
2. Якщо\( f, \, g \in \mathscr{D} \) тоді\( f + g \in \mathscr{D} \) і\( G(f + g) = G f + G g \).

Доказ

Це прості результати, які залежать від лінійності\( P_t \) for\( t \in [0, \infty) \) і основних результатів від збіжності.

1. Якщо\( f \in \mathscr{D} \) тоді\[ \frac{P_t (c f) - (c f)}{t} = c \frac{P_t f - f}{t} \to c G f \text{ as } t \downarrow 0\]
2. Якщо\( f, \, g \in \mathscr{D} \) тоді\[ \frac{P_t(f + g) - (f + g)}{t} = \frac{P_t f - f}{t} + \frac{P_t g - g}{t} \to G f + G g \text{ as } t \downarrow 0\]

Примітка\( G \) є (праворуч) похідною на 0 функції\( t \mapsto P_t f \). Через властивість напівгрупи, ця властивість диференційовності at\( 0 \) передбачає диференційовність при довільній\( t \in [0, \infty) \). Більш того, нескінченно малий оператор і оператори переходу коммутують:

Якщо\( f \in \mathscr{D} \) і\( t \in [0, \infty) \), то\( P_t f \in \mathscr{D} \) і наступні похідні правила дотримуються щодо норми супремум.

1. \( P^\prime_t f = P_t G f \), рівняння вперед Колмогорова
2. \( P^\prime_t f = G P_t f\), зворотне рівняння Колмогорова

Доказ

Нехай\( f \in \mathscr{D} \). Всі межі і твердження про похідні і безперервності відносяться до норми супремум.

1. За припущенням,\[ \frac{1}{h}(P_h f - f) \to G f \text{ as } h \downarrow 0 \] оскільки\( P_t \) є обмеженим, лінійним оператором на просторі\( \mathscr{C}_0 \), він зберігає межі, тому\[ \frac{1}{h}(P_t P_h f - P_t f) = \frac{1}{h}(P_{t+h} f - P_t f) \to P_t G f \text{ as } h \downarrow 0 \] це доводить результат для похідної від правого. Але оскільки\( t \mapsto P_t f \) є безперервним, то результат вірний і для двосторонньої похідної.
2. З частини (а) ми тепер знаємо, що\[ \frac{1}{h} (P_h P_t f - P_t f) = \frac{1}{h}(P_{t+h} f - P_t f) \to P_t G f \text { as } h \to 0\] За визначенням це означає, що\( P_t f \in \mathscr{D} \) і\( G P_t f = P_t G f = P_t^\prime f \).

Останній результат дає можливе рішення дилеми, яка мотивувала цю дискусію в першу чергу. Якщо ми хочемо побудувати марковський процес з бажаними властивостями, наприклад, моделювати реальну систему, ми можемо почати з побудови відповідного генератора,\( G \) а потім вирішити початкову задачу значення\[P^\prime_t = G P_t, \quad P_0 = I \] для отримання операторів переходу\( \bs{P} = \{P_t: t \in [0, \infty)\} \). Наступна теорема дає зв'язок між потенційними операторами і нескінченно малим оператором, що в деякому сенсі краще. Цей зв'язок аналогічний зв'язку між потенційними операторами та однокроковим оператором, зазначеним вище за дискретний час.

Припустимо\( \alpha \in (0, \infty) \).

1. Якщо\( f \in \mathscr{D} \)\( G f \in \mathscr{C}_0 \) і\( f + U_\alpha G f = \alpha U_\alpha f \)
2. Якщо\( f \in \mathscr{C}_0 \) тоді\( U_\alpha f \in \mathscr{D} \) і\( f + G U_\alpha f = \alpha U_\alpha f \).

Доказ

1. За визначенням, якщо\( f \in \mathscr{D} \) тоді\( G f \in \mathscr{C}_0 \). Отже, використовуючи попередній результат,\[f + U_\alpha G f = f + \int_0^\infty e^{-\alpha t} G P_t f \, dt = f + \int_0^\infty e^{-\alpha t} P^\prime_t f \, dt \] Інтеграція частинами (з\( u = e^{-\alpha t} \) і\( dv = P^\prime_t f \, dt \)) дає\[ f + G U_\alpha f = f - e^{-\alpha t} P_t f \biggm|_0^\infty + \alpha \int_0^\infty e^{-\alpha t} P_t f\, dt \] Але\( e^{-\alpha t} P_t f \to 0 \) як\( t \to \infty \) час\( P_0 f = f \). Останній термін - це\( \alpha U_\alpha f \).
2. Припустимо, що\( f \in \mathscr{C}_0 \). З наведеного вище результату і підстановки\( u = s + t \),\[ P_t U_\alpha f = \int_0^\infty e^{-\alpha s} P_{s+t} f \, ds = \int_t^\infty e^{-\alpha (u - t)} P_u f \, du = e^{\alpha t} \int_t^\infty e^{-\alpha u} P_u f \, du \] отже\[ \frac{P_t U_\alpha f - U_\alpha f}{t} = \frac{1}{t} \left[e^{\alpha t} \int_t^\infty e^{-\alpha u} P_u f \, du - U_\alpha f\right] \] додавання і віднімання\( e^{\alpha u} U_\alpha f \) і комбінування інтегралів дає\ begin {align*}\ frac {p_t U_\ alpha f - U_\ alpha f} {t} & =\ frac {1} {t}\ left [e^ {\ alpha t}\ int_t^\ infty e^ {-\ alpha u} p_u f\, du {\ альфа т}\ int_0^\ infty e^ {-\ альфа у} p_u f\, ду\ право] +\ розрив {e^ {\ альфа т} - 1} {t} U_\ альфа ф\\ & = -e^ {\ альфа т}\ frac {1} {t}\ int_0^t e^ {-\ альфа с} p_s f\, ds +\ frac {e^ {\ альфа т - 1} {t} U_\ alpha f\ end {align*} Оскільки\( s \mapsto P_s f \) є безперервним, перший член сходиться до\( -f \) as\( t \downarrow 0 \). Другий термін сходиться до\(\alpha U_\alpha f\) як\( t \downarrow 0 \).

Для\( \alpha \gt 0 \), оператори\( U_\alpha \) і\( G \) мають зворотну залежність.

Припустимо ще раз, що\( \alpha \in (0, \infty) \).

1. \( U_\alpha = (\alpha I - G)^{-1}: \mathscr{C}_0 \to \mathscr{D}\)
2. \( G = \alpha I - U_\alpha^{-1} : \mathscr{D} \to \mathscr{C}_0\)

Доказ

Нагадаємо, що\( U_\alpha: \mathscr{C}_0 \to \mathscr{D} \) і\( G: \mathscr{D} \to \mathscr{C}_0 \)

1. За частиною (а) попередній результат ми маємо\( \alpha U_\alpha - U_\alpha G = I \) так\( U_\alpha(\alpha I - G) = I \). За частиною (б) ми маємо\(\alpha U_\alpha - G U_\alpha = I\) так\( (\alpha I - G) U_\alpha = I \).
2. Це випливає з (а).

Отже, з генератора\( G \) ми можемо визначити потенційні оператори\( \bs{U} = \{U_\alpha: \alpha \in (0, \infty)\} \), які в свою чергу визначають оператори переходу\( \bs{P} = \{P_t: t \in (0, \infty)\} \). У безперервному часі оператори переходу\( \bs{P} = \{P_t: t \in [0, \infty)\} \) можуть бути отримані з одного, нескінченно малого оператора таким\( G \) чином, що нагадує той факт, що в дискретний час оператори переходу\( \bs{P} = \{P^n: n \in \N\} \) можуть бути отримані з одного, однокрокового оператора\( P \).

Приклади і застосування

Наш перший приклад по суті детермінований.

Розглянемо процес Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \) щодо\( \R \) задоволення звичайного диференціального рівняння\[ \frac{d}{dt} X_t = g(X_t), \quad t \in [0, \infty) \], де\( g: \R \to \R \) є безперервним Ліпшицем. Нескінченно малий оператор\( G \) задається\( G f(x) = f^\prime(x) g(x)\) for\( x \in \R \) на області\( \mathscr{D} \) функцій\( f: \R \to \R \) де\( f \in \mathscr{C}_0\) і\(f^\prime \in \mathscr{C}_0 \).

Доказ

Нагадаємо, що єдиним джерелом випадковості в цьому процесі є початковий стан\( X_0 \). За припущеннями неперервності існує унікальний\( X_t(x) \) розв'язок диференціального рівняння з початковим значенням\( X_0 = x \), визначеним для всіх\( t \in [0, \infty) \).\( g \) Оператор переходу\( P_t \) for\( t \in [0, \infty) \)\( \mathscr{B} \) визначається на\( P_t f(x) = f[X_t(x)] \) for\( x \in \R \). За звичайним правилом ланцюга, якщо\( f \) диференційований,\[ \frac{P_t f(x) - f(x)}{t} = \frac{f[X_t(x)] - f(x)}{t} \to f^\prime(x) g(x) \text{ as } t \downarrow 0 \]

Наступний наш приклад розглядає процес Пуассона як марковський процес. Порівняйте це з біноміальним процесом вище.

Нехай\( \bs{N} = \{N_t: t \in [0, \infty)\} \) позначимо процес Пуассона на\( \N \) зі швидкістю\( \beta \in (0, \infty) \). Визначте процес Маркова\( \bs{X} = \{X_t: t \in [0, \infty)\} \) по тому\( X_t = X_0 + N_t \), де\( X_0 \) приймає значення в\( \N \) і не залежить від\( \bs{N} \).

1. Для\( t \in [0, \infty) \), показати, що матриця\( P_t \) ймовірності переходу\( \bs{X} \) задається\[ P_t(x, y) = e^{-\beta t} \frac{(\beta t)^{y - x}}{(y - x)!}, \quad x, \, y \in \N, \, y \ge x \]
2. Для\( \alpha \in [0, \infty) \), показати, що матриця\( U_\alpha \) потенціалу\( \bs{X} \) задається\[ U_\alpha(x, y) = \frac{1}{\alpha + \beta} \left(\frac{\beta}{\alpha + \beta}\right)^{y - x}, \quad x, \, y \in \N, \, y \ge x \]
3. Для\( \alpha \gt 0 \) і\( x \in \N \), визначити розподіл ймовірностей, визначених\( \alpha U_\alpha(x, \cdot) \).
4. Показати, що нескінченно мала\( G \) матриця\( \bs{X} \) задається\( G(x, x) = -\beta \),\( G(x, x + 1) = \beta \) for\( x \in \N \).

Рішення

1. Зверніть увагу, що for\( t \in [0, \infty) \) and\( x \in \N \),\( P_t(x, \cdot) \) є (дискретним) PDF\( x + N_t \) since\( N_t \) має розподіл Пуассона з параметром\( \beta t \).
2. Нехай\( \alpha \in [0, \infty) \) і нехай\( x, \, y \in \N \) з\( x \le y \). Потім\ почати {align*} U_\ альфа (x, y) & =\ int_0^\ infty e^ {-\ альфа т} p_t (x, y)\, dt =\ int_0^\ infty e^ {-\ альфа т} e^ {-\ бета-т}\ frac {(\ бета т) ^ {y - x}} {y - x}! dt\\ & =\ розрив {\ бета^ {y - x}} {(y - x)!} \ int_0^\ infty e^ {- (\ alpha +\ beta) t} t^ {y - x}\, dt\ end {align*} Зміна змінних\( s = (\alpha + \beta)t \) дає\[ U_\alpha(x, y) = \frac{\beta^{y-x}}{(y - x)! (\alpha + \beta)^{y - x + 1}} \int_0^\infty e^{-s} s^{y-x} \, ds \] Але останній інтеграл є\( \Gamma(y - x + 1) = (y - x)! \). Спрощення дає результат.
3. Для\( \alpha \gt 0 \),\[ \alpha U_\alpha(x, y) = \frac{\alpha}{\alpha + \beta} \left(\frac{\beta}{\alpha + \beta}\right)^{y - x}, \quad x, \, y \in \N, \, y \ge x \] як функція\( y \) для фіксованого\( x \), це PDF\( x + Y_\alpha \) де\( Y_\alpha \) має геометричний розподіл з параметром\( \frac{\alpha}{\alpha + \beta} \).
4. Зверніть увагу, що для\( x, \, y \in \N \),\( G(x, y) = \frac{d}{dt} P_t(x, y) \bigm|_{t=0} \). За простим обчисленням це if,\( -\beta\)\( \beta \) if\( y = x \)\( y = x + 1 \), і 0 в іншому випадку.