17.5: Конвергенція

\(\renewcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Q}{\mathbb{Q}}\)\(\newcommand{\bs}{\boldsymbol}\)\(\newcommand{\var}{\text{var}}\)

Основна теорія

Основні припущення

Як і у Вступі, ми починаємо зі стохастичного процесу\( \bs{X} = \{X_t: t \in T\} \) на базовому просторі ймовірностей\( (\Omega, \mathscr{F}, \P) \), що має простір стану\( \R \), і де набір індексу\( T \) (що представляє час) або\( \N \) (дискретний час) або\( [0, \infty) \) (безперервний час). Далі у нас є фільтрація\(\mathfrak{F} = \{\mathscr{F}_t: t \in T\} \), і ми припускаємо, що\( \bs{X} \) адаптована до\( \mathfrak{F} \). Так\( \mathfrak{F} \) зростає сімейство\( \sigma \) суб-алгебр\( \mathscr{F} \) і\( X_t \) є вимірним щодо\( \mathscr{F}_t \) для\( t \in T \). Ми думаємо про збір подій до часу\( t \in T \).\( \mathscr{F}_t \) Ми припускаємо\( \E\left(\left|X_t\right|\right) \lt \infty \), що, так що середнє\( X_t \) існує як дійсне число, для кожного\( t \in T \). Нарешті, у безперервному часі\( T = [0, \infty) \), де нам потрібні додаткові припущення, які\( t \mapsto X_t \) є правими безперервними та мають ліві межі, і що фільтрація\( \mathfrak F \) є стандартною (тобто правою безперервною та повною). Нагадаємо також\( \mathscr{F}_\infty = \sigma\left(\bigcup_{t \in T} \mathscr{F}_t\right) \), що, і це\( \sigma \) алгебра, яка кодує нашу інформацію протягом усього часу.

Теореми про збіжність Мартингейла

Якщо\( \bs X \) субмартингейл щодо\( \mathfrak F \) то\( \bs X \) має зростаючу властивість сорту:\( E(X_t \mid \mathscr{F}_s) \ge X_s\) для\( s, \, t \in T \) з\( s \le t \). Аналогічно, якщо\( \bs X \) супер-мартингейл відносно\( \mathfrak F \) то\( \bs X \) має спадну властивість роду, так як остання нерівність зворотна. Таким чином, є надія, що якщо це зростаюче або зменшується властивість поєднується з відповідною властивістю обмеженості, то субмартінгейл або супер-мартінгейл може сходитися, в деякому сенсі, як\( t \to \infty \). Це дійсно так, і є предметом цього розділу. Теореми про конвергенцію мартингала, вперше сформульовані Джозефом Дубом, є одними з найважливіших результатів теорії мартингалів. Перша теорема мартингейла збіжності стверджує, що якщо очікувана абсолютна величина обмежена в часі, то мартингейл процес сходиться з ймовірністю 1.

Припустимо, що\( \bs{X} = \{X_t: t \in T\} \) це суб-мартінгейл або супер-мартінгейл по відношенню до\( \mathfrak{F} = \{\mathscr{F}_t: t \in T\} \) і що\( \E\left(\left|X_t\right|\right) \) обмежується в\( t \in T \). Тоді існує випадкова величина\( X_\infty \), яка вимірюється щодо\( \mathscr{F}_\infty \) такої, що\( \E(\left|X_\infty\right|) \lt \infty \) і\( X_t \to X_\infty \) як\( t \to \infty \) з ймовірністю 1.

Доказ

Доказ простий, використовуючи нерівність, що перетинає вгору. Нехай\( T_t = \{s \in T: s \le t\} \) для\( t \in T \). Для\( a, b \in \R \) з\( a \lt b \), нехай\( U_t(a, b) \) позначимо кількість вгору-перетинів інтервалу\( [a, b] \) по процесу\( \bs X \) на\( T_t \), і нехай\( U_\infty(a, b) \) позначимо кількість вгору-перетинів\( [a, b] \) по\( \bs X \) на\( T \). Нагадаємо, що\( U_t \uparrow U_\infty \) як\( t \to \infty \). Припустимо, що\( \E(|X_t|) \lt c \) за\( t \in T \), де\( c \in (0, \infty) \). За нерівністю, що перетинає,\[ \E[U_t(a, b)] \le \frac{1}{b - a}[|a| + \E(|X_t|)] \le \frac{|a| + c}{b - a}, \quad n \in \N\] За теоремою монотонної збіжності випливає, що\[ \E[U_\infty(a, b)] \lt \frac{|a| + c}{b - a} \lt \infty \] Отже\( \P[U_\infty(a, b) \lt \infty] = 1 \). Тому з ймовірністю 1,\( U_\infty(a, b) \lt \infty \) для кожного\( a, \, b \in \Q \) с\( a \lt b \). За нашою характеристикою збіжності в терміні перетинів вгору випливає, що існує випадкова величина\( X_\infty \) зі значеннями в\( \R^* = \R \cup \{-\infty, \infty\} \) такому, що з ймовірністю 1,\( X_t \to X_\infty \) як\( t \to \infty \). Зверніть увагу,\( X \) що можна виміряти по відношенню до\( \mathscr{F}_\infty \). За лемою Фату,\[ \E(|X_\infty|) \le \liminf_{t \to \infty} \E(|X_t|) \lt \infty \] звідси\( \P(X_\infty \in \R) = 1 \).

Умова обмеженості означає, що\( \bs X \) обмежена (у нормі) як підмножина векторного простору\( \mathscr{L}_1 \). Ось дуже простий, але корисний наслідок:

Якщо\( \bs X = \{X_t: t \in T\} \) невід'ємний супер-мартингейл щодо\( \mathfrak F = \{\mathscr{F}_t: t \in T\} \) то існує випадкова величина\( X_\infty \), вимірна з відношенням до\( \mathscr{F}_\infty \), така, що\( X_t \to X_\infty \) з ймовірністю 1.

Доказ

Так як\( \bs X \) є ненегативним супер-мартинагл,\( \E(|X_t|) = \E(X_t) \le \E(X_0) \) для\( t \in T \). Звідси застосовується попередня теорема про збіжність мартингала.

Звичайно, наслідок відноситься до ненегативного мартингейлу як окремого випадку. Для другої теореми збіжності мартингала вам потрібно буде переглянути рівномірно інтегровні змінні. Нагадаємо також, що for\( k \in [1, \infty) \),\( k \) -норма випадкової величини\( X \) є\[ \|X\|_k = \left[\E\left(|X|^k\right)\right]^{1/k} \] і\( \mathscr{L}_k \) є нормованим векторним простором всіх дійсних випадкових величин, для яких ця норма є кінцевою. Конвергенція в середньому відноситься до конвергенції в\( \mathscr{L}_1 \) і більш загалом, \( k \)конвергенція в середньому відноситься до конвергенції в\( \mathscr{L}_k \).

Припустимо, що\( \bs X \) це рівномірно інтегрується і є суб-мартингейлом або супер-мартингейлом по відношенню до\( \mathfrak F \). Тоді існує випадкова величина\( X_\infty \), вимірна щодо\( \mathscr{F}_\infty \) такої, що\( X_t \to X_\infty \) як\( t \to \infty \) з ймовірністю 1 і в середньому. Більш того, якщо\( \bs X \) це мартингейл по відношенню до\( \mathfrak F \) то\( X_t = \E(X_\infty \mid \mathscr{F}_t) \) для\( t \in T \).

Доказ

Так як\( \bs X = \{X_t: t \in T\} \) є рівномірно\( \E(|X_t|) \) інтегрується, обмежується в\( t \in T \). Звідси за першою теоремою збіжності мартингала існує,\( X_\infty \) що можна виміряти щодо\( \mathscr{F}_\infty \) такого, що\( \E(|X_\infty|) \lt \infty \) і\( X_t \to X_\infty \) як\( t \to \infty \) з ймовірністю 1. За рівномірною теоремою інтегровності збіжність також має на увазі, так що\( \E(|X_t - X|) \to 0 \) як\( t \to \infty \). Припустимо, що тепер\( \bs X \) це мартингейл стосовно\( \mathfrak F \) For фіксований\( s \in T \) ми знаємо, що\( \E(X_t \mid \mathscr{F}_s) \to \E(X_\infty \mid \mathscr{F}_s) \) як\( t \to \infty \) (з ймовірністю 1). Але\( \E(X_t \mid \mathscr{F}_s) = X_s \) для\( t \ge s \) цього випливає, що\( X_s = \E(X_\infty \mid \mathscr{F}_s) \).

Як простий наслідок, нагадайте, що якщо\( \|X_t\|_k \) обмежений\( t \in T \) для деяких,\( k \in (1, \infty) \) то\( \bs X \) є рівномірно інтегровним, і, отже, застосовується друга теорема збіжності мартингала. Але ми можемо зробити краще.

Припустимо, що\( \bs X = \{X_t: t \in T\} \) це суб-мартінгейл або супер-мартінгейл по відношенню до\( \mathfrak F = \{\mathscr{F}_t: t \in T\} \) і що\( \|X_t\|_k \) обмежується\( t \in T \) для деяких\( k \in (1, \infty) \). Тоді існує випадкова величина\( X_\infty \in \mathscr{L}_k \) така, що\( X_t \to X_\infty \) як\( t \to \infty \) в\( \mathscr{L}_k \).

Доказ

Припустимо, що\( \|X_t\|_k \le c \) за\( t \in T \) куди\( c \in (0, \infty) \). З тих пір\( \|X\|_1 \le \|X\|_k \), ми\( \E(|X_t|) \) обмежили в\( t \in T \) тому, що застосовується перша теорема мартингейла збіжності. Звідси існує\( X_\infty \), вимірний щодо\( \mathscr{F}_\infty \), такий, що\( X_t \to X_\infty \) як\( t \to \infty \) з ймовірністю 1. Еквівалентно, з ймовірністю 1,\[ |X_t - X_\infty|^k \to 0 \text{ as } t \to \infty \] Далі, для\( t \in T \), давайте\( T_t = \{s \in T: s \le t\} \)\( W_t = \sup\{|X_s|: s \in T_t\} \) визначити. за нормою версії максимальної нерівності,\[ \|W_t\|_k \le \frac{k}{k-1}\|X_t\| \le \frac{k c}{k - 1}, \quad t \in T \] Якщо ми дозволимо\( W_\infty = \sup\{|X_s|: s \in T\} \), то за теоремою збіжності монтона\[ \|W_\infty\|_k = \lim_{t \to \infty} \|W_t\|_k \le \frac{c k}{k - 1} \] So\( W_\infty \in \mathscr{L}_k \). Але\( |X_\infty| \le W_\infty \) так\( X_\infty \in \mathscr{L}_k \) само. Крім того\( |X_t - X_\infty|^k \le 2^k W^k_\infty \), таким чином, застосовуючи домінуючу теорему збіжності до першого відображеного рівняння вище, ми маємо\( \E(|X_t - X_\infty|^k) \to 0 \) як\( t \to \infty \).

Приклад та програми

У цьому підрозділі розглянуто ряд застосувань теорем мартингейла збіжності. Однією з ознак важливості теорії мартингейла є той факт, що багато класичних теорем ймовірності мають прості та елегантні докази при формулюванні з точки зору мартингалів.

Проста випадкова прогулянка

Припустимо тепер, що\( \bs{V} = \{V_n: n \in \N\} \) це послідовність незалежних випадкових величин з\( \P(V_i = 1) = p \) і\( \P(V_i = -1) = 1 - p \) для\( i \in \N_+ \), де\( p \in (0, 1) \). \( \bs{X} = \{X_n: n \in \N\} \)Дозволяти частковий процес суми, пов'язаний з\( \bs{V} \) таким чином, що\[ X_n = \sum_{i=0}^n V_i, \quad n \in \N \] згадати, що\( \bs{X} \) це проста випадкова прогулянка з параметром\( p \). З нашого вивчення марковських ланцюгів ми знаємо, що\( p \gt \frac{1}{2} \) тоді\( X_n \to \infty \) як\( n \to \infty \) і якщо\( p \lt \frac{1}{2} \) то\( X_n \to -\infty \) як\( n \to \infty \). Ланцюг є перехідною в цих двох випадках. Якщо\( p = \frac{1}{2} \), ланцюг (нульовий) повторюваний і тому відвідує кожен стан\( \N \) нескінченно часто. При цьому\( X_n \) не сходиться як\( n \to \infty \). Але звичайно\( \E(X_n) = n (2 p - 1) \) для\( n \in \N \), тому теореми мартингейла конвергенції не застосовуються.

Мартингейл Дуба

Нагадаємо, що якщо\( X \) випадкова величина з\( \E(|X|) \lt \infty \) і ми визначаємо\( X_t = \E(X \mid \mathscr{F}_t) \) для\( t \in T \), то\( \bs X = \{X_t: t \in T\} \) це мартингейл відносно\( \mathfrak F \) і відомий як мартінгейл Дуб, названий на честь ви знаєте кого. Отже, друга теорема про збіжність мартингала стверджує, що кожен рівномірно інтегровний мартингейл є мартингейлом Дуба. Більше того, ми знаємо, що мартінгейл Дуба,\( \bs X \) побудований з\( X \) і\( \mathfrak F \) є рівномірно інтегровним, тому застосовується друга теорема збіжності мартингала. Останній питання, що залишився - це взаємозв'язок між\( X \) і граничною випадковою величиною\( X_\infty \). Відповідь може прийти як нікого не здивуєш.

Нехай\( \bs X = \{X_t: t \in T\} \) буде мартингейл Дуб, побудований з\( X \) і\( \mathfrak F \). Тоді\( X_t \to X_\infty \) як\( t \to \infty \) з ймовірністю 1 і в середньому, де\[ X_\infty = \E(X \mid \mathscr{F}_\infty) \]

Звичайно якщо\( \mathscr{F}_\infty = \mathscr{F} \), що цілком можливо, то\( X_\infty = X \). На іншій крайності, якщо\( \mathscr{F}_t = \{\emptyset, \Omega\}\), тривіальна\( \sigma \) -алгебра для всіх\( t \in T \), значить\( X_\infty = \E(X) \), константа.

Закон Колмогорова нуль-один

Припустимо, що\( \bs X = (X_n: n \in \N_+) \) це послідовність випадкових величин зі значеннями в загальному просторі стану\( (S, \mathscr{S}) \). Нехай\( \mathscr{G}_n = \sigma\{X_k: k \ge n\} \) за\( n \in \N_+ \), і нехай\( \mathscr{G}_\infty = \bigcap_{n=1}^\infty \mathscr{G}_n \). Так\( \mathscr{G}_\infty \) і хвіст\( \sigma \) -алгебра\( \bs X \), сукупність подій, які залежать тільки від термінів послідовності з довільно великими індексами. Наприклад, якщо послідовність є реальною (або більш загалом приймає значення в метричному просторі), то подія, яка\( X_n \) має межу як,\( n \to \infty \) є хвостовою подією. Якщо\( B \in \mathscr{S} \), то подія, що\( X_n \in B \) для нескінченно багатьох\( n \in \N_+ \) є черговим хвостовим подією. Закон Колмогорова нуль-один, названий на честь Андрія Колмогорова, стверджує, що якщо\( \bs X \) є самостійною послідовністю, то хвостові події по суті детерміновані.

Припустимо, що\( \bs X \) це послідовність незалежних випадкових величин. Якщо\( A \in \mathscr{G}_\infty \) то\( \P(A) = 0 \) або\( \P(A) = 1 \).

Доказ

Нехай\( \mathscr{F}_n = \sigma\{X_k: k \le n\} \)\( n \in \N_+ \) так,\( \mathfrak F = \{\mathscr{F}_n: n \in \N_+\} \) що природна фільтрація пов'язана з\( \bs X \). Як і у випадку з нашими позначеннями вище, нехай\( \mathscr{F}_\infty = \sigma\left(\bigcup_{n \in \N_+} \mathscr{F}_n\right) \). Тепер нехай\( A \in \mathscr{G}_\infty \) буде подія хвоста. Тоді\( \{\E(\bs{1}_A \mid \mathscr{F}_n): n \in \N_+\} \) мартингейл Doob пов'язаний зі змінною індикатора\( \bs{1}_A \) і\( \mathfrak F \). За нашими результатами вище,\( \E(\bs{1}_A \mid \mathscr{F}_n) \to \E(\bs{1}_A \mid \mathscr{F}_\infty) \) як і\( n \to \infty \) з ймовірністю 1. Але\( A \in \mathscr{F}_\infty \) так\( \E(\bs{1}_A \mid \mathscr{F}_\infty) = \bs{1}_A \). З іншого боку,\( A \in \mathscr{G}_{n+1} \) і\( \sigma \) -алгебри\( \mathscr{G}_{n+1} \) і\( \mathscr{F}_n \) є незалежними. Тому\( \E(\bs{1}_A \mid \mathscr{F}_n) = \P(A) \) для кожного\( n \in \N_+ \). Таким чином\( \P(A) = \bs{1}_A \).

Хвостові події та закон Колмогорова нуль-один вивчалися раніше в розділі про міру в розділі про ймовірнісні простори. Випадкова величина, яка вимірюється відносно\( \mathscr{G}_\infty \) є хвостовою випадковою величиною. З закону Колмогорова нуль-один, дійсна хвостова випадкова величина для незалежної послідовності повинна бути постійною (з ймовірністю 1).

процеси розгалуження

Згадаймо обговорення простого процесу розгалуження з Введення. Основне припущення полягає в тому, що частинки діють незалежно, кожна з однаковим розподілом потомства\( \N \). Як і раніше, ми\( f \) дозволимо позначити (дискретну) функцію щільності ймовірності кількості потомства частинки,\( m \) середнє значення розподілу і\( q \) ймовірність зникнення, починаючи з однієї частинки. Ми припускаємо, що\( f(0) \gt 0 \) і\( f(0) + f(1) \lt 1 \) так, що частка має позитивну ймовірність померти без дітей і позитивну ймовірність народження більше 1 дитини.

Стохастичний процес, що представляє інтерес,\( \bs{X} = \{X_n: n \in \N\} \) де\( X_n \) знаходиться кількість частинок у\( n \) формі генерації\( n \in \N \). Нагадаємо, що\( \bs{X} \) це дискретно-часовий ланцюжок Маркова на\( \N \). Оскільки 0 є поглинаючим станом, а всі позитивні стани ведуть до 0, ми знаємо, що позитивні стани є перехідними і тому відвідуються лише скінченно часто з ймовірністю 1. Звідси випливає, що або\( X_n \to 0 \) як\( n \to \infty \) (вимирання)\( X_n \to \infty \), або як\( n \to \infty \) (вибух). Ми маємо досить багато інформації про те, які з цих подій відбудуться з нашого дослідження ланцюгів Маркова, але теореми мартингейла збіжності дають більше інформації.

Вимирання і вибух

1. Якщо\( m \le 1 \) тоді\( q = 1 \) і вимирання точно.
2. Якщо\( m \gt 1 \) тоді\( q \in (0, 1) \). Або\( X_n \to 0 \) як,\( n \to \infty \) або\( X_n \to \infty \) як\( n \to \infty \) за експоненціальною швидкістю.

Доказ

Нова інформація - це швидкість розбіжності до\( \infty \) in (b). Інші твердження взяті з нашого дослідження дискретно-часових розгалужень марковських ланцюгів. Ми показали у Вступі, що\( \{X_n / m^n: n \in \N\} \) є мартингейлом. Оскільки цей мартингейл невід'ємний, він має межу як\( n \to \infty \), а гранична випадкова величина приймає значення\( \R \). Так що якщо\( m \gt 1 \) і\( X_n \to \infty \) як\( n \to \infty \), то розбіжність\( \infty \) повинна бути по суті такою ж швидкістю, як\( m^n. \)

Процес бета-Бернуллі

Нагадаємо, що процес бета-Бернуллі будується шляхом рандомізації параметра успіху в процесі випробувань Бернуллі з бета-розподілом. Зокрема, ми починаємо з випадкової величини,\( P \) що має бета-розподіл з параметрами\( a, \, b \in (0, \infty) \). Далі ми маємо послідовність\( \bs X = (X_1, X_2, \ldots) \) змінних індикатора з властивістю, яка\( \bs X \) є умовно незалежною, заданою\( \P(X_i = 1 \mid P = p) = p \) за\( P = p \in (0, 1) \) допомогою for\( i \in \N_+ \). Нехай\( \bs{Y} = \{Y_n: n \in \N\} \) позначимо часткову суму процесу, пов'язаного з\( \bs{X} \), так що ще раз,\( Y_n = \sum_{i=1}^n X_i\) для\(n \in \N \). Далі нехай\( M_n = Y_n / n \) для\( n \in \N_+ \) так, що\( M_n \) є зразком середнє значення\( (X_1, X_2, \ldots, X_n) \). Нарешті, нехай\[ Z_n = \frac{a + Y_n}{a + b + n}, \quad n \in \N\] Ми показали у Вступі, що\( \bs Z = \{Z_n: n \in \N\} \) є мартингейлом стосовно\( \bs X \).

\( M_n \to P \)і\( Z_n \to P \) як\( n \to \infty \) з ймовірністю 1 і в середньому.

Доказ

Ми показали в розділі про процес бета-Бернуллі, що\( Z_n \to P \) як і\( n \to \infty \) з ймовірністю 1. Зверніть увагу\( n \in \N \), що\( 0 \le Z_n \le 1 \) для, так мартингейл рівномірно\( \bs Z \) інтегрується. Звідси застосовується друга теорема про збіжність мартингала, і збіжність також є середнім.

Це дуже приємний результат і нагадує той факт, що для звичайної послідовності випробувань Бернуллі з параметром успіху\( p \in (0, 1) \) ми маємо закон великих чисел, який\( M_n \to p \) як\( n \to \infty \) з ймовірністю 1, так і в середньому.

Процес урни Полі

Нагадаємо, що в найпростішому варіанті процесу урни Полі ми починаємо з урни, що містить\( a \) червоні та\( b \) зелені кульки. На кожному дискретному часовому кроці вибираємо навмання кульку з урни, а потім замінюємо кульку і додаємо в урну\( c \) нові кульки такого ж кольору. Для параметрів нам знадобляться\( a, \, b \in \N_+ \) і\( c \in \N \). Бо\( i \in \N_+ \), давайте\( X_i \) позначимо колір кульки,\( i \) обраної на розіграші, де 1 означає червоний, а 0 означає зелений. Для\( n \in \N \), нехай\( Y_n = \sum_{i=1}^n X_i \), так\( \bs Y = \{Y_n: n \in \N\} \) що частковий процес суми пов'язаний з\( \bs X = \{X_i: i \in \N_+\} \). \( Y_n \)Оскільки кількість червоних кульок в урні за часом\( n \in \N_+ \), то середня кількість кульок на час\( n \) становить\( M_n = Y_n / n \). З іншого боку, загальна кількість куль у урні на час\( n \in \N \)\( a + b + c n \) так пропорція червоних кульок в урні на час\( n \)\[ Z_n = \frac{a + c Y_n}{a + b + c n} \] Ми показали у Вступі,\( \bs Z = \{Z_n: n \in \N\} \) тобто мартингейл. Зараз нас цікавить обмежуюча поведінка\( M_n \) і\( Z_n \) як\( n \to \infty \). Коли\( c = 0 \), відповідь проста. При цьому\( Y_n \) має біноміальний розподіл з пробним параметром\( n \) і параметром успіху\( a / (a + b) \), тому за законом великих чисел,\( M_n \to a / (a + b) \) як\( n \to \infty \) з ймовірністю 1 і в середньому. З іншого боку,\( Z_n = a / (a + b) \) коли\( c = 0 \). Так що цікавий випадок - коли\( c \gt 0 \).

Припустимо, що\( c \in \N_+ \). Тоді існує випадкова величина\( P \) така, що\( M_n \to P \) і\( Z_n \to P \) як\( n \to \infty \) з ймовірністю 1 і в середньому. Крім того,\( P \) має бета-дистрибутив з лівим параметром\( a / c \) і правим параметром\( b / c \).

Доказ

У нашому дослідженні процесу урни Пойли ми показали, що коли\( c \in \N_+ \) процес\( \bs X \) є процесом бета-Бернуллі з параметрами\( a / c \) і\( b / c \). Отже, результат випливає з нашої попередньої теореми.

Тести на коефіцієнт ймовірності

Нагадаємо, обговорення тестів на коефіцієнт правдоподібності у Вступі. Для огляду, припустимо, що\( (S, \mathscr{S}, \mu) \) це загальний вимір простору, і\( \bs{X} = \{X_n: n \in \N\} \) це послідовність незалежних, однаково розподілених випадкових величин, що приймають значення в\( S \), і мають загальну функцію щільності ймовірності щодо\( \mu \). Тест на коефіцієнт ймовірності - це тест гіпотези, де нульова та альтернативна гіпотези

• \( H_0 \): функція щільності ймовірності є\( g_0 \).
• \( H_1 \): функція щільності ймовірності є\( g_1 \).

Ми припускаємо, що\( g_0 \) і\( g_1 \) є позитивними на\( S \). Крім того, немає сенсу для\( g_0 \) і\( g_1 \) бути однаковим, тому ми припускаємо, що\( g_0 \ne g_1 \) на сукупності позитивної міри. Тест заснований на статистиці тесту коефіцієнта ймовірності\[ L_n = \prod_{i=1}^n \frac{g_0(X_i)}{g_1(X_i)}, \quad n \in \N \] Ми показали, що за альтернативною гіпотезою\( H_1 \),\( \bs{L} = \{L_n: n \in \N\} \) є мартингейл щодо\( \bs{X} \), відомий як коефіцієнт правдоподібності мартингейла.

Під\( H_1 \),\( L_n \to 0 \) як\( n \to \infty \) з ймовірністю 1.

Доказ

Припустимо, що\( H_1 \) це правда. \( \bs L \)є невід'ємним мартингейлом, тому застосовується перша теорема збіжності мартингала, і, отже, існує випадкова величина\( L_\infty \) зі значеннями в\( [0, \infty) \) таких, що\( L_n \to L_\infty \) як\( n \to \infty \) з ймовірністю 1. Далі зверніть увагу, що\[ \ln(L_n) = \sum_{i=1}^n \ln\left[\frac{g_0(X_i)}{g_1(X_i)}\right] \]\( i \in \N_+ \) Змінні\( \ln[g_0(X_i) / g_1(X_i)] \) for також є незалежними і однаково розподіленими, тому давайте\( m \) позначимо загальне середнє значення. Природний логарифм увігнутий і мартингейл\( \bs L \) має на увазі 1, так по нерівності Дженсена,\[ m = \E\left(\ln\left[\frac{g_0(X)}{g_1(X)}\right]\right) \lt \ln\left(\E\left[\frac{g_0(X)}{g_1(X)}\right]\right) = \ln(1) = 0 \] Отже\( m \in [-\infty, 0) \). За сильним законом великих чисел,\( \frac{1}{n} \ln(L_n) \to m \) як і\( n \to \infty \) при ймовірності 1. Отже, ми повинні мати\( \ln(L_n) \to -\infty \) як\( n \to \infty \) з ймовірністю 1. Але по безперервності,\( \ln(L_n) \to \ln(L_\infty) \) як\( n \to \infty \) з ймовірністю 1, так\( L_\infty = 0 \) з ймовірністю 1.

Цей результат є хорошою новиною, статистично кажучи. Невеликі значення\( L_n \) є доказом на користь\( H_1 \), тому правило рішення полягає\( H_0 \) в відхиленні на користь\( H_1 \) якщо\( L_n \le l \) для обраного критичного значення\( l \in (0, \infty) \). Якщо\( H_1 \) це правда, а розмір вибірки\( n \) досить великий, ми відхилимо\( H_0 \). У доказі зверніть увагу, що\( \ln(L_n) \) повинні розходитися\( -\infty \) принаймні так швидко, як\( n \) розходиться\( \infty \). Отже\( L_n \to 0 \), як\( n \to \infty \) експоненціально швидко, принаймні. Також варто відзначити, що\( \bs L \) це середнє значення 1 мартингейл (під\( H_1 \)) настільки тривіально,\( n \to \infty \) ніби\( \E(L_n) \to 1 \)\( L_n \to 0 \) як і\( n \to \infty \) з ймовірністю 1. Отже, коефіцієнт правдоподібності мартингейл є хорошим прикладом послідовності, де обмін граничного та очікуваного значення не є дійсним.

Часткові продукти

Припустимо, що\( \bs X = \{X_n: n \in \N_+\} \) це незалежна послідовність невід'ємних випадкових величин з\( \E(X_n) = 1 \) for\( n \in \N_+ \). Нехай\[Y_n = \prod_{i=1}^n X_i, \quad n \in \N\] так,\( \bs Y = \{Y_n: n \in \N\} \) що частковий процес продукту пов'язаний з\( \bs X \). З нашого обговорення цього процесу у Вступі ми знаємо, що\( \bs Y \) це мартингейл стосовно\( \bs X \). Оскільки\( \bs Y \) є невід'ємним, застосовується друга теорема збіжності мартингала, тому існує випадкова величина,\( Y_\infty \) така\( Y_n \to Y_\infty \) як\( n \to \infty \) з ймовірністю 1. Що ще ми можемо сказати? Наступний результат, відомий як теорема мартингале продукту Какутані, обумовлений Сідзуо Какутані.

Нехай\( a_n = \E\left(\sqrt{X_n}\right) \)\( n \in \N_+ \) і нехай\( A = \prod_{i=1}^\infty a_i \).

1. Якщо\( A \gt 0 \) то\( Y_n \to Y_\infty \) як\( n \to \infty \) на увазі і\( \E(Y_\infty) = 1 \).
2. Якщо\( A = 0 \) то\( Y_\infty = 0 \) з ймовірністю 1.

Доказ

Зверніть увагу, що\( a_n \gt 0 \) для\( n \in \N_+ \) since\( X_n \) є невід'ємним і\( \P(X_n \gt 0) \gt 0 \). Крім того,\( x \mapsto \sqrt{x} \) оскільки увігнута на\( (0, \infty) \) ньому випливає з нерівності Дженсена, що\[ a_n = \E\left(\sqrt{X_n}\right) \le \sqrt{\E(X_n)} = 1 \] нехай\( A_n = \prod_{i=1}^n a_i \) для\( n \in \N \). Оскільки\( a_n \in (0, 1] \) для\( n \in \N_+ \), випливає, що\( A_n \in (0, 1] \) для\( n \in \N \) і що\( A_n \) зменшується в\( n \in \N \) з лімітом\( A = \prod_{i=1}^\infty a_i \in [0, 1] \). Далі нехай\(Z_n = \prod_{i=1}^n \sqrt{X_i} / a_i\) для\( n \in \N \), так\( \bs Z = \{Z_n: n \in \N\} \) що частковий процес продукту пов'язаний з\( \{\sqrt{X_n} / a_n: n \in \N\} \). Оскільки\( \E\left(\sqrt{X_n} / a_n\right) = 1 \) для\( n \in \N_+ \), процес також\( \bs Z \) є невід'ємним мартингейлом, тому існує випадкова величина\( Z_\infty \) така, що\( Z_n \to Z_\infty \) як\( n \to \infty \) з ймовірністю 1. Зверніть увагу\( Z_n^2 = Y_n / A_n^2 \), що\( Y_n = A_n^2 Z_n^2 \), і\( Y_n \le Z_n^2 \) для\( n \in \N \).

1. Припустимо, що\( A \gt 0 \). Оскільки мартингейл\( \bs Y \) має середнє значення 1,\[ \E\left(Z_n^2\right) = \E(Y_n / A_n^2) = 1 / A_n^2 \le 1 / A^2 \lt \infty, \quad n \in \N \] Нехай\( W_n = \max\{Z_k: k \in \{0, 1, \ldots, n\}\} \)\( n \in \N \) так, що\( \bs W = \{W_n: n \in \N\} \) це максимальний процес, пов'язаний з\( \bs Z \). Також, давайте\( W_\infty = \sup\{Z_k: k \in \N\} \) і відмітимо, що\( W_n \uparrow W_\infty \) як\( n \to \infty \). За\( \mathscr{L}_2 \) максимальною нерівністю,\[ \E(W_n^2) \le 4 \E(Z_n^2) \le 4 / A^2, \quad n \in \N \] За теоремою монотонної збіжності,\( \E(W_\infty^2) = \lim_{n \to \infty} \E(W_n^2) \le 4 / A^2 \). Так як\( x \to x^2 \) строго збільшується на\( [0, \infty) \),\( W_\infty^2 = \sup\{Z_n^2: n \in \N\} \) і так\( Y_n \le W_\infty^2 \) для\( n \in \N \). Так як\( \E(W_\infty^2) \lt \infty \), випливає, що мартингейл рівномірно\( \bs Y \) інтегрується. Отже, за третьою теоремою збіжності мартингала вище,\( Y_n \to Y_\infty \) є середнім. Оскільки конвергенція на увазі означає, що кошти сходяться,\( \E(Y_\infty) = \lim_{n \to \infty} \E(Y_n) = 1 \).
2. Припустимо, що\( A = 0 \). Тоді\( Y_n = A_n^2 Z_n^2 \to 0 \cdot Z_\infty^2 = 0\) як\( n \to \infty \) з ймовірністю 1. Відзначимо, що в даному випадку конвергенція відбувається не на увазі, а банально\( \E(Y_\infty) = 0 \).

Функції щільності

Ця дискусія продовжує дискусію про функції щільності у Вступі. Для перегляду ми починаємо з нашого ймовірнісного простору\( (\Omega, \mathscr{F}, \P) \) та фільтрації\( \mathfrak F = \{\mathscr{F}_n: n \in \N\} \) в дискретному часі. Згадаймо ще раз про це\( \mathscr{F}_\infty = \sigma \left(\bigcup_{n=0}^\infty \mathscr{F}_n\right) \). Припустимо, що тепер\( \mu \) це кінцева міра на просторі вибірки\( (\Omega, \mathscr{F}) \). Для кожного\( n \in \N \cup \{\infty\} \) обмеження\( \mu \) до\( \mathscr{F}_n \) є мірою на\( (\Omega, \mathscr{F}_n) \) і аналогічно обмеження\( \P \) до\( \mathscr{F}_n \) є мірою ймовірності на\( (\Omega, \mathscr{F}_n) \). Щоб зберегти позначення та термінологію, ми будемо посилатися \( \P \)на них як\( \mu \) і\(\mathscr{F}_n\) далі відповідно. Припустимо, що тепер\( \mu \) це абсолютно безперервно по відношенню до\( \P \) на\(\mathscr{F}_n\) для кожного\( n \in \N \). За теоремою Радона-Нікодима\( \mu \) має функцію щільності (або похідну Радона-Нікодима)\( X_n: \Omega \to \R \) щодо\( \P \) on\( \mathscr{F}_n \) для кожного\( n \in \N \). Теорема і похідна названі по імені Йоганна Радона і Отто Нікодима. У Вступі ми показали, що\( \bs X = \{X_n: n \in \N\} \) це мартингейл стосовно\( \mathfrak F\). Ось результат збіжності:

Існує випадкова величина\( X_\infty \) така, що\( X_n \to X_\infty \) як\( n \to \infty \) з ймовірністю 1.

1. Якщо\( \mu \) є абсолютно безперервним по відношенню до\( \P \) на\( \mathscr{F}_\infty \) то\( X_\infty \) є функція щільності щодо\( \P \) на\(\mathscr{F}_\infty\).\( \mu\)
2. Якщо\( \mu \) і\( \P \) взаємно однини на\( \mathscr{F}_\infty \) то\( X_\infty = 0 \) з ймовірністю 1.

Доказ

Знову ж таки, як показано у Вступі,\( \bs X \) є мартингейлом стосовно\( \mathfrak F \). Причому\( \E(|X_n|) = \|\mu\| \) (загальна варіація\( \mu \)) для кожного\( n \in \N \). Оскільки\( \mu \) є кінцевою мірою,\( \|\mu\| \lt \infty \) тому застосовується перша теорема збіжності мартингала. Звідси існує випадкова величина\( X_\infty \), вимірювана по відношенню до\( \mathscr{F}_\infty \), такі, що\( X_n \to X_\infty \) як\( n \to \infty \).

1. Якщо\( \mu \) абсолютно безперервний по відношенню до\( \P \) включення\( \mathscr{F}_\infty \), то\( \mu \) має функцію\( Y_\infty \) щільності щодо\( \P \) включення\( \mathscr{F}_\infty \). Наша мета - показати, що\( X_\infty = Y_\infty \) з ймовірністю 1. За визначенням,\( Y_\infty \) вимірюється стосовно\( \mathscr{F}_\infty \) і\[ \int_A Y_\infty d\P = \E(Y_\infty; A) = \mu(A), \quad A \in \mathscr{F}_\infty \] припустимо тепер, що\( n \in \N \) і\( A \in \mathscr{F}_n \). Потім знову за визначенням,\( \E(X_n; A) = \mu(A)\). Але\( A \in \mathscr{F}_\infty \) також, так\( \E(Y_\infty; A) = \mu(A) \). Отже, підсумовуючи,\( X_n \) є\( \mathscr{F}_n \) -вимірюваним і\( E(X_n: A) = \E(Y_\infty; A) \) для кожного\( A \in \mathscr{F}_n \). За визначенням, це означає\( X_n = \E(Y_\infty \mid \mathscr{F}_n) \), що,\( \bs X \) так і мартингейл Дуб пов'язаний з\( Y_\infty \). Впускати\( n \to \infty \) і використовувати результат вище дає\( X_\infty = \E(Y_\infty \mid \mathscr{F}_\infty) = Y_\infty \) (з ймовірністю 1, звичайно).
2. Припустимо,\( \P \) що\( \mu \) і взаємно однини на\( \mathscr{F}_\infty \). Припустімо спочатку, що\( \mu \) це позитивна міра, так що\( X_n \) це ненегативний для\( n \in \N \cup \{\infty\}\). За визначенням взаємної сингулярності існує\( B \in \mathscr{F}_\infty \) таке, що\( \mu_\infty(B) = 0 \) і\( \P_\infty(B^c) = 0 \), так що\( \P(B) = 1 \). Наша мета - показати, що\( \E(X_\infty; A) \le \mu(A) \) для кожного\( A \in \mathscr{F}_\infty \). З цією метою, нехай\[ \mathscr{M} = \left\{A \in \mathscr{F}_\infty: \E(X_\infty ; A) \le \mu(A)\right\} \] припустимо\( A \in \bigcup_{k=0}^\infty \mathscr{F}_k \), що, так що\( A \in \mathscr{F}_k \) для деяких\( k \in \N \). Тоді\( A \in \mathscr{F}_n \) для всіх\( n \ge k \) і тому\( \E(X_n; A) = \mu(A) \) для всіх\( n \ge k \). За лемами Фату,\[ \E(X_\infty; A) \le \liminf_{n \to \infty} \E(X_n; A) \le \mu(A) \] так\( A \in \mathscr{M} \). Далі, припустимо, що\( \{A_n: n \in \N\} \) це зростаюча або зменшується послідовність в\( \mathscr{M} \), і нехай\( A_\infty = \lim_{n \to \infty} A_n \) (об'єднання в першому випадку і перетин у другому випадку). Потім\( \E(X_\infty; A_n) \le \mu(A_n) \) для кожного\( n \in \N \). За теоремами безперервності,\( \E(X_\infty; A_n) \to \E(X_\infty; A_\infty) \) а\( \mu(A_n) \to \mu(A_\infty) \) також\( n \to \infty \). Тому\( \E(X_\infty; A_\infty) \le \mu(A_\infty) \) і так\( A_\infty \in \mathscr{M} \). Звідси випливає, що\( \mathscr{M} \) це одноманітний клас. Оскільки\( \mathscr{M} \) містить алгебру\( \bigcup_{n=0}^\infty \mathscr{F}_n \), то з монотонної класової теореми випливає, що\( \mathscr{F}_\infty \subseteq \mathscr{M} \). Зокрема\( B \in \mathscr{M} \), так\( \E(X_\infty) = \E(X_\infty; B) \le \mu(B) = 0 \) і тому\( X_\infty = 0 \) з ймовірністю 1. Якщо\( \mu \) є загальною кінцевою мірою, то за теоремою розкладання Йордана\( \mu \) може бути записана однозначно у вигляді,\( \mu = \mu^+ - \mu^- \) де\( \mu^+ \) і\( \mu^- \) є кінцевими позитивними мірами. Крім того,\( X_n^+ \) є функція щільності\( \mu^+ \) на\(\mathscr{F}_n\) і\( X_n^- \) є функцією щільності\( \mu^- \) на\( \mathscr{F}_n \). До першої частини доказу,,\( X^+ = 0 \)\( X^- = 0 \), а також\( X = 0 \), все з ймовірністю 1.

Мартингейл підхід може бути використаний для отримання ймовірнісного доказу теореми Радона-Нікодима, принаймні в певних випадках. Починаємо з набору зразків\( \Omega \). Припустимо, що\( \mathscr{A}_n = \{A^n_i: i \in I_n\} \) це лічильний розділ\( \Omega \) для кожного\( n \in \N \). Таким чином,\( I_n \) підраховується,\( A^n_i \cap A^n_j = \emptyset \) для виразних\( i, \, j \in I_n \), і\( \bigcup_{i \in I_n} A^n_i = \Omega \). Припустимо також, що\( \mathscr{A}_{n+1} \) уточнює\( \mathscr{A}_n \) для кожного\( n \in \N \) в тому сенсі, що\( A^n_i \) є об'єднанням наборів в\( \mathscr{A}_{n+1} \) для кожного\( i \in I_n \). Нехай\( \mathscr{F}_n = \sigma(\mathscr{A}_n) \). Таким чином,\( \mathscr{F}_n \) генерується рахунковим розділом, і тому набори в\( \mathscr{F}_n \) мають форму\( \bigcup_{j \in J} A^n_j \) де\( J \subseteq I_n \). Більш того, за доопрацюванням властивість\( \mathscr{F}_n \subseteq \mathscr{F}_{n+1} \) для\( n \in \N \), так що\( \mathfrak F = \{\mathscr{F}_n: n \in \N\} \) відбувається фільтрація. Нехай\( \mathscr{F} = \mathscr{F}_\infty = \sigma\left(\bigcup_{n=0}^\infty \mathscr{F}_n\right) = \sigma\left(\bigcup_{n=0}^\infty \mathscr{A}_n\right) \), так що наш зразок простір\( (\Omega, \mathscr{F}) \). Нарешті, припустимо, що\( \P \) це показник ймовірності на\( (\Omega, \mathscr{F}) \) з властивістю, що\( \P(A^n_i) \gt 0 \) для\( n \in \N \) і\( i \in I_n \). Тепер у нас є простір ймовірності\( (\Omega, \mathscr{F}, \P) \). Цікаві простори ймовірності, які трапляються в додатках, мають таку форму, тому настройка не настільки спеціалізована, як ви могли б подумати.

Припустимо, тепер\( \mu \), що кінцева міра на\( (\Omega, \mathscr{F}) \). З наших припущень, єдиним нульовим набором для\( \P \) on\(\mathscr{F}_n\)\( \mu \) є\( \emptyset \), тому автоматично абсолютно безперервно по відношенню до\( \P \) на\( \mathscr{F}_n \). Більш того\( n \in \N \), для, ми можемо дати функцію щільності щодо\( \P \) на\(\mathscr{F}_n\) явно:\( \mu \)

Функція щільності\( \mu \) щодо\( \P \) on\( \mathscr F_n \) - це випадкова величина\( X_n \), значення якої on\( A^n_i \) є\(\mu(A^n_i)/ \P(A^n_i) \) для кожного\( i \in I_n \). Рівнозначно,\[ X_n = \sum_{i \in I_n} \frac{\mu(A^n_i)}{\P(A^n_i)} \bs{1}(A^n_i) \]

Доказ

Нам потрібно показати, що\( \mu(A) = \E(X_n; A) \) для кожного\( A \in \mathscr F_n \). Так що припустимо\( A = \bigcup_{j \in J} A^n_j \), де\( J \subseteq I_n \). Тоді\[ \E(X_n; A) = \sum_{j \in J} \E(X_n; A^n_j) = \sum_{j \in J} \frac{\mu(A^n_j)}{\P(A^n_j)} \P(A^n_j) = \sum_{j \in J} \mu(A^n_j) = \mu(A)\]

За нашою теоремою вище існує випадкова величина\( X \) така, що\( X_n \to X \) як\( n \to \infty \) з ймовірністю 1. Якщо\( \mu \) абсолютно безперервний по відношенню до\( \P \) на\( \mathscr{F} \), то\( X \) є функція щільності по відношенню до\( \P \) на\(\mathscr{F}\).\( \mu \) Справа в тому, що ми дали більш-менш явну конструкцію щільності.

Для конкретного прикладу розглянемо\( \Omega = [0, 1) \). Для\( n \in \N \), нехай\[ \mathscr{A}_n = \left\{\left[\frac{j}{2^n}, \frac{j + 1}{2^n}\right): j \in \{0, 1, \ldots, 2^n - 1\}\right\} \] Це поділ на\( 2^n \) підінтервали однакової довжини\( 1/2^n \), на основі діадичних раціональних (або двійкових раціоналів) рангу\( n \) або менше.\( [0, 1) \) Зверніть увагу, що кожен інтервал в\( \mathscr{A}_n \) є об'єднанням двох сусідніх інтервалів в\( \mathscr{A}_{n+1} \), тому властивість уточнення має. Нехай\( \P \) буде звичайний Лебег міряти на\( [0, 1) \) так, що\( \P(A^n_i) = 1 / 2^n \) для\( n \in \N \) і\( i \in \{0, 1, \ldots, 2^n - 1\} \). Як вище, нехай\( \mathscr{F}_n = \sigma(\mathscr{A}_n) \) і\( \mathscr{F} = \sigma\left(\bigcup_{n=0}^\infty \mathscr{F}_n\right) = \sigma\left(\bigcup_{n=0}^\infty \mathscr{A}_n\right) \). Діадичні раціональні щільні в\( [0, 1) \),\( \mathscr{F} \) так і звичайна Борель\( \sigma \) -алгебра на\( [0, 1) \). Таким чином, наш простір\( (\Omega, \mathscr{F}, \P) \) ймовірностей просто\( [0, 1) \) зі звичайними евклідовими структурами. Якщо\( \mu \) є кінцевою мірою,\( ([0, 1), \mathscr{F}) \) то функція щільності\( \mu \) on\( \mathscr{F}_n \) є випадковою величиною, значення\( X_n \) якої на інтервалі\( [j / 2^n, (j + 1) / 2^n) \) дорівнює\(2^n \mu[j / 2^n, (j + 1) / 2^n) \). Якщо\( \mu \) є абсолютно безперервним по відношенню до\( \P \) on\( \mathscr{F} \) (так абсолютно безперервно в звичному розумінні), то функція щільності\( \mu \) є\( X = \lim_{n \to \infty} X_n \).