2.6: Конвергенція

\(\renewcommand{\P}{\mathbb{P}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Q}{\mathbb{Q}}\)\(\newcommand{\bs}{\boldsymbol}\)

Це перший з декількох розділів у цій главі, які є більш просунутими, ніж основні теми в перших п'яти розділах. У цьому розділі ми обговорюємо кілька тем, пов'язаних з збіжністю подій та випадкових величин, предметом фундаментального значення в теорії ймовірностей. Зокрема, результати, які ми отримуємо, будуть важливими для:

• Властивості функцій розподілу,
• Слабкий закон великих чисел,
• Сильний закон великих чисел.

Як завжди, нашою відправною точкою є випадковий експеримент, змодельований простором ймовірностей\( (\Omega, \mathscr{F}, \P) \). Отже, щоб переглянути,\( \Omega \) це сукупність результатів,\( \mathscr F \)\( \sigma \) -алгебра подій та міра\( \P \) ймовірності на вибірковому просторі\( (\Omega, \mathscr F) \).

Основна теорія

Послідовності подій

Наша перша дискусія стосується послідовностей подій та різних типів обмежень таких послідовностей. Ліміти також є подією. Почнемо з двох простих визначень.

Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність подій.

1. Послідовність збільшується, якщо\( A_n \subseteq A_{n+1} \) для кожного\( n \in \N_+ \).
2. Послідовність зменшується, якщо\( A_{n+1} \subseteq A_n \) для кожного\( n \in \N_+ \).

Зауважимо, що це стандартні визначення збільшення та зменшення, щодо звичайного загального порядку\( \le \) на множині індексу\( \N_+ \) та часткового порядку\( \subseteq \) підмножини на колекцію подій. Термінологія також обґрунтована відповідними змінними індикатора.

Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність подій, і нехай\(I_n = \bs 1_{A_n}\) позначимо індикаторну змінну події\(A_n\) for\(n \in \N_+\).

1. Послідовність подій збільшується тоді і тільки тоді, коли послідовність змінних індикатора збільшується в звичайному розумінні. Тобто\(I_n \le I_{n+1}\) для кожного\(n \in \N_+\).
2. Послідовність подій зменшується тоді і тільки тоді, коли послідовність змінних індикатора зменшується в звичайному розумінні. Тобто\(I_{n+1} \le I_n\) для кожного\(n \in \ _+\).

Доказ

Малюнок\(\PageIndex{1}\): Послідовність наростаючих подій і їх об'єднання

Малюнок\(\PageIndex{2}\): Послідовність спадних подій та їх перетин

Якщо послідовність подій або збільшується, або зменшується, ми можемо визначити межу послідовності таким чином, що виявляється цілком природним.

Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність подій.

1. Якщо послідовність збільшується, визначаємо\( \lim_{n \to \infty} A_n = \bigcup_{n=1}^\infty A_n \).
2. Якщо послідовність зменшується, визначаємо\( \lim_{n \to \infty} A_n = \bigcap_{n=1}^\infty A_n \).

Ще раз термінологія уточнюється відповідними змінними індикатора.

Припустимо ще раз, що\( (A_1, A_2, \ldots) \) є послідовністю подій, і нехай\(I_n = \bs 1_{A_n}\) позначимо індикаторну змінну\(A_n\) for\(n \in \N_+\).

1. Якщо послідовність подій збільшується, то\( \lim_{n \to \infty} I_n \) є індикаторною змінною\( \bigcup_{n = 1}^\infty A_n \)
2. Якщо послідовність подій зменшується, то\( \lim_{n \to \infty} I_n \) є індикаторною змінною\( \bigcap_{n = 1}^\infty A_n \)

Доказ

1. Якщо\( s \in \bigcup_{n=1}^\infty A_n\) то\( s \in A_k \) для деяких\( k \in \N_+ \). Так як події збільшуються,\( s \in A_n \) для кожного\( n \ge k \). При цьому\( I_n(s) = 1 \) для кожного\( n \ge k \) і значить\( \lim_{n \to \infty} I_n(s) = 1 \). З іншого боку, якщо\( s \notin \bigcup_{n=1}^\infty A_n \) то\( s \notin A_n \) для кожного\( n \in \N_+ \). При цьому\( I_n(s) = 0\) для кожного\( n \in \N_+ \) і значить\( \lim_{n \to \infty} I_n(s) = 0 \).
2. Якщо\( s \in \bigcap_{n=1}^\infty A_n \) то\( s \in A_n \) для кожного\( n \in \N_+ \). При цьому\( I_n(s) = 1 \) для кожного\( n \in \N_+ \) і значить\( \lim_{n \to \infty} I_n(s) = 1 \). Якщо\( s \notin \bigcap_{n=1}^\infty A_n\) то\( s \notin A_k \) для деяких\( k \in \N_+ \). Оскільки події зменшуються,\( s \notin A_n \) для всіх\( n \ge k \). У цьому випадку\( I_n(s) = 0 \) за\( n \ge k \) і значить\( \lim_{n \to \infty} I_n(s) = 0 \).

Довільне об'єднання подій завжди можна записати як об'єднання зростаючих подій, а довільне перетин подій завжди можна записати як перетин спадних подій:

Припустимо, що\((A_1, A_2, \ldots)\) це послідовність подій. Тоді

1. \(\bigcup_{i = 1}^ n A_i\)збільшується в\(n \in \N_+\) і\(\bigcup_{i = 1}^\infty A_i = \lim_{n \to \infty} \bigcup_{i = 1}^n A_i\).
2. \(\bigcap_{i=1}^n A_i\)зменшується в\(n \in \N_+\) і\(\bigcap_{i=1}^\infty A_i = \lim_{n \to \infty} \bigcap_{i=1}^n A_i\).

Доказ

1. Тривіально\( \bigcup_{i=1}^n A_i \subseteq \bigcup_{i=1}^{n+1} A_i \). Друге твердження просто означає, що\( \bigcup_{n=1}^\infty \bigcup_{i = 1}^n A_i = \bigcup_{i=1}^\infty A_i\).
2. Тривіально\( \bigcap_{i=1}^{n+1} A_i \subseteq \bigcap_{i=1}^n A_i \). Друге твердження просто означає, що\( \bigcap_{n=1}^\infty \bigcap_{i=1}^n A_i = \bigcap_{i=1}^\infty A_i \).

Існує більш цікавий і корисний спосіб генерувати зростаючі та зменшуються послідовності з довільної послідовності подій, використовуючи хвостовий сегмент послідовності, а не початковий сегмент.

Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність подій. Тоді

1. \(\bigcup_{i=n}^\infty A_i\)зменшується в\(n \in \N_+\).
2. \(\bigcap_{i=n}^\infty A_i\)збільшується в\(n \in \N_+\).

Доказ

1. Чітко\(\bigcup_{i=n+1}^\infty A_i \subseteq \bigcup_{i=n}^\infty A_i\)
2. Чітко\(\bigcap_{i=n}^\infty A_i \subseteq \bigcap_{i=n+1}^\infty A_i\)

Оскільки нові послідовності, визначені в попередніх результатах, зменшуються і збільшуються, відповідно, ми можемо прийняти їх межі. Це граничні вищі та ліміт, що поступаються, відповідно, вихідної послідовності.

Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність подій. Визначте

1. \( \limsup_{n \to \infty} A_n = \lim_{n \to \infty} \bigcup_{i=n}^\infty A_i = \bigcap_{n=1}^\infty \bigcup_{i=n}^\infty A_i \). Це подія, яка відбувається, якщо тільки якщо\( A_n \) відбувається для нескінченно багатьох значень\( n \).
2. \( \liminf_{n \to \infty} A_n = \lim_{n \to \infty} \bigcap_{i=n}^\infty A_i = \bigcup_{n=1}^\infty \bigcap_{i=n}^\infty A_i \). Це подія, яка відбувається, якщо тільки якщо\( A_n \) відбувається для всіх, але скінченно багато значень\( n \).

Доказ

1. З визначення подія\( \limsup_{n \to \infty} A_n \) відбувається тоді і тільки тоді, коли для кожного\( n \in \N_+ \) існує\( i \ge n \) таке, що\( A_i \) відбувається.
2. З визначення подія\( \liminf_{n \to \infty} A_n \) відбувається тоді і тільки тоді, коли існує\( n \in \N_+ \) таке, що\( A_i \) відбувається для кожного\( i \ge n \).

Ще раз термінологія і позначення уточнюються відповідними змінними індикатора. Можливо, вам доведеться переглянути ліміт нижчих та верхніх для послідовностей дійсних чисел у розділі Часткові замовлення.

Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність подій, і et\(I_n = \bs 1_{A_n}\) позначають змінну індикатора\(A_n\) for\(n \in \N_+\). Тоді

1. \(\limsup_{n \to \infty} I_n \)є змінною індикатора\(\limsup_{n \to \infty} A_n\).
2. \(\liminf_{n \to \infty} I_n \)є змінною індикатора\(\liminf_{n \to \infty} A_n\).

Доказ

1. За результатом вище,\( \lim_{n \to \infty} \bs 1\left(\bigcup_{i=n}^\infty A_i\right) \) є індикаторною змінною\( \limsup_{n \to \infty} A_n \). Але\(\bs 1\left(\bigcup_{i=n}^\infty A_i\right) = \max\{I_i: i \ge n\}\) і значить\( \lim_{n \to \infty} \bs 1\left(\bigcup_{i=n}^\infty A_i\right) = \limsup_{n \to \infty} I_n \).
2. За результатом вище,\( \lim_{n \to \infty} \bs 1\left(\bigcap_{i=n}^\infty A_i\right) \) є індикаторною змінною\( \liminf_{n \to \infty} A_n \). Але\(\bs 1\left(\bigcap_{i=n}^\infty A_i\right) = \min\{I_i: i \ge n\}\) і значить\( \lim_{n \to \infty} \bs 1\left(\bigcap_{i=n}^\infty A_i\right) = \liminf_{n \to \infty} I_n \).

Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність подій. Потім\(\liminf_{n \to \infty} A_n \subseteq \limsup_{n \to \infty} A_n\).

Доказ

Якщо\( A_n \) відбувається для всіх, але скінченно багато,\( n \in \N_+ \) то, безумовно,\( A_n \) відбувається для нескінченно багатьох\( n \in \N_+ \).

Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність подій. Тоді

1. \(\left( \limsup_{n \to \infty} A_n \right)^c = \liminf_{n \to \infty} A_n^c\)
2. \(\left( \liminf_{n \to \infty} A_n \right)^c = \limsup_{n \to \infty} A_n^c\).

Доказ

Ці результати випливають із законів ДеМорган.

Теореми про безперервність

Взагалі кажучи, функція є безперервною, якщо вона зберігає межі. Таким чином, наступні результати є теоремами неперервності ймовірності. Частина (а) - теорема неперервності для збільшення подій, а частина (b) теорема неперервності для спадних подій.

Припустимо, що\((A_1, A_2, \ldots)\) це послідовність подій.

1. Якщо послідовність збільшується, то\(\lim_{n \to \infty} \P(A_n) = \P\left( \lim_{n \to \infty} A_n \right) = \P\left(\bigcup_{n=1}^\infty A_n\right)\)
2. Якщо послідовність зменшується, то\(\lim_{n \to \infty} \P(A_n) = \P\left( \lim_{n \to \infty} A_n \right) = \P\left(\bigcap_{n=1}^\infty A_n\right)\)

Доказ

1. Нехай\(B_1 = A_1\) і нехай\(B_i = A_i \setminus A_{i-1}\) для\(i \in \{2, 3, \ldots\}\). Зверніть увагу, що\(\{B_1, B_2, \ldots \}\) колекція подій попарно незв'язана і має такий же союз, як\(\{A_1, A_2, \ldots \}\). Від зліченної адитивності і визначення нескінченних рядів,\[ \P\left(\bigcup_{i=1}^\infty A_i\right) = \P\left(\bigcup_{i=1}^\infty B_i\right) = \sum_{i = 1}^\infty \P(B_i) = \lim_{n \to \infty} \sum_{i = 1}^n \P(B_i) \] Але\( \P(B_1) = \P(A_1) \) і\( \P(B_i) = \P(A_i) - \P(A_{i-1}) \) для\( i \in \{2, 3, \ldots\} \). Тому\( \sum_{i=1}^n \P(B_i) = \P(A_n) \) і звідси ми маємо\( \P\left(\bigcup_{i=1}^\infty A_i\right) = \lim_{n \to \infty} \P(A_n) \).

   Побудова в теоремі неперервності для зростаючих подій

   

2. Послідовність\(\left(A_1^c, A_2^c, \ldots\right)\) доповнень збільшується. Отже, використовуючи частину (а), закон ДеМорган та правило доповнення, яке ми маємо\[ \P\left(\bigcap_{i=1}^\infty A_i \right) = 1 - \P\left(\bigcup_{i=1}^\infty A_i^c\right) = 1 - \lim_{n \to \infty} \P(A_n^c) = \lim_{n \to \infty} \left[1 - \P\left(A_n^c\right)\right] = \lim_{n \to \infty} \P(A_n) \]

Теореми неперервності можуть бути застосовані до зростаючих і спадних послідовностей, які ми будували раніше з довільної послідовності подій.

Припустимо, що\((A_1, A_2, \ldots)\) це послідовність подій.

1. \(\P\left( \bigcup_{i=1}^\infty A_i \right) = \lim_{n \to \infty} \P\left( \bigcup_{i = 1}^n A_i \right)\)
2. \(\P\left( \bigcap_{i=1}^\infty A_i \right) = \lim_{n \to \infty} \P\left( \bigcap_{i = 1}^n A_i \right)\)

Доказ

Ці результати випливають відразу з теорем про безперервність.

Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність подій. Тоді

1. \(\P\left(\limsup_{n \to \infty} A_n\right) = \lim_{n \to \infty} \P\left(\bigcup_{i=n}^\infty A_i\right)\)
2. \(\P\left(\liminf_{n \to \infty} A_n\right) = \lim_{n \to \infty} \P\left(\bigcap_{i=n}^\infty A_i\right)\)

Доказ

Ці результати випливають безпосередньо з визначень і теорем безперервності.

Наступний результат показує, що лічильна аксіома адитивності для міри ймовірності еквівалентна скінченній адитивності та властивості безперервності для зростаючих подій.

Тимчасово, припустимо, що\( \P \) це лише скінченно добавка, але задовольняє властивість безперервності для збільшення подій. Потім\( \P \) є зліченою добавкою.

Доказ

Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність попарно неспільних подій. Оскільки ми припускаємо, що\( \P \) це остаточно добавка, ми маємо\[ \P\left(\bigcup_{i=1}^n A_i\right) = \sum_{i=1}^n \P(A_i) \] Якщо ми дозволимо\( n \to \infty \), ліва сторона сходиться до\( \P\left(\bigcup_{i=1}^\infty A_i\right) \) припущення про безперервність і результат вище, тоді як права сторона сходиться з\( \sum_{i=1}^\infty \P(A_i) \) визначенням нескінченного ряду.

Є кілька математиків, які відкидають лічильну аксіому адитивності міри ймовірності на користь слабшої аксіоми скінченної адитивності. Якими б не були філософські аргументи, життя, безумовно, набагато важче без теорем про безперервність.

Лемми Бореля-Кантеллі

Лемми Бореля-Кантеллі, названі на честь Еміля Бореля та Францеско Кантеллі, є дуже важливими інструментами теорії ймовірностей. Перша лема дає умову, достатню для того, щоб зробити висновок, що нескінченно багато подій відбуваються з ймовірністю 0.

Перший Борел-Кантеллі Лемма. Припустимо, що\( (A_1, A_2, \ldots) \) це послідовність подій. Якщо\(\sum_{n=1}^\infty \P(A_n) \lt \infty\) тоді\(\P\left(\limsup_{n \to \infty} A_n\right) = 0\).

Доказ

Від результату вище на межі начальства, ми маємо\( \P\left(\limsup_{n \to \infty} A_n\right) = \lim_{n \to \infty} \P\left(\bigcup_{i = n}^\infty A_i \right) \). Але від нерівності Буля,\( \P\left(\bigcup_{i = n}^\infty A_i \right) \le \sum_{i = n}^\infty \P(A_i) \). Так як\( \sum_{i = 1}^\infty \P(A_i) \lt \infty \), у нас є\( \sum_{i = n}^\infty \P(A_i) \to 0 \) як\( n \to \infty \).

Друга лема дає умову, достатню для того, щоб зробити висновок, що нескінченно багато незалежних подій відбуваються з ймовірністю 1.

Друга Лема Борела-Кантеллі. Припустимо, що\((A_1, A_2, \ldots)\) це послідовність самостійних подій. Якщо\(\sum_{n=1}^\infty \P(A_n) = \infty\) тоді\(\P\left( \limsup_{n \to \infty} A_n \right) = 1\).

Доказ

Зверніть увагу спочатку, що\(1 - x \le e^{-x}\) для кожного\(x \in \R\), і hcnce\( 1 - \P(A_i) \le \exp\left[-\P(A_i)\right] \) для кожного\( i \in \N_+ \). З результатів вище на межі начальства і доповнює,\[ \P\left[\left(\limsup_{n \to \infty} A_n\right)^c\right] = \P\left(\liminf_{n \to \infty} A_n^c\right) = \lim_{n \to \infty} \P \left(\bigcap_{i = n}^\infty A_i^c\right) \] Але незалежністю і нерівністю вище,\[ \P\left(\bigcap_{i = n}^\infty A_i^c\right) = \prod_{i = n}^\infty \P\left(A_i^c\right) = \prod_{i = n}^\infty \left[1 - \P(A_i)\right] \le \prod_{i = n}^\infty \exp\left[-\P(A_i)\right] = \exp\left(-\sum_{i = n}^\infty \P(A_i) \right) = 0 \]

Для незалежних подій обидві леми Бореля-Кантеллі застосовуються, звичайно, і призводять до закону нульового.

Якщо\( (A_1, A_2, \ldots) \) послідовність незалежних подій, то\( \limsup_{n \to \infty} A_n \) має ймовірність 0 або 1:

1. Якщо\(\sum_{n=1}^\infty \P(A_n) \lt \infty\) тоді\(\P\left( \limsup_{n \to \infty} A_n \right) = 0\).
2. Якщо\(\sum_{n=1}^\infty \P(A_n) = \infty\) тоді\(\P\left( \limsup_{n \to \infty} A_n \right) = 1\).

Цей результат насправді є окремим випадком більш загального закону нуль-один, відомого як закон Колмогорова нуль-один, і названий на честь Андрія Колмогорова. Цей закон вивчається в більш просунутому розділі про міру. Крім того, ми можемо використовувати закон нуль-один для отримання теореми числення, яка пов'язує нескінченні ряди та нескінченні добутки. Ця деривація є прикладом імовірнісного методу —використання ймовірності для отримання результатів, здавалося б, не пов'язаних з ймовірністю, в інших областях математики.

Припустимо, що\( p_i \in (0, 1) \) для кожного\( i \in \N_+ \). Тоді\[ \prod_{i=1}^\infty p_i \gt 0 \text{ if and only if } \sum_{i=1}^\infty (1 - p_i) \lt \infty \]

Доказ

Ми можемо легко побудувати простір ймовірностей з послідовністю незалежних подій,\( (A_1, A_2, \ldots) \) таких, що\( \P(A_i) = 1 - p_i \) для кожного\( i \in \N_+ \). Результат випливає з доказів двох лем Борела-Кантеллі.

Наш наступний результат - просте застосування другої леми Бореля-Кантеллі до незалежних реплікацій базового експерименту.

Припустимо, що\(A\) це подія в базовому випадковому експерименті з\(\P(A) \gt 0\). У складному експерименті, який складається з незалежних реплікацій основного експерименту, подія \(A\)відбувається нескінченно часто має ймовірність 1.

Доказ

Давайте\( p \) позначимо ймовірність\( A \) в базовому експерименті. У складному експерименті ми маємо послідовність незалежних подій\( (A_1, A_2, \ldots) \) з\( \P(A_n) = p \) для кожного\( n \in \N_+ \) (це незалежні копії\( A \)). Але\( \sum_{n=1}^\infty \P(A_n) = \infty \) оскільки\( p \gt 0 \) так результат випливає з другої леми Бореля-Кантеллі.

Збіжність випадкових величин

Наша наступна дискусія стосується двох способів зближення послідовності випадкових величин, визначених для нашого експерименту. Це принципово важливі поняття, оскільки деякі з найглибших результатів теорії ймовірностей - це граничні теореми, що включають випадкові величини. Найважливішим особливим випадком є те, коли випадкові величини є дійсними, але докази по суті однакові для змінних зі значеннями у метричному просторі, тому ми будемо використовувати більш загальне налаштування.

Таким чином, припустимо, що\( (S, d) \) це метричний простір, і\(\mathscr S \) це відповідна Борель\( \sigma \) -алгебра (тобто\( \sigma \) -алгебра, породжена топологією), так що наш вимірний простір є\( (S, \mathscr S) \). Ось найважливіший особливий випадок:

Для\( n \in \N_+ \), є\( n \) -мірним евклідовим простором,\( (\R^n, d_n) \) де\[ d_n(\bs x, \bs y) = \sqrt{\sum_{i=1}^n (y_i - x_i)^2}, \quad \bs x = (x_1, x_2 \ldots, x_n), \, \bs y = (y_1, y_2, \ldots, y_n) \in \R^n \]

Евклідові простори названі на честь Евкліда, звичайно. Як зазначалося вище, одновимірний випадок де\( d(x, y) = |y - x| \) для особливо\( x, \, y \in \R \) важливий. Повертаючись до загального метричного простору, нагадаємо, що якщо\( (x_1, x_2, \ldots) \) є послідовністю в\( S \) а\( x \in S \), то\( x_n \to x\) як\( n \to \infty \) означає, що\( d(x_n, x) \to 0 \) як\( n \to \infty \) (в звичайному сенсі числення). Для решти нашого обговорення ми припускаємо, що\( (X_1, X_2, \ldots) \) це послідовність випадкових величин зі значеннями в\( S \) і\( X \) є випадковою величиною зі значеннями в\( S \), всі визначені на просторі ймовірностей\( (\Omega, \mathscr F, \P) \).

Ми говоримо, що\(X_n \to X\) як і\(n \to \infty\) з ймовірністю 1, якщо подія, що\( X_n \to X \) як\( n \to \infty \) має ймовірність 1. Тобто,\[\P\{\omega \in S: X_n(\omega) \to X(\omega) \text{ as } n \to \infty\} = 1\]

Подробиці

Ми повинні переконатися, що визначення має сенс, в тому, що твердження, яке\( X_n \) сходиться з\( X \) as\( n \to \infty \) визначає дійсну подію. Зверніть увагу, що\(X_n\) не сходиться\(X\) як\(n \to \infty\) би і тільки якщо для деяких\(\epsilon \gt 0\),\(d(X_n, X) \gt \epsilon\) для нескінченно багатьох\(n \in \N_+\). Зауважте, що якщо ця умова тримає для заданого,\( \epsilon \gt 0 \) то вона тримає для всіх менших\( \epsilon \gt 0 \). Причому є як завгодно малі раціональні\( \epsilon \gt 0 \) так\(X_n\) не сходяться до\(X\)\(n \to \infty\) ніби і тільки якщо для якихось раціональних\(\epsilon \gt 0\),\(d(X_n, X) \gt \epsilon\) для нескінченно багатьох\(n \in \N_+\). Звідси\[ \left\{X_n \to X \text{ as } n \to \infty\right\}^c = \bigcup_{\epsilon \in \Q_+} \limsup_{n \to \infty} \left\{d(X_n, X) \gt \epsilon\right\} \] де\( \Q_+ \) знаходиться безліч позитивних раціональних чисел. Важливим моментом, який слід пам'ятати, є те, що цей набір підлягає підрахунку. Отже, будуючи трохи за раз, зверніть увагу, що\( \left\{d(X_n, X) \gt \epsilon\right\} \) це подія для кожного\( \epsilon \in \Q_+ \) і\( n \in \N_+ \) так\( X_n \) і\( X \) є випадковими величинами. Далі, ліміт, що перевищує послідовність подій, - це подія. Нарешті, незліченний союз подій - це подія.

Як хороші імовірністи, ми зазвичай пригнічуємо посилання на простір вибірки і пишемо визначення просто як\( \P(X_n \to X \text{ as } n \to \infty) = 1 \). Твердження про те, що подія має ймовірність 1, зазвичай є найсильнішим ствердним твердженням, яке ми можемо зробити в теорії ймовірності. Таким чином, збіжність з ймовірністю 1 є найсильнішою формою збіжності. Фрази майже напевно і майже скрізь іноді використовуються замість фрази з ймовірністю 1.

Нагадаємо, що метрики\( d \) і\( e \) на\( S \) еквівалентні, якщо вони генерують ту саму топологію на\( S \). Нагадаємо також, що збіжність послідовності є топологічною властивістю. Тобто, якщо\( (x_1, x_2, \ldots) \) є послідовністю в\( S \) і\( x \in S \), а якщо\( d, \, e \) еквівалентні метрики на\( S \), то\( x_n \to x \) як\( n \to \infty \) відносно\( d \) якщо і тільки якщо\( x_n \to x \)\( n \to \infty \) відносно\( e \). Таким чином, для наших випадкових величин, як визначено вище, випливає, що\( X_n \to X \) як і\( n \to \infty \) з ймовірністю 1 відносно\( d \) якщо і тільки якщо\( X_n \to X \) як\( n \to \infty \) з ймовірністю 1 відносно\( e \).

Наступні твердження еквівалентні:

1. \( X_n \to X \)як\( n \to \infty \) з ймовірністю 1.
2. \(\P\left[d(X_n, X) \gt \epsilon \text{ for infinitely many } n \in \N_+\right] = 0 \)для кожного раціонального\(\epsilon \gt 0\).
3. \(\P\left[d(X_n, X) \gt \epsilon \text{ for infinitely many } n \in \N_+\right] = 0\)для кожного\(\epsilon \gt 0\).
4. \(\P\left[d(X_k, X) \gt \epsilon \text{ for some } k \ge n\right] \to 0\)як\(n \to \infty\) для кожного\(\epsilon \gt 0\).

Доказ

З подробиць у визначенні вище,\( \P(X_n \to X \text{ as } n \to \infty) = 1 \) якщо і тільки тоді\[ \P\left(\bigcup_{\epsilon \in \Q_+} \left\{d(X_n, X) \gt \epsilon \text{ for infinitely many } n \in \N_+\right\} \right) = 0 \] де знову\( \Q_+ \) безліч позитивних раціональних чисел. Але за нерівністю Буля, зліченний союз подій має ймовірність 0 тоді і тільки тоді, коли кожна подія в союзі має ймовірність 0. Таким чином, (а) еквівалентно (b). Заява (b) явно еквівалентна (c), оскільки існують довільно малі позитивні раціональні числа. Нарешті, (c) еквівалентно (d) результатом безперервності, наведеного вище.

Наш наступний результат дає фундаментальний критерій збіжності з ймовірністю 1:

Якщо\(\sum_{n=1}^\infty \P\left[d(X_n, X) \gt \epsilon\right] \lt \infty\) для кожного\(\epsilon \gt 0\) то\(X_n \to X\) як\(n \to \infty\) з ймовірністю 1.

Доказ

За першою лемою Бореля-Кантеллі, якщо\(\sum_{n=1}^\infty \P\left[d(X_n, X) \gt \epsilon\right) \lt \infty\) тоді\(\P\left[d(X_n, X) \gt \epsilon \text{ for infinitely many } n \in \N_+\right) = 0\). Звідси результат випливає з попередньої теореми.

Ось наш наступний спосіб конвергенції.

Ми говоримо, що\(X_n \to X\) як по\(n \to \infty\) ймовірності, якщо\[\P\left[d(X_n, X) \gt \epsilon\right] \to 0 \text{ as } n \to \infty \text{ for each } \epsilon \gt 0\]

Фраза по ймовірності звучить поверхнево як фраза з ймовірністю 1. Однак, як ми скоро побачимо, збіжність за ймовірністю набагато слабкіше збіжності з ймовірністю 1. Дійсно, конвергенцію з ймовірністю 1 часто називають сильною конвергенцією, тоді як збіжність за ймовірністю часто називають слабкою конвергенцією.

Якщо\(X_n \to X\) як\(n \to \infty\) з ймовірністю 1 то\(X_n \to X\) як\(n \to \infty\) по ймовірності.

Доказ

Нехай\( \epsilon \gt 0 \). Потім\( \P\left[d(X_n, X) \gt \epsilon\right] \le \P\left[d(X_k, X) \gt \epsilon \text{ for some } k \ge n\right]\). Але якщо\( X_n \to X \) як\( n \to \infty \) з ймовірністю 1, то вираз справа сходиться до 0 як\( n \to \infty \) за частиною (d) результату вище. Звідси\( X_n \to X \) як\( n \to \infty \) по ймовірності.

Зворотне зазнає невдачі з пристрастю. Простий зустрічний приклад наведено нижче. Однак є частковий зворотний, який дуже корисний.

Якщо\(X_n \to X\) як\(n \to \infty\) по ймовірності, то існує\((n_1, n_2, n_3 \ldots)\) підпослідовність\(\N_+\) такої, що\(X_{n_k} \to X\) як\(k \to \infty\) з ймовірністю 1.

Доказ

Припустимо, що\( X_n \to X \) як\( n \to \infty \) по ймовірності. Тоді для кожного\(k \in \N_+\) існує\(n_k \in \N_+\) таке, що\(\P\left[d\left(X_{n_k}, X \right) \gt 1 / k \right] \lt 1 / k^2\). Ми можемо зробити вибір так, щоб\(n_k \lt n_{k+1}\) для кожного\(k\). Звідси випливає, що\(\sum_{k=1}^\infty \P\left[d\left(X_{n_k}, X\right) \gt \epsilon \right] \lt \infty\) для кожного\(\epsilon \gt 0\). За результатом вище,\(X_{n_k} \to X\) як і\(n \to \infty\) з ймовірністю 1.

Зверніть увагу, що доказ працює тому\(1 / k \to 0\), що як\(k \to \infty\) і\(\sum_{k=1}^\infty 1 / k^2 \lt \infty\). Будь-які дві послідовності з цими властивостями працювали б так само добре.

Є ще два способи конвергенції, про які ми поговоримо пізніше:

• Конвергенція в розподілі.
• Конвергенція в середньому,

Приклади і застосування

Монети

Припустимо, що у нас є нескінченна послідовність монет з маркуванням\(1, 2, \ldots\) Крім того, монета\(n\) має ймовірність голів\(1 / n^a\) для кожної\(n \in \N_+\), де\(a \gt 0\) є параметр. Підкидаємо кожну монету послідовно один раз. З точки зору\(a\), знайдіть ймовірність наступних подій:

1. нескінченно багато голів відбувається
2. нескінченно багато хвостів зустрічається

Відповідь

Нехай\(H_n\) буде подія, яка\(n\) підкидає результати в голови, і\(T_n\) подія, що кидає\(n\) результати в хвости.

1. \(\P\left(\limsup_{n \to \infty} H_n\right) = 1\),\(\P\left(\limsup_{n \to \infty} T_n\right) = 1\) якщо\(a \in (0, 1]\)
2. \(\P\left(\limsup_{n \to \infty} H_n\right) = 0\),\(\P\left(\limsup_{n \to \infty} T_n\right) = 1\) якщо\(a \in (1, \infty)\)

Наступна вправа дає простий приклад послідовності випадкових величин, які сходяться за ймовірністю, але не з ймовірністю 1. Природно, ми припускаємо стандартну метрику на\( \R \).

Припустимо ще раз, що у нас є послідовність монет\(1, 2, \ldots\), позначені, і ця монета\(n\) приземляється головами вгору з ймовірністю\(\frac{1}{n}\) для кожного\(n\). Підкидаємо монети, щоб отримати послідовність\((X_1, X_2, \ldots)\) незалежних індикаторів випадкових величин з\[\P(X_n = 1) = \frac{1}{n}, \; \P(X_n = 0) = 1 - \frac{1}{n}; \quad n \in \N_+\]

1. \(\P(X_n = 0 \text{ for infinitely many } n) = 1\), так що нескінченно багато хвостів трапляються з ймовірністю 1.
2. \(\P(X_n = 1 \text{ for infinitely many } n) = 1\), так що нескінченно багато голів трапляються з ймовірністю 1.
3. \(\P(X_n \text{ does not converge as } n \to \infty) = 1\).
4. \(X_n \to 0\)як\(n \to \infty\) за ймовірністю.

Доказ

1. Це випливає з другої леми Бореля-Кантеллі, оскільки\( \sum_{n = 1}^\infty \P(X_n = 0) = \infty \)
2. Це також випливає з другої леми Бореля-Кантеллі, оскільки\( \sum_{n = 1}^\infty \P(X_n = 1) = \infty \).
3. Це випливає з частин (а) і (б). Нагадаємо, що перетин двох подій з ймовірністю 1 все ще має ймовірність 1.
4. Припустимо\( 0 \lt \epsilon \lt 1 \). Тоді\( \P\left(\left|X_n - 0\right| \gt \epsilon\right) = \P(X_n = 1) = \frac{1}{n} \to 0 \) як\( n \to \infty \).

Дискретні простори

Нагадаємо, що вимірний простір\( (S, \mathscr S) \) є дискретним, якщо\( S \) є\( \mathscr S \) підрахунковим і є сукупністю всіх підмножин\( S \) (множина потужності\( S \)). Крім того,\( \mathscr S \) це\( \sigma \) алгебра Бореля, що відповідає дискретній метриці\( d \) на\( S \) задану for\( x \in S \) і\( d(x, x) = 0 \)\( d(x, y) = 1 \) for disfinctive\( x, \, y \in S \). Як збіжність з ймовірністю 1 та збіжність ймовірності працюють для дискретної метрики?

Припустимо, що\( (S, \mathscr S) \) це дискретний простір. Припустимо далі, що\( (X_1, X_2, \ldots) \) є послідовністю випадкових величин зі значеннями в\( S \) і\( X \) є випадковою величиною зі значеннями в\( S \), всі визначені на просторі ймовірностей\( (\Omega, \mathscr F, \P) \). Відносно дискретної метрики\( d \),

1. \( X_n \to X \)як\( n \to \infty \) з ймовірністю 1 якщо і тільки якщо\( \P(X_n = X \text{ for all but finitely many } n \in \N_+) = 1 \).
2. \( X_n \to X \)як\( n \to \infty \) по ймовірності, якщо і тільки якщо\( \P(X_n \ne X) \to 0 \) як\( n \to \infty \).

Доказ

1. Якщо\( (x_1, x_2, \ldots) \) є послідовністю точок в\( S \) і\( x \in S \), то щодо метрики\( d \),\( x_n \to x \) як\( n \to \infty \) би і тільки якщо\( x_n = x \) для всіх, але скінченно багато\( n \in \N_+ \).
2. Якщо\( \epsilon \ge 1 \) тоді\( \P[d(X_n, X) \gt \epsilon] = 0 \). Якщо\( \epsilon \in (0, 1) \) тоді\( \P[d(X_n, X) \gt \epsilon] = \P(X_n \ne X) \).

Звичайно, важливо розуміти, що дискретний простір може бути простором Бореля для метрик, відмінних від дискретної метрики.