9.5: Тести на коефіцієнт ймовірності

\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\Z}{\mathbb{Z}}\)\(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\var}{\text{var}}\)\(\newcommand{\sd}{\text{sd}}\)\(\newcommand{\bs}{\boldsymbol}\)

Основна теорія

Як завжди, наша відправна точка - це випадковий експеримент з базовим простором вибірки та міра ймовірності\(\P\). У базовій статистичній моделі ми маємо спостережувану випадкову величину,\(\bs{X}\) яка приймає значення в множині\(S\). В цілому,\(\bs{X}\) може мати досить складну будову. Наприклад, якщо експеримент полягає в тому, щоб вибірка\(n\) об'єктів з населення і запис різних вимірювань, що цікавлять, то\[ \bs{X} = (X_1, X_2, \ldots, X_n) \] де\(X_i\) знаходиться вектор вимірювань для\(i\) го об'єкта. Найголовніший особливий випадок виникає\((X_1, X_2, \ldots, X_n)\), коли вони незалежні і однаково розподілені. У цьому випадку ми маємо випадкову вибірку розміру\(n\) із загального розподілу.

У попередніх розділах ми розробили тести на параметри, засновані на природній статистиці тестів. Однак в інших випадках тести можуть бути не параметричними, або може не бути очевидної статистики для початку. Таким чином, потрібен більш загальний метод побудови тестової статистики. Більше того, ми ще не знаємо, чи тести, побудовані до цих пір, є найкращими, у сенсі максимізації потужності для набору альтернатив. У цьому та наступному розділі ми досліджуємо обидві ці ідеї. Функції правдоподібності, подібні до тих, які використовуються при оцінці максимальної ймовірності, відіграватимуть ключову роль.

Тести простих гіпотез

Припустимо, що\(\bs{X}\) має один з двох можливих дистрибутивів. Наші прості гіпотези

• \(H_0: \bs{X}\)має функцію щільності ймовірності\(f_0\).
• \(H_1: \bs{X}\)має функцію щільності ймовірності\(f_1\).

Ми будемо використовувати індекси на мірі ймовірності,\(\P\) щоб вказати дві гіпотези, і ми припускаємо, що\( f_0 \) і\( f_1 \) є позитивними\( S \). Тест, який ми побудуємо, базується на наступній простій ідеї: якщо ми спостерігаємо\(\bs{X} = \bs{x}\), то умова\(f_1(\bs{x}) \gt f_0(\bs{x})\) є доказом на користь альтернативи; протилежна нерівність є свідченням проти альтернативи.

Функція коефіцієнта\[ L(\bs{x}) = \frac{f_0(\bs{x})}{f_1(\bs{x})}, \quad \bs{x} \in S \] правдоподібності\( L: S \to (0, \infty) \)\(L(\bs{X})\) визначається статистикою коефіцієнта ймовірності.

Відновлюючи наше попереднє спостереження, зауважте, що невеликі значення\(L\) є свідченням на користь\(H_1\). Таким чином, здається розумним, що статистика співвідношення ймовірності може бути хорошою статистикою тесту, і що ми повинні розглянути тести, в яких ми відхиляємо,\(H_0\) якщо і тільки тоді\(L \le l\), де\(l\) константа повинна бути визначена:

Рівень значущості тесту є\(\alpha = \P_0(L \le l)\).

Як завжди, ми можемо спробувати побудувати тест, вибравши\(l\) так, що\(\alpha\) це прописане значення. Якщо\(\bs{X}\) має дискретний розподіл, це буде можливо лише тоді, коли\(\alpha\) є значенням функції розподілу\(L(\bs{X})\).

Важливий особливий випадок даної моделі виникає, коли розподіл\(\bs{X}\) залежить від параметра\(\theta\), який має два можливих значення. Таким чином, параметр простір є\(\{\theta_0, \theta_1\}\), і\(f_0\) позначає функцію щільності ймовірності\(\bs{X}\) коли\(\theta = \theta_0\) і\(f_1\) позначає функцію щільності ймовірності\(\bs{X}\) коли\(\theta = \theta_1\). У цьому випадку гіпотези еквівалентні\(H_0: \theta = \theta_0\) проти\(H_1: \theta = \theta_1\).

Як зазначалося раніше, ще одним важливим особливим випадком\( \bs X = (X_1, X_2, \ldots, X_n) \) є те, коли випадкова вибірка розміру\( n \) з розподілу лежить в основі випадкової величини,\( X \) що приймає значення в множині\( R \). У цьому випадку\( S = R^n \) і функція щільності\( f \) ймовірності\( \bs X \) має вигляд,\[ f(x_1, x_2, \ldots, x_n) = g(x_1) g(x_2) \cdots g(x_n), \quad (x_1, x_2, \ldots, x_n) \in S \] де\( g \) знаходиться функція щільності ймовірності\( X \). Так гіпотези спрощують

• \( H_0: X \)має функцію щільності ймовірності\(g_0 \).
• \( H_1: X \)має функцію щільності ймовірності\(g_1 \).

а статистика коефіцієнта ймовірності є\[ L(X_1, X_2, \ldots, X_n) = \prod_{i=1}^n \frac{g_0(X_i)}{g_1(X_i)} \] У цьому особливому випадку виявляється, що під\( H_1 \) статистикою коефіцієнта ймовірності, як функція розміру вибірки\( n \), є мартингейлом.

Лемма Неймана-Пірсона

Наступна теорема - лема Неймана-Пірсона, названа на честь Єжі Неймана та Егона Пірсона. Це показує, що тест, наведений вище, є найпотужнішим. Нагадаємо\[ R = \{\bs{x} \in S: L(\bs{x}) \le l\} \], що розмір області відхилення - це значення тесту з цією областю відторгнення.

Розглянемо тести з регіонами відхилення,\(R\) наведеними вище і довільними\(A \subseteq S\). Якщо розмір принаймні\(R\) такий же великий, як розмір,\(A\) то тест з областю відторгнення\(R\) є більш потужним, ніж тест з областю відторгнення\(A\). Тобто, якщо\(\P_0(\bs{X} \in R) \ge \P_0(\bs{X} \in A)\) тоді\(\P_1(\bs{X} \in R) \ge \P_1(\bs{X} \in A) \).

Доказ

Спочатку зауважте, що з визначень\( L \) і\( R \) що такі нерівності тримають:\ begin {align}\ P_0 (\ bs {X}\ in A) &\ le l\,\ P_1 (\ bs {X}\ in A)\ text {для} A\\\ P_0 (\ bs {X}\ in A) &\ ge l\,\ P_1\ bs {X}\ in A)\ текст {для} A\ subseteq R^c\ end {вирівняти} Тепер для довільних \( A \subseteq S \), написати\(R = (R \cap A) \cup (R \setminus A)\) і\(A = (A \cap R) \cup (A \setminus R)\). З адитивності ймовірності та нерівностей вище випливає, що\[ \P_1(\bs{X} \in R) - \P_1(\bs{X} \in A) \ge \frac{1}{l} \left[\P_0(\bs{X} \in R) - \P_0(\bs{X} \in A)\right] \] Звідси, якщо\(\P_0(\bs{X} \in R) \ge \P_0(\bs{X} \in A)\) тоді\(\P_1(\bs{X} \in R) \ge \P_1(\bs{X} \in A) \).

Лема Неймана-Пірсона корисніша, ніж може бути спочатку очевидною. У багатьох важливих випадках один і той же найпотужніший тест працює для цілого ряду альтернатив, і, таким чином, є рівномірно найпотужнішим тестом для цього діапазону. Кілька особливих випадків розглянуті нижче.

Узагальнений коефіцієнт ймовірності

Статистику коефіцієнта ймовірності можна узагальнити до складових гіпотез. Ще раз припустимо, що функція\(f_\theta\) щільності ймовірності змінної даних\(\bs{X}\) залежить від параметра\(\theta\), приймаючи значення в просторі параметрів\(\Theta\). Розглянемо гіпотези\(\theta \in \Theta_0\) проти\(\theta \notin \Theta_0\), де\(\Theta_0 \subseteq \Theta\).

Визначити\[ L(\bs{x}) = \frac{\sup\left\{f_\theta(\bs{x}): \theta \in \Theta_0\right\}}{\sup\left\{f_\theta(\bs{x}): \theta \in \Theta\right\}} \] Функція\(L\) є функцією коефіцієнта ймовірності та\(L(\bs{X})\) статистикою коефіцієнта ймовірності.

За тими ж міркуваннями, що і раніше, невеликі значення\(L(\bs{x})\) є свідченням на користь альтернативної гіпотези.

Приклади та особливі випадки

Тести для експоненціальної моделі

Припустимо,\(\bs{X} = (X_1, X_2, \ldots, X_n)\) що випадкова вибірка розміру\( n \in \N_+ \) з експоненціального розподілу з параметром масштабу\(b \in (0, \infty)\). Змінні вибірки можуть представляти тривалість життя з вибірки пристроїв певного типу. Ми зацікавлені в тестуванні простих гіпотез\(H_0: b = b_0\) проти того\(H_1: b = b_1\), де\(b_0, \, b_1 \in (0, \infty)\) різні вказані значення.

Нагадаємо, що сума змінних є достатньою статистикою для\(b\):\[ Y = \sum_{i=1}^n X_i \] Нагадаємо також, що\(Y\) має гамма-розподіл з параметром форми\(n\) та параметром масштабу\(b\). Для\(\alpha \gt 0\), ми позначимо квантиль порядку\(\alpha\) для цього розподілу по\(\gamma_{n, b}(\alpha)\).

Статистика коефіцієнта ймовірності\[ L = \left(\frac{b_1}{b_0}\right)^n \exp\left[\left(\frac{1}{b_1} - \frac{1}{b_0}\right) Y \right] \]

Доказ

Нагадаємо, що PDF-файл\( g \) експоненціального розподілу з параметром масштабу\( b \in (0, \infty) \) задається\( g(x) = (1 / b) e^{-x / b} \) for\( x \in (0, \infty) \). Якщо\( g_j \) позначає PDF, коли\( b = b_j \) для\( j \in \{0, 1\} \) потім\[ \frac{g_0(x)}{g_1(x)} = \frac{(1/b_0) e^{-x / b_0}}{(1/b_1) e^{-x/b_1}} = \frac{b_1}{b_0} e^{(1/b_1 - 1/b_0) x}, \quad x \in (0, \infty) \] Отже функція коефіцієнта ймовірності є\[ L(x_1, x_2, \ldots, x_n) = \prod_{i=1}^n \frac{g_0(x_i)}{g_1(x_i)} = \left(\frac{b_1}{b_0}\right)^n e^{(1/b_1 - 1/b_0) y}, \quad (x_1, x_2, \ldots, x_n) \in (0, \infty)^n\] де\( y = \sum_{i=1}^n x_i \).

Наступні тести є найпотужнішим тестом на\(\alpha\) рівні

1. Припустимо, що\(b_1 \gt b_0\). Відхилити\(H_0: b = b_0\) проти\(H_1: b = b_1\) якщо і тільки якщо\(Y \ge \gamma_{n, b_0}(1 - \alpha)\).
2. Припустимо, що\(b_1 \lt b_0\). Відхилити\(H_0: b = b_0\) проти\(H_1: b = b_1\) якщо і тільки якщо\(Y \le \gamma_{n, b_0}(\alpha)\).

Доказ

Під\( H_0 \),\( Y \) має гамма-розподіл з параметрами\( n \) і\( b_0 \).

1. Якщо\( b_1 \gt b_0 \) тоді\( 1/b_1 \lt 1/b_0 \). З простої алгебри область відторгнення форми\( L(\bs X) \le l \) стає областю відторгнення форми\( Y \ge y \). Точне значення з\( y \) точки зору\( l \) не має значення. Щоб тест мав рівень значущості,\( \alpha \) ми повинні вибрати\( y = \gamma_{n, b_0}(1 - \alpha) \)
2. Якщо\( b_1 \lt b_0 \) тоді\( 1/b_1 \gt 1/b_0 \). З простої алгебри область відторгнення форми\( L(\bs X) \le l \) стає областю відторгнення форми\( Y \le y \). Знову ж таки, точне значення з\( y \) точки зору не\( l \) важливо. Щоб тест мав рівень значущості,\( \alpha \) ми повинні вибрати\( y = \gamma_{n, b_0}(\alpha) \)

Зверніть увагу, що дані тести не залежать від значення\(b_1\). Цей факт разом з монотонністю силової функції може бути використаний для того, щоб показати, що тести рівномірно найбільш потужні для звичайних односторонніх тестів.

Припустимо, що\( b_0 \in (0, \infty) \).

1. Правило прийняття рішень у частині (а) вище є рівномірно найпотужнішим для тесту\(H_0: b \le b_0\) проти\(H_1: b \gt b_0\).
2. Правило прийняття рішень у частині (b) вище є рівномірно найпотужнішим для тесту\(H_0: b \ge b_0\) проти\(H_1: b \lt b_0\).

Тести для моделі Бернуллі

Припустимо,\(\bs{X} = (X_1, X_2, \ldots, X_n)\) що випадкова вибірка розміру\(n \in \N_+\) з розподілу Бернуллі з параметром успіху\(p\). Зразок може представляти результати кидання монети\(n\) раз, де\(p\) є ймовірність голів. Ми хочемо перевірити прості гіпотези\(H_0: p = p_0\) проти того\(H_1: p = p_1\), де\(p_0, \, p_1 \in (0, 1)\) різні вказані значення. У моделі кидання монети ми знаємо, що ймовірність голів є\(p_0\) або\(p_1\), але ми не знаємо, яка.

Нагадаємо, що кількість успіхів є достатньою статистикою для\(p\):\[ Y = \sum_{i=1}^n X_i \] Нагадаємо також, що\(Y\) має біноміальний розподіл з параметрами\(n\) і\(p\). Для\(\alpha \in (0, 1)\), ми позначимо квантиль порядку\(\alpha\) для цього розподілу по\(b_{n, p}(\alpha)\); хоча оскільки розподіл дискретний,\(\alpha\) можливі лише певні значення.

Статистика коефіцієнта ймовірності\[ L = \left(\frac{1 - p_0}{1 - p_1}\right)^n \left[\frac{p_0 (1 - p_1)}{p_1 (1 - p_0)}\right]^Y\]

Доказ

Нагадаємо, що PDF\( g \) дистрибутива Бернуллі з параметром\( p \in (0, 1) \) дано\( g(x) = p^x (1 - p)^{1 - x} \) for\( x \in \{0, 1\} \). Якщо\( g_j \) позначає PDF, коли\( p = p_j \) для\( j \in \{0, 1\} \) потім\[ \frac{g_0(x)}{g_1(x)} = \frac{p_0^x (1 - p_0)^{1-x}}{p_1^x (1 - p_1^{1-x}} = \left(\frac{p_0}{p_1}\right)^x \left(\frac{1 - p_0}{1 - p_1}\right)^{1 - x} = \left(\frac{1 - p_0}{1 - p_1}\right) \left[\frac{p_0 (1 - p_1)}{p_1 (1 - p_0)}\right]^x, \quad x \in \{0, 1\} \] Отже функція коефіцієнта ймовірності є\[ L(x_1, x_2, \ldots, x_n) = \prod_{i=1}^n \frac{g_0(x_i)}{g_1(x_i)} = \left(\frac{1 - p_0}{1 - p_1}\right)^n \left[\frac{p_0 (1 - p_1)}{p_1 (1 - p_0)}\right]^y, \quad (x_1, x_2, \ldots, x_n) \in \{0, 1\}^n \] де\( y = \sum_{i=1}^n x_i \).

Наступні тести є найпотужнішим тестом на\(\alpha\) рівні

1. Припустимо, що\(p_1 \gt p_0\). Відхилити\(H_0: p = p_0\) проти\(H_1: p = p_1\) якщо і тільки якщо\(Y \ge b_{n, p_0}(1 - \alpha)\).
2. Припустимо, що\(p_1 \lt p_0\). Відхилити\(p = p_0\) проти\(p = p_1\) якщо і тільки якщо\(Y \le b_{n, p_0}(\alpha)\).

Доказ

Під\( H_0 \),\( Y \) має біноміальний розподіл з параметрами\( n \) і\( p_0 \).

1. Якщо\( p_1 \gt p_0 \) тоді\( p_0(1 - p_1) / p_1(1 - p_0) \lt 1 \). З простої алгебри область відторгнення форми\( L(\bs X) \le l \) стає областю відторгнення форми\( Y \ge y \). Точне значення з\( y \) точки зору\( l \) не має значення. Щоб тест мав рівень значущості,\( \alpha \) ми повинні вибрати\( y = b_{n, p_0}(1 - \alpha) \)
2. Якщо\( p_1 \lt p_0 \) тоді\( p_0 (1 - p_1) / p_1 (1 - p_0) \gt 1\). З простої алгебри область відторгнення форми\( L(\bs X) \le l \) стає областю відторгнення форми\( Y \le y \). Знову ж таки, точне значення з\( y \) точки зору не\( l \) важливо. Щоб тест мав рівень значущості,\( \alpha \) ми повинні вибрати\( y = b_{n, p_0}(\alpha) \)

Зауважимо, що дані тести не залежать від значення\(p_1\). Цей факт разом з монотонністю силової функції може бути використаний для того, щоб показати, що тести рівномірно найбільш потужні для звичайних односторонніх тестів.

Припустимо, що\( p_0 \in (0, 1) \).

1. Правило прийняття рішень у частині (а) вище є рівномірно найпотужнішим для тесту\(H_0: p \le p_0\) проти\(H_1: p \gt p_0\).
2. Правило прийняття рішень у частині (b) вище є рівномірно найпотужнішим для тесту\(H_0: p \ge p_0\) проти\(H_1: p \lt p_0\).

Тести в нормальній моделі

Односторонні тести, які ми вивели в нормальній моделі, для\(\mu\) з\(\sigma\) відомим, для\(\mu\) з\(\sigma\) невідомим, а для\(\sigma\) з\(\mu\) невідомим є рівномірно найпотужнішими. З іншого боку, жоден з двосторонніх тестів не є рівномірно найпотужнішим.

Непараметричний приклад

Припустимо, що\(\bs{X} = (X_1, X_2, \ldots, X_n)\) це випадкова вибірка розміру\( n \in \N_+ \), або з розподілу Пуассона з параметром 1, або з геометричного розподілу по параметру\(\N\) with\(p = \frac{1}{2}\). Зауважте, що обидва розподіли мають середнє значення 1 (хоча розподіл Пуассона має дисперсію 1, тоді як геометричний розподіл має дисперсію 2). Отже, бажаємо перевірити гіпотези

• \(H_0: X\)має функцію щільності ймовірності\(g_0(x) = e^{-1} \frac{1}{x!}\) для\(x \in \N \).
• \(H_1: X\)має функцію щільності ймовірності\(g_1(x) = \left(\frac{1}{2}\right)^{x+1}\) для\(x \in \N\).

Статистика коефіцієнта ймовірності\[ L = 2^n e^{-n} \frac{2^Y}{U} \text{ where } Y = \sum_{i=1}^n X_i \text{ and } U = \prod_{i=1}^n X_i! \]

Доказ

Зверніть увагу, що\[ \frac{g_0(x)}{g_1(x)} = \frac{e^{-1} / x!}{(1/2)^{x+1}} = 2 e^{-1} \frac{2^x}{x!}, \quad x \in \N \] Отже, функція коефіцієнта ймовірності - це\[ L(x_1, x_2, \ldots, x_n) = \prod_{i=1}^n \frac{g_0(x_i)}{g_1(x_i)} = 2^n e^{-n} \frac{2^y}{u}, \quad (x_1, x_2, \ldots, x_n) \in \N^n \] де\( y = \sum_{i=1}^n x_i \) і\( u = \prod_{i=1}^n x_i! \).

Найпотужніші тести мають наступний вигляд, де\(d\) константа: відкидати\(H_0\) якщо і тільки якщо\(\ln(2) Y - \ln(U) \le d\).

Доказ

Область відхилення форми\( L(\bs X) \le l \) еквівалентна\[\frac{2^Y}{U} \le \frac{l e^n}{2^n}\] Приймаючи натуральний логарифм, це еквівалентно\( \ln(2) Y - \ln(U) \le d \) де\( d = n + \ln(l) - n \ln(2) \)