11.2: Тестування значущості

Last updated

Oct 28, 2022
Save as PDF
- 11.1: Вступ до тестування гіпотез
- 11.3: Помилки типу I та II

$\newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$

$\newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}}$

$\newcommand{\id}{\mathrm{id}}$

$\newcommand{\Span}{\mathrm{span}}$

$\newcommand{\kernel}{\mathrm{null}\,}$

$\newcommand{\range}{\mathrm{range}\,}$

$\newcommand{\RealPart}{\mathrm{Re}}$

$\newcommand{\ImaginaryPart}{\mathrm{Im}}$

$\newcommand{\Argument}{\mathrm{Arg}}$

$\newcommand{\norm}[1]{\| #1 \|}$

$\newcommand{\inner}[2]{\langle #1, #2 \rangle}$

$\newcommand{\Span}{\mathrm{span}}$

$\newcommand{\id}{\mathrm{id}}$

$\newcommand{\Span}{\mathrm{span}}$

$\newcommand{\kernel}{\mathrm{null}\,}$

$\newcommand{\range}{\mathrm{range}\,}$

$\newcommand{\RealPart}{\mathrm{Re}}$

$\newcommand{\ImaginaryPart}{\mathrm{Im}}$

$\newcommand{\Argument}{\mathrm{Arg}}$

$\newcommand{\norm}[1]{\| #1 \|}$

$\newcommand{\inner}[2]{\langle #1, #2 \rangle}$

$\newcommand{\Span}{\mathrm{span}}$

Цілі навчання

Опишіть, як значення ймовірності використовується, щоб поставити під сумнів нульову гіпотезу
Визначте «статистично значущі»
Розрізняють статистичну значимість і практичну значимість
Розрізняють два підходи до тестування значущості

Низьке значення ймовірності ставить під сумнів нульову гіпотезу. Наскільки низьким має бути значення ймовірності, щоб зробити висновок, що нульова гіпотеза помилкова? Хоча на це питання явно немає правильної або неправильної відповіді, прийнято робити висновок, що нульова гіпотеза є помилковою, якщо значення ймовірності менше $0.05$ . Більш консервативні дослідники роблять висновок, що нульова гіпотеза є помилковою тільки в тому випадку, якщо значення ймовірності менше $0.01$ . Коли дослідник робить висновок, що нульова гіпотеза є помилковою, дослідник, як кажуть, відхилив нульову гіпотезу. Значення ймовірності, нижче якого відхиляється нульова гіпотеза, називається $\alpha$ (альфа) рівнем або просто $\alpha$ . Його ще називають рівнем значущості.

Коли нульова гіпотеза відхиляється, ефект, як кажуть, є статистично значущим. Наприклад, у прикладі «Реакції лікарів» значення ймовірності є $0.0057$ . Тому ефект ожиріння є статистично значущим і нульова гіпотеза про те, що ожиріння не має значення, відкидається. Дуже важливо мати на увазі, що статистична значимість означає лише те, що нульова гіпотеза точно ніякого ефекту відкидається; це не означає, що ефект важливий, що зазвичай означає «значний». Коли ефект є значним, ви можете мати впевненість, що ефект не рівно нульовий. Виявлення того, що ефект є значним, не говорить вам про те, наскільки великий або важливий ефект.

Не варто плутати статистичну значимість з практичною значимістю. Невеликий ефект може бути дуже значним, якщо розмір вибірки досить великий.

Чому слово «значущий» у словосполученні «статистично значущий» означає щось настільки відмінне від інших вживань цього слова? Цікаво, що це пояснюється тим, що значення «значне» в повсякденній мові змінилося. Виявляється, коли були розроблені процедури перевірки гіпотез, щось було «значущим», якщо воно щось означало. Таким чином, виявлення того, що ефект є статистично значущим, означає, що ефект є реальним, а не випадковим. З роками значення «значне» змінювалося, що призвело до потенційного неправильного тлумачення.

Існує два підходи (як мінімум) до проведення тестів на значущість. В одному (прихильному Р.Фішер) проводиться тест на значущість і значення ймовірності відображає силу доказів проти нульової гіпотези. Якщо ймовірність нижче $0.01$ , дані дають вагомі докази того, що нульова гіпотеза є помилковою. Якщо значення ймовірності нижче, $0.05$ але більше $0.01$ , ніж, то нульова гіпотеза зазвичай відхиляється, але не з такою впевненістю, як це було б, якби значення ймовірності було нижче $0.01$ . Значення ймовірності між $0.05$ і $0.10$ дають слабкі докази проти нульової гіпотези і, за умовністю, не вважаються достатньо низькими, щоб виправдати її відхилення. Більш високі ймовірності дають менше доказів того, що нульова гіпотеза є помилковою.

Альтернативний підхід (віддають перевагу статистикам Нейман та Пірсон) полягає у визначенні рівня α перед аналізом даних. Якщо аналіз даних призводить до значення ймовірності нижче $\alpha$ рівня, то нульова гіпотеза відхиляється; якщо її немає, то нульова гіпотеза не відхиляється. Згідно з цією перспективою, якщо результат значний, то не важливо, наскільки він значний. Причому якщо вона не значна, то неважливо, наскільки вона близька до значущості. Тому, якщо використовується $0.05$ рівень, то значення ймовірності $0.049$ і $0.001$ трактуються однаково. Аналогічно значення ймовірності $0.06$ і $0.34$ трактуються однаково.

Колишній підхід (кращий Фішер) більше підходить для наукових досліджень і буде прийнятий тут. Останнє більше підходить для додатків, в яких має бути прийнято рішення «так/ні». Наприклад, якщо був проведений статистичний аналіз, щоб визначити, чи працює машина на виробничому підприємстві, статистичний аналіз використовувався б для визначення того, чи слід вимкнути машину для ремонту чи ні. Менеджер заводу був би менш зацікавлений у оцінці ваги доказів, ніж знати, які дії слід вжити. Немає необхідності в негайному рішенні в наукових дослідженнях, де дослідник може зробити висновок, що є деякі докази проти нульової гіпотези, але що потрібно більше досліджень, перш ніж можна зробити остаточний висновок.