11.6: Незначні результати

Last updated
Save as PDF

Page ID: 98252

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Цілі навчання

Поясніть, чому нульова гіпотеза не повинна прийматися
Обговоріть проблеми підтвердження негативного висновку

Коли тест на значущість призводить до високого значення ймовірності, це означає, що дані дають мало або зовсім не свідчать про те, що нульова гіпотеза є помилковою. Однак високе значення ймовірності не є доказом того, що нульова гіпотеза вірна. Проблема в тому, що неможливо відрізнити нульовий ефект від дуже маленького ефекту.

Приклад\(\PageIndex{1}\)

Наприклад, у тематичному дослідженні Джеймса Бонда припустимо, що пан Бонд насправді ледь кращий, ніж шанс судити, чи був мартіні струшений чи перемішується. Припустимо, що у нього є\(0.51\) probability of being correct on a given trial \(\pi=0.51\). Let's say Experimenter Jones (who did not know \(\pi=0.51\) tested Mr. Bond and found he was correct \(49\) times out of \(100\) tries. How would the significance test come out?

Рішення

Тест на значущість експериментатора базувався б на припущенні, що містер Бонд має\(0.50\) probability of being correct on each trial \(\pi=0.50\). Given this assumption, the probability of his being correct \(49\) or more times out of \(100\) is \(0.62\). This means that the probability value is \(0.62\), a value very much higher than the conventional significance level of \(0.05\). This result, therefore, does not give even a hint that the null hypothesis is false. However, we know (but Experimenter Jones does not) that \(\pi=0.51\) and not \(0.50\) and therefore that the null hypothesis is false. So, if Experimenter Jones had concluded that the null hypothesis was true based on the statistical analysis, he or she would have been mistaken.

Висновок про те, що нульова гіпотеза вірна, називається прийняттям нульової гіпотези. Зробити це - серйозна помилка.

Біноміальний калькулятор

Подальший аргумент за неприйняття нульової гіпотези

Не приймайте нульову гіпотезу, коли не відкидаєте її.

Отже, як слід інтерпретувати несуттєвий результат? Експериментатор повинен повідомити, що немає достовірних доказів, що пан Бонд може сказати, чи був мартіні струшувався або перемішувався, але що немає доказів того, що він не може. Довести негатив взагалі неможливо. Що робити, якщо я стверджував, що був Сократом в більш ранньому житті? Оскільки у мене немає доказів для цього твердження, мені було б важко переконати когось, що це правда. Однак ніхто не зміг би довести остаточно, що я не був.

Часто несуттєва знахідка підвищує впевненість у тому, що нульова гіпотеза є помилковою. Розглянемо наступний гіпотетичний приклад.

Приклад\(\PageIndex{2}\)

Дослідник розробляє лікування тривоги, яке, на його думку, краще, ніж традиційне лікування. Проводиться дослідження для перевірки відносної ефективності двох методів лікування:\(20\) subjects are randomly divided into two groups of 10. One group receives the new treatment and the other receives the traditional treatment. The mean anxiety level is lower for those receiving the new treatment than for those receiving the traditional treatment. However, the difference is not significant. The statistical analysis shows that a difference as large or larger than the one obtained in the experiment would occur \(11\%\) of the time even if there were no true difference between the treatments. In other words, the probability value is \(0.11\). A naive researcher would interpret this finding as evidence that the new treatment is no more effective than the traditional treatment. However, the sophisticated researcher, although disappointed that the effect was not significant, would be encouraged that the new treatment led to less anxiety than the traditional treatment. The data support the thesis that the new treatment is better than the traditional one even though the effect is not statistically significant. This researcher should have more confidence that the new treatment is better than he or she had before the experiment was conducted. However, the support is weak and the data are inconclusive. What should the researcher do?

Рішення

Розумним способом дій було б зробити експеримент знову. Скажімо, дослідник повторив експеримент і знову виявив, що нове лікування краще, ніж традиційне лікування. Однак ще раз ефект не був значним, і цього разу значення ймовірності було\(0.07\). The naive researcher would think that two out of two experiments failed to find significance and therefore the new treatment is unlikely to be better than the traditional treatment. The sophisticated researcher would note that two out of two times the new treatment was better than the traditional treatment. Moreover, two experiments each providing weak support that the new treatment is better, when taken together, can provide strong support. Using a method for combining probabilities, it can be determined that combining the probability values of \(0.11\) and \(0.07\) results in a probability value of \(0.045\). Therefore, these two non-significant findings taken together result in a significant finding.

Хоча ніколи не існує статистичної бази для висновку, що ефект дорівнює рівному нулю, статистичний аналіз може продемонструвати, що ефект, швидше за все, невеликий. Це робиться шляхом обчислення довірчого інтервалу. Якщо всі розміри ефекту в проміжку невеликі, то можна зробити висновок, що ефект невеликий. Наприклад, припустимо, експеримент перевірив ефективність лікування безсоння. Припустимо, що середній час засипання був на\(2\) хвилини коротшим для тих, хто отримує лікування, ніж для тих, хто знаходиться в контрольній групі, і що ця різниця не була значною. Якщо\(95\%\) довірчий інтервал коливався від\(8\) 5\(-4\) до хвилин, то дослідник був би виправданий, зробивши висновок, що користь становить вісім хвилин або менше. Однак дослідник не був би виправданий у висновку, що нульова гіпотеза вірна, або навіть те, що вона була підтримана.