7: Свобода дослідника - хороші вібрації?

Last updated
Save as PDF

Page ID: 97664

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Існує поширена помилка, що статистика нудна і одноманітна. Зберіть багато даних, підключіть цифри в Excel або SPSS або R, і бити програмне забезпечення палицею, поки він не виробляє кілька барвистих діаграм і графіків. Готово! Все, що повинен зробити статистик, - це зчитувати результати.

Але треба вибирати, які команди використовувати. Два дослідники, які намагаються відповісти на одне і те ж питання, можуть повністю виконувати різні статистичні аналізи. Є багато рішень, які потрібно прийняти:

Для яких змінних я підлаштовую? Наприклад, у медичному дослідженні ви можете контролювати вік пацієнта, стать, вагу, ІМТ, попередню історію хвороби, куріння, вживання наркотиків або результати медичних тестів, зроблених перед початком дослідження. Які з цих факторів важливі, а які можна ігнорувати?
Які випадки я виключаю? Якщо я тестую плани дієти, можливо, я хочу виключити випробовуваних, які зіткнулися з неконтрольованою діареєю під час випробування, оскільки їх результати будуть ненормальними.
Що мені робити з викидами? Завжди будуть якісь результати, які є незвичайними, з відомих або невідомих причин, і я, можливо, захочу їх виключити або проаналізувати спеціально. Які випадки вважаються викидами, і що мені з ними робити?
Як визначити групи? Наприклад, я можу захотіти розділити пацієнтів на групи «надмірна вага», «нормальна» та «недостатня вага». Де я намалюю лінії? Що робити з м'язовим культуристом, ІМТ якого знаходиться в діапазоні «надмірної ваги»?
А як щодо відсутніх даних? Можливо, я перевіряю рівень ремісії раку новим препаратом. Я запускаю випробування протягом п'яти років, але у деяких пацієнтів пухлини з'являться знову через шість років, або вісім років. Мої дані не включають їх повторення. Як це врахувати при вимірюванні ефективності препарату?
Скільки даних я повинен збирати? Чи варто зупинятися, коли я отримаю остаточний результат, або продовжувати, як планувалося, поки я не зберу всі дані?
Як я можу виміряти свої результати? Ліки можуть бути оцінені за допомогою суб'єктивних опитувань пацієнтів, результатів медичних тестів, поширеності певного симптому або таких заходів, як тривалість хвороби.

Отримання результатів може зайняти години розвідки та аналізу, щоб побачити, які процедури є найбільш підходящими. Статті зазвичай пояснюють проведений статистичний аналіз, але не завжди пояснюють, чому дослідники обрали один метод над іншим, або пояснюють, які результати будуть, якби дослідники обрали інший метод. Дослідники можуть вибирати будь-які методи, які вони вважають за потрібне - і хоча вони можуть зробити правильний вибір, що буде, якщо вони проаналізують дані по-іншому?

У моделюванні можна отримати різні розміри ефектів у два рази, просто підлаштовуючи для різних змінних, виключаючи різні набори випадків та обробляючи викиди по-різному. ³⁰ Розмір ефекту - це те найважливіше число, яке говорить вам, наскільки різниця робить ваше ліки. Таким чином, мабуть, бути вільним аналізувати, як ви хочете, дає вам величезний контроль над своїми результатами!

Найбільш хвилюючим наслідком цієї статистичної свободи є те, що дослідники можуть вибрати найбільш сприятливий для них статистичний аналіз, довільно виробляючи статистично значущі результати, граючи з даними, поки щось не з'явиться. Моделювання припускає, що помилкові позитивні показники можуть перестрибнути до більш ніж\(50\)% для даного набору даних, просто дозволяючи дослідникам спробувати різні статистичні аналізи, поки один не працює. ⁵³

Медичні дослідники розробили способи запобігання цьому. Дослідники часто зобов'язані скласти протокол клінічних випробувань, пояснюючи, як дані будуть збиратися та аналізуватися. Оскільки протокол складається до того, як дослідники побачать будь-які дані, вони не можуть створити свій аналіз, щоб бути найбільш сприятливим для них. На жаль, багато досліджень відходять від своїх протоколів і виконують різний аналіз, дозволяючи дослідникові упередженість повзти. ¹⁵^, ¹⁴ Багато інших наукових галузей взагалі не мають вимоги до публікації протоколу.

Поширення статистичних методів дало нам багато корисних інструментів, але, схоже, їх використовували як тупі об'єкти. Потрібно просто бити дані, поки вони не зізнаються.