10: Що ми зробили?

Last updated
Save as PDF

Page ID: 97670

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Я намалював похмуру картину. Але кожен може вибрати дрібні деталі в опублікованих дослідженнях і скласти величезний список помилок. Чи мають значення ці проблеми?

Ну так. Я б не написав цього інакше.

Знаменита стаття Джона Іоаннідіса «Чому більшість опублікованих результатів досліджень є помилковими» ³¹ була заснована на математичних проблемах, а не емпіричному тесті результатів досліджень. Якщо більшість дослідницьких статей мають погану статистичну силу - і вони роблять - тоді як дослідники мають свободу вибору серед безлічі методів аналізу, щоб отримати сприятливі результати - і вони роблять - коли більшість перевірених гіпотез є помилковими, а найбільш правдиві гіпотези відповідають дуже малим ефекти, ми математично визначаємо, щоб отримати безліч помилкових спрацьовувань.

Але якщо ви хочете емпіризму, ви можете мати його, люб'язно надано Джоном Іоаннідісом та Джонатаном Шенфельдом. Вони вивчали питання «Чи все, що ми їмо, пов'язане з раком?» ⁵¹ \(^{[1]}\)Вибравши п'ятдесят загальних інгредієнтів з кулінарної книги, вони поставили собі за мету знайти дослідження, що пов'язують їх з рівнем раку - і знайшли\(216\) дослідження з сорока різних інгредієнтів. Звичайно, більшість досліджень розходилися між собою. Більшість інгредієнтів мали кілька досліджень, стверджуючи, що вони збільшилися і зменшили ризик захворіти на рак. Більшість статистичних даних були слабкими, і мета-аналіз зазвичай виявляв набагато менший вплив на рівень раку, ніж початкові дослідження.

Звичайно, суперечити подальшим дослідженням та мета-аналізам не заважає цитувати папір так, ніби це правда. Навіть ефекти, які суперечили масовим подальшим випробуванням з однозначними результатами, часто цитуються через п'ять або десять років, причому вчені, очевидно, не помічають, що результати є помилковими. ⁵⁵ Звичайно, нові висновки широко оприлюднюються в пресі, тоді як суперечності та виправлення майже не згадуються. ²³ Навряд чи можна звинуватити вчених у тому, що вони не встигають.

Не будемо забувати про просто упереджені результати. Погані стандарти звітності в медичних журналах означають, що дослідження тестування нових методів лікування шизофренії можуть знехтувати включенням шкали, яку вони використовували для оцінки симптомів - зручне джерело упередженості, оскільки випробування з використанням неопублікованих шкал, як правило, дають кращі результати, ніж ті, які використовують раніше перевірені тести. ⁴⁰ Інші медичні дослідження просто опускають конкретні результати, якщо вони не є сприятливими або цікавими, зміщуючи наступні мета-аналізи, щоб включати лише позитивні результати. За оцінками, третина мета-аналізів страждає від цієї проблеми. ³⁴

Інший огляд порівнював мета-аналізи з подальшими великими рандомізованими контрольованими випробуваннями, які вважаються золотим стандартом в медицині. У більш ніж третині випадків результат рандомізованого судового процесу не відповідав мета-аналізу. ³⁹ Інші порівняння мета-аналізів з подальшими дослідженнями виявили, що більшість результатів були завищені, причому, можливо, п'ята частина представляла помилкові спрацьовування. ⁴⁵

Не будемо забувати про безліч фізико-наукових робіт, які зловживають довірчими інтервалами. ³⁷ Або рецензований психологічний документ, який нібито надає докази психічних повноважень, на основі неконтрольованих численних порівнянь у дослідницьких дослідженнях. ⁵⁸ Не дивно, що результати не вдалося повторити - вченими, які, здається, не підрахували статистичну потужність своїх тестів. ²⁰

У нас проблема. Давайте попрацюємо над її виправленням.

Виноски

[1] Важлива частина поточної онкологічної онтології проекту класифікувати все на дві категорії: те, що лікує рак і те, що викликає його.