8: Кожен робить помилки

До цих пір я припускав, що вчені здатні робити статистичні обчислення з ідеальною точністю, і лише помиляються у виборі відповідних чисел для обчислення. Вчені можуть зловживати результатами статистичних тестів або не робити відповідних обчислень, але вони можуть принаймні обчислити\(p\) значення, чи не так?

Можливо, ні.

Опитування статистично значущих результатів, повідомлених у медичних та психологічних випробуваннях, свідчать про те, що багато\(p\) значень є неправильними, а деякі статистично незначні результати насправді значущі при правильному обчисленні. ^{25, 2} Інші огляди знаходять приклади невірно класифікованих даних, помилкового дублювання даних, включення неправильного набору даних повністю та інших переплутань, все це приховано паперами, які не описували їх аналіз досить докладно, щоб помилки бути легко поміченим. ^{1, 26}

Сонячне світло є найкращим дезінфікуючим засобом, і багато вчених закликали до того, щоб експериментальні дані були доступні через Інтернет. У деяких сферах це зараз звично: існують бази даних секвенування генів, банки даних білкової структури, астрономічні бази даних спостережень та колекції спостережень Землі, що містять внески тисяч вчених. Однак багато інших галузей не можуть ділитися своїми даними через непрактичність (дані фізики частинок можуть містити багато терабайт інформації), проблеми конфіденційності (у медичних випробуваннях), відсутність фінансування або технологічної підтримки або просто бажання зберегти власний контроль над даними та всіма відкриттями, які призводять до цього від нього. І навіть якби дані були всі доступні, хто-небудь проаналізував би все це, щоб виявити помилки?

Аналогічним чином, вчені в деяких областях підштовхнули до того, щоб зробити їх статистичний аналіз доступним за допомогою розумних технологічних інструментів. Інструмент під назвою Sweave, наприклад, дозволяє легко вставляти статистичні аналізи, виконані за допомогою популярної мови програмування R, всередині статей, написаних у LaTeX, стандарті для наукових та математичних публікацій. Результат виглядає так само, як і будь-яка наукова робота, але інший вчений, читаючи статтю і цікавившись її методами, може завантажити вихідний код, який показує, як саме були розраховані всі числа. Але чи скористалися б вчені цією можливістю? Ніхто не отримує наукової слави, перевіряючи код на помилки.

Іншим рішенням може бути реплікація. Якщо вчені ретельно відтворюють експерименти інших вчених і підтверджують їх результати, набагато простіше виключити можливість помилки, що викликає помилковий результат. Реплікація також висіває помилкові спрацьовування. Багато вчених стверджують, що експериментальна реплікація є серцем науки: жодна нова ідея не приймається, поки вона не була самостійно перевірена і повторно перевірена по всьому світу і не знайдена, щоб утримувати воду.

Це не зовсім так; вчені часто сприймають попередні дослідження як належне, хоча іноді вчені вирішують систематично повторне тестування попередніх робіт. Один новий проект, наприклад, має на меті відтворити статті у великих журналах психології, щоб визначити, скільки паперів затримуються протягом довгого часу - і які атрибути статті прогнозують, наскільки ймовірно, що вона витримає повторне тестування. \(^{[1]}\)В іншому прикладі дослідники раку в Amgen повторно протестували\(53\) знакові доклінічні дослідження в дослідженнях раку. (Під «доклінічними» я маю на увазі дослідження не залучали пацієнтів людини, оскільки вони тестували нові та недоведені ідеї.) Незважаючи на роботу у співпраці з авторами оригінальних статей, дослідники Amgen могли відтворити лише шість досліджень. ⁵ Дослідники Bayer повідомили про подібні труднощі при тестуванні потенційних нових препаратів, знайдених в опублікованих роботах. ⁴⁹

Це викликає занепокоєння. Чи актуальна тенденція для менш спекулятивних видів медичних досліджень? Очевидно, так: з найпопулярніших дослідницьких статей у медицині чверть залишилися неперевіреними після їх публікації, а третина виявилася перебільшеною або неправильною подальшими дослідженнями. ³² Це не так екстремально, як результат Amgen, але це змушує задуматися, які важливі помилки все ще ховаються непоміченими у важливих дослідженнях. Реплікація не настільки поширена, як хотілося б, і результати не завжди сприятливі.