9.2: Просто залиште подробиці

Last updated
Save as PDF

Page ID: 97641

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Nitpicking статистиків отримання вас вниз, вказуючи на недоліки у вашому папері? Є одне чітке рішення: не публікуйте стільки деталей! Вони не можуть знайти помилки, якщо ви не скажете, як ви оцінювали свої дані.

Я не маю на увазі серйозно припустити, що злі вчені роблять це навмисно, хоча, можливо, деякі роблять. Частіше деталі залишаються поза увагою, оскільки автори просто забули їх включити, або тому, що обмеження простору журналу змушують їх упущення.

Можна оцінити дослідження, щоб побачити, що вони залишили. Вчені, провідні медичні випробування, зобов'язані надати детальні плани вивчення етичних оглядових комісій перед початком судового розгляду, тому одна група дослідників отримала колекцію цих планів від оглядової ради. Плани вказують, які результати дослідження буде вимірювати: наприклад, дослідження може контролювати різні симптоми, щоб побачити, чи впливають на лікування. Потім дослідники знайшли опубліковані результати цих досліджень і шукали, наскільки добре ці результати були повідомлені.

Приблизно половина результатів взагалі ніколи не з'являлася в науковому журналі. Багато з них були статистично незначними результатами, які були помічені під килимом. \(^{[1]}\)Ще один великий шматок результатів не був повідомлений досить докладно, щоб вчені могли використовувати результати для подальшого мета-аналізу. ¹⁴

Інші відгуки виявили подібні проблеми. Огляд медичних випробувань виявив, що більшість досліджень опускають важливі методологічні деталі, такі як зупинка правил і розрахунків потужності, при цьому дослідження в невеликих спеціалізованих журналах набагато гірше, ніж у великих журналах загальної медицини. ²⁹

Медичні журнали почали боротися з цією проблемою за допомогою стандартів звітності про результати, таких як контрольний список CONSORT. Автори зобов'язані дотримуватися вимог контрольного списку перед подачею своїх досліджень, а редактори перевіряють, щоб переконатися, що всі відповідні деталі включені. Контрольний список, здається, працює; дослідження, опубліковані в журналах, які дотримуються вказівок, як правило, повідомляють про більш важливі деталі, хоча не всі з них. ⁴⁶ На жаль, стандарти застосовуються непослідовно, і дослідження часто прослизають з відсутніми деталями. ⁴² Редактори журналу повинні докласти більше зусиль для забезпечення дотримання стандартів звітності.

Ми бачимо, що опубліковані статті не дуже добре. А як щодо неопублікованих досліджень?

Виноски

[1] Чому ми завжди говоримо «підмітали під килимок»? Чий це килимок? А чому вони не використовують пилосос замість віника?