6.2: Мета-аналіз

Last updated
Save as PDF

Page ID: 98757

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Цілі навчання

Щоб використовувати мета-аналіз, коли ви хочете об'єднати результати різних досліджень, роблячи еквівалент одного великого дослідження, тому подивіться, чи є загальний ефект значним.

Коли його використовувати

Мета-аналіз - це статистична методика об'єднання результатів різних досліджень, щоб побачити, чи є загальний ефект значним. Люди зазвичай роблять це, коли є кілька досліджень з суперечливими результатами - препарат робить або не працює, зниження солі в їжі робить або не впливає на артеріальний тиск, такого роду речі. Мета-аналіз - це спосіб об'єднання результатів усіх досліджень; в ідеалі результат такий же, як проведення одного дослідження з дійсно великим розміром вибірки, досить великим, щоб остаточно продемонструвати ефект, якщо він є, або остаточно відхилити ефект, якщо немає помітного розміру.

Я збираюся окреслити загальні кроки, пов'язані з проведенням мета-аналізу, але я не збираюся описувати його досить детально, щоб ви могли зробити це самостійно; якщо це те, що ви хочете зробити, див. Берман і Паркер (2002), Гуревич і Хеджес (2001), Хеджес і Олкін (1985), або якусь іншу книгу. Натомість я сподіваюся пояснити деякі основні кроки мета-аналізу, щоб ви знали, на що звернути увагу, коли читаєте результати мета-аналізу, який зробив хтось інший.

Вирішіть, які дослідження включати

Перш ніж почати збирати дослідження, важливо вирішити, які з них ви збираєтеся включити, а які виключити. Ваші критерії повинні бути максимально об'єктивними; хтось інший повинен бути в змозі подивитися на ваші критерії, а потім включати і виключати ті самі дослідження, які ви зробили. Наприклад, якщо ви дивитеся на вплив препарату на хворобу, ви можете вирішити, що варто подивитися лише подвійні сліпі плацебо-контрольовані дослідження, або ви можете вирішити, що одиночні сліпі дослідження (де слідчий знає, хто отримує плацебо, але пацієнт цього не робить) є прийнятними; або ви можете вирішити, що будь-яке дослідження взагалі на препарат і захворювання має бути включено.

Ви не повинні використовувати розмір вибірки як критерій для включення або виключення досліджень. Статистичні методи, що використовуються для мета-аналізу, дадуть дослідження з меншими розмірами вибірки меншої ваги, яку вони заслуговують.

Пошук досліджень

Наступним кроком мета-аналізу є знаходження всіх досліджень з цього питання. Важливою проблемою в мета-аналізі є те, що відомо як «ефект ящика файлів»; люди, які проводять дослідження і не знайшли значного результату, рідше опублікують його, ніж якщо вони знаходять значний результат. Дослідження з несуттєвими результатами, як правило, нудні; важко встати ентузіазм, щоб написати їх, і важко отримати їх опублікованими в гідних журналах. Це дуже спокусливо для когось з купою нудних, несуттєвих даних, щоб спокійно покласти його в ящик файлів, сказати «Я напишу це, коли отримаю трохи вільного часу», а потім ніколи насправді не отримати достатньо вільного часу.

Причина, по якій ефект\(5\%\) файлового ящика важливий для мета-аналізу, полягає в тому, що навіть якщо немає реального ефекту, дослідження покаже значний результат на\(P<0.05\) рівні; це, врешті-решт,\(P<0.05\) означає, що існує\(5\%\) ймовірність отримати цей результат, якщо нульова гіпотеза це правда. Отже, якщо\(100\) люди робили експерименти, щоб побачити, чи думки про довгі нігті змусили ваші нігті рости швидше, ви очікуєте\(95\) від них знайти несуттєві результати. Вони скажуть собі: «Ну, це не вийшло, можливо, я коли-небудь напишу це для журналу Fingernail Science», а потім продовжуйте робити експерименти над тим, чи мислення про довге волосся змусило ваше волосся рости довше і ніколи не обійтися, щоб написати результати нігтя. \(5\)Люди, які знайшли статистично значущий вплив думки на ріст нігтів, стрибатимуть вгору і вниз в хвилюванні при їх дивовижному відкритті, а потім отримати свої статті, опубліковані в Science or Nature. Якщо ви зробили мета-аналіз опублікованих результатів про думки про нігті та ріст нігтів, ви б зробили висновок, що був сильний ефект, хоча нульова гіпотеза вірна.

Щоб обмежити ефект файлового ящика, важливо провести ретельний пошук літератури, включаючи дійсно незрозумілі журнали, а потім спробувати перевірити, чи є неопубліковані експерименти. Щоб дізнатися про неопубліковані експерименти, ви можете переглянути резюме профінансованих грантових пропозицій, які для державних установ, таких як NIH та NSF, доступні для пошуку в Інтернеті; переглянути тези зустрічей у відповідному полі; написати авторам опублікованих досліджень; та надсилати звернення електронною поштою списки.

Ви ніколи не можете бути на 100% впевнені, що ви знайшли кожне дослідження на вашу тему коли-небудь зроблено, але це не означає, що ви можете цинічно відхилити результати кожного мета-аналізу з магічними словами «ефект файлового ящика». Якщо ваш мета-аналіз впливу думки на ріст нігтів виявив\(5\) опубліковані статті з індивідуально значущими результатами, і ретельний пошук за допомогою кожного ресурсу, який ви могли б подумати про знайдені\(5\) інші неопубліковані дослідження з несуттєвими результатами, ваш мета-аналіз, ймовірно, показати значний загальний ефект, і ви, мабуть, повинні вірити в це. Для того, щоб\(5\) значні результати були помилковими спрацьовуваннями, повинно бути щось на зразок\(90\) додаткових неопублікованих досліджень, про які ви не знали, і, безумовно, область науки про нігті досить мала, щоб не могло бути стільки досліджень, про які ви не чули. Існують способи оцінити, скільки неопублікованих, незначущих досліджень повинно бути, щоб зробити загальний ефект у мета-аналізі несуттєвим. Якщо це число абсурдно велике, ви можете бути більш впевнені, що ваш значний метааналіз не пов'язаний з ефектом файлового ящика.

Витягніть інформацію

Якщо метою мета-аналізу є оцінка середньої різниці між двома методами лікування, вам потрібні засоби, розміри вибірки та міра варіації: стандартне відхилення, стандартна похибка або довірчий інтервал. Якщо метою є оцінка зв'язку між двома змінними вимірювання, вам потрібен нахил регресії, розмір вибірки і\(r^2\). Сподіваємося, ця інформація представлена в публікації в числовому вигляді. Нудні, несуттєві результати, швидше за все, будуть представлені в неповному вигляді, тому не варто швидко виключати папери зі свого мета-аналізу лише тому, що вся необхідна інформація не представлена у зручному для використання вигляді в статті. Якщо це не так, вам може знадобитися написати авторів або виміряти розмір і положення функцій на опублікованих графіках.

Зробіть мета-аналіз

Основна ідея мета-аналізу полягає в тому, що ви берете середньозважене значення різниці в засобах, нахилі регресії або іншої статистики в різних дослідженнях. Експерименти з більшими розмірами вибірки отримують більшу вагу, як і експерименти з меншими стандартними відхиленнями або більш високими\(r^2\) значеннями. Потім ви можете перевірити, чи суттєво відрізняється ця загальна оцінка від нуля.

Інтерпретувати результати

Мета-аналіз був винайдений як більш об'єктивний спосіб опитування літератури на предмет. Традиційне опитування літератури складається з експерта, який читає купу паперів, відхиляє або ігнорує ті, які, на їхню думку, не дуже хороші, а потім приходить до деякого висновку на основі того, що, на їхню думку, є хорошими документами. Проблема з цим полягає в тому, що легше побачити недоліки в паперах, які не згодні з вашими упередженими уявленнями про предмет і відхилити їх, при цьому вирішивши, що папери, які погоджуються з вашою позицією, є прийнятними.

Проблема з мета-аналізом полягає в тому, що багато наукових досліджень дійсно є лайном, і штовхаючи купу маленьких паль лайна разом просто дає вам одну велику купу лайна. Наприклад, припустимо, ви хочете знати, чи лікує місячна вода під напругою головні болі. Ви піддаєте трохи води місячному світлу, даєте маленькі пляшки з нею своїм\(20\) друзям і говорите: «Візьміть це наступного разу, коли у вас болить голова». Ви просите їх записати тяжкість свого головного болю за\(10\) -бальною шкалою, випити воду під напругою місячного світла, а потім записувати тяжкість їх головного болю\(30\) хвилин пізніше. Це дослідження - хрень - будь-яке повідомлення про поліпшення може бути пов'язано з ефектом плацебо, або головні болі, природно, покращуються з часом, або місячним світлом води, що лікує зневоднення так само, як і звичайна вода, або ваші друзі брешуть, тому що вони знали, що ви хочете побачити поліпшення. Якщо ви включите це дерьмове дослідження у великий мета-аналіз впливу місячного світла води на біль, жодна кількість складного статистичного аналізу не змусить його дерьмовість зникнути.

Ви, напевно, думаєте, що «вода під енергією місячного світла» - це ще одна смішно абсурдна річ, яку я щойно придумав, чи не так? Що ніхто не міг бути настільки дурним, щоб повірити в таке? На жаль, є люди, які дурні.

Наполеглива робота мета-аналізу полягає в пошуку всіх досліджень і витягу з них необхідної інформації, тому спокусливо бути враженим мета-аналізом великої кількості досліджень. Мета-аналіз\(50\) досліджень звучить більш вражаючим, ніж мета-аналіз\(5\) досліджень; це\(10\) часи великі і представляють\(10\) рази більше роботи, врешті-решт. Однак ви повинні запитати себе: «Чому люди продовжують вивчати одне і те ж знову і знову? Що спонукало когось зробити цей\(50^{th}\) експеримент, коли це вже було зроблено\(49\) раз раніше?» Часто причиною цього\(50^{th}\) дослідження є те, що попередні\(49\) дослідження в деякому роді були дерьмовими. Якщо у вас є\(50\) дослідження, і\(5\) з них краще за деякими об'єктивними критеріями\(45\), ніж інші, вам буде краще використовувати тільки\(5\) найкращі дослідження у вашому мета-аналізі.

Приклад

Хондроітин - це полісахарид, отриманий з хряща. Він зазвичай використовується людьми з артритом у переконанні, що це зменшить біль, але клінічні дослідження його ефективності дали суперечливі результати. Reichenbach et al. (2007) виконали метааналіз досліджень на хондроїтин і артрит болю колінного і тазостегнового суглоба. Вони визначили відповідні дослідження шляхом електронного пошуку баз даних літератури та реєстрів клінічних випробувань, ручного пошуку матеріалів конференцій та довідкових списків статей та контактів з різними експертами у цій галузі. Використовувалися лише випробування, які включали порівняння пацієнтів, які отримували хондроїтин з контрольними пацієнтами; контроль може бути або плацебо, або без лікування. Вони отримали необхідну інформацію про величину болю і варіації шляхом вимірювання графіків в роботах, якщо це необхідно, або зв'язавшись з авторами.

Початковий пошук літератури дав\(291\) потенційно релевантні звіти, але після усунення тих, які не використовували контроль, ті, які випадковим чином не призначали пацієнтів до груп лікування та контролю, ті, які використовували інші речовини у поєднанні з хондроїтином, ті, для яких необхідні інформації не було і т.д., вони залишилися з\(20\) судовими розглядами.

Статистичний аналіз всіх\(20\) випробувань показав великий, значний ефект хондроїтину в зменшенні болю при артриті. Однак автори відзначили, що більш ранні дослідження, опубліковані в 1987-2001 роках, мали великі наслідки, в той час як більш пізні дослідження (які, як ви сподіваєтеся, краще) показали мало або зовсім не ефект хондроїтину. Крім того, випробування з меншими стандартними помилками (через більші розміри вибірки або меншу варіацію серед пацієнтів) показали незначний ефект або зовсім не показали. Зрештою, Reichenbach et al. (2007) проаналізували лише три найбільших дослідження з тим, що вони вважали найкращими конструкціями, і вони показали по суті нульовий ефект хондроїтину. Вони прийшли до висновку, що немає хороших доказів того, що хондроїтин ефективний при артриті колін і тазостегнових болів. Інші дослідники не згодні з їх висновком (Goldberg et al. 2007, Pelletier 2007); хоча ретельний метааналіз є цінним способом узагальнення наявної інформації, навряд чи він надасть останнє слово з питання, яке було вирішено з великою кількістю погано розроблених досліджень.

Рис. 6.2.1 Вплив хондроїтину проти року публікації дослідження. Негативні цифри вказують на меншу хворобливість при кондроітині, ніж в контрольній групі. Лінійна регресія є значною (r ² = 0,45, P = 0,001), тобто більш пізні дослідження показують значно менший вплив хондроїтину на біль.

Рис. 6.2.2 Вплив хондроїтину проти стандартної похибки середнього розміру ефекту. Негативні цифри вказують на меншу хворобливість при кондроітині, ніж в контрольній групі. Лінійна регресія є значною (\(r^2=0.35, P=0.006\)*), тобто кращі дослідження (менша стандартна похибка) показують значно менший вплив хондроїтину на біль.*

Посилання

Берман, Н.Г., і Р.А. Паркер. 2002. Мета-аналіз: ні швидкий, ні простий. Методи медичних досліджень BMC 2:10. [Хороший читабельний вступ до медичного мета-аналізу, з великою кількістю корисних посилань.]
Голдберг, Х., Авінс, і С.Бент. 2007. Хондроітин при остеоартрозі колінного або тазостегнового суглоба. Літопис внутрішньої медицини 147:883.
Гуревич, Дж., Хеджес Л.В. Мета-аналіз: об'єднання результатів незалежних експериментів. с. 347-369 в проектуванні та аналізі екологічних експериментів, С.М.Шейнер та Ю.Гуревич, ред. Преса Оксфордського університету, Нью-Йорк. [Обговорюється використання мета-аналізу в екології, інша перспектива, ніж більш поширене використання мета-аналізу в медичних дослідженнях та соціальних науках.]
Жива огорожа Л.В., та І.Олькін. 1985. Статистичні методи метааналізу. Академічна преса, Лондон. [Я цього не читав, але, мабуть, це класичний текст на мета-аналізі.]
Пеллетьє, Ж.-П. 2007. Хондроітин при остеоартрозі колінного або тазостегнового суглоба. Літописи внутрішньої медицини 147:883-884.
Райхенбах, С., Шерер Р.Шерер, С.Трелле, Е. Бюргі, У. Бюргі, П.А. Дьеп, і П.Юні. 2007. Мета-аналіз: Хондроітин при остеоартрозі колінного або тазостегнового суглоба. Літопис внутрішньої медицини 146:580-590.