5.5: Статистичні міркування - теорема Байєса

Діаграми частот: перший погляд на Байєс

Байєсівські міркування про те, як переглянути наші переконання в світлі доказів. Ми почнемо з розгляду одного сценарію, в якому сила доказів має чіткі цифри. (Не хвилюйтеся, якщо ви не знаєте, як вирішити наступну проблему. Ми незабаром побачимо, як це вирішити.)

Припустимо, ви медсестра скринінгу набору студентів на хворобу під назвою Дійсит.1

• Ви знаєте, з минулих досліджень населення, що близько 20% студентів матимуть захворювання в цю пору року.

Ви тестуєте на хворобу за допомогою депресора мови, що змінює колір, який зазвичай стає чорним, якщо у студента є захворювання.

• Серед пацієнтів з хворобою 90% перетворюють депресор язика в чорний колір.
• Однак депресор мови не є ідеальним, а також чорніє 30% часу для здорових учнів.

Один з ваших учнів приходить в кабінет, здає тест і перетворює депресор язика в чорний колір. Яка ймовірність того, що у них є захворюванняситу?

(Якщо ви думаєте, що бачите, як це зробити, ви можете спробувати вирішити цю проблему, перш ніж продовжувати. Щоб швидко побачити, чи правильно ви отримали відповідь, ви можете розгорнути кнопку «Відповідь» нижче; висновок буде надано найближчим часом.)

Імовірність того, що студент із почорнілим депресором язика має захворювання, становить 3/7, приблизно 43%. Цю проблему можна вирішити важким шляхом або розумним легким способом. Ми спочатку пройдемо важкий шлях.

По-перше, ми уявляємо, що населення налічує 100 студентів, з яких 20 хворіють на захворювання, а 80 - не2.

90% хворих студентів перетворюють свій депресор язика чорним, а 30% здорових студентів перетворюють депресор язика чорним. Таким чином, ми бачимо депресори чорного язика на 90% * 20 = 18 хворих студентів, і 30% * 80 = 24 здорових студентів.

Яка ймовірність того, що у школяра з депресором чорного язика хворобою? З діаграми є 18 хворих студентів з депресорами чорного язика. 18 + 24 = 42 студенти загалом перетворили свої депресори язика чорними. Уявіть собі, що тягнуться до мішка всіх учнів з депресорами чорного язика і випадковим чином витягуєте одного з цих учнів; який шанс, що такий студент захворів?

Остаточна відповідь полягає в тому, що пацієнт з депресором чорного язика має 18/42 = 3/7 = 43% ймовірність захворіти.

Багато студентів-медиків спочатку виявили цю відповідь незрозумілою: тест правильно виявляє захворювання 90% часу! Якщо тест повертається позитивним, чому все ще менше 50% ймовірності, що у пацієнта є хвороба? Що ж, тест також неправильно «виявляє» захворюванняє 30% часу у здорового пацієнта, і ми починаємо з набагато більше здорових пацієнтів, ніж хворих пацієнтів.

Тест дає деякі докази на користь хворого. Імовірність того, що пацієнт захворіє, йде від 20% до тесту, до 43% після того, як ми побачимо, що депресор язика чорніє. Але це не є переконливим, і нам потрібно провести подальші тести, можливо, більш дорогі.

Якщо ви відчуваєте, що розумієте цю проблему налаштування, подумайте про спробу відповісти на наступне питання, перш ніж продовжувати: Яка ймовірність того, що студент, який не повертає депресор язика в чорний колір - студент з негативним результатом тесту - має захворювання? Знову ми починаємо з 20% хворих і 80% здорових студентів, 70% здорових студентів отримають негативний результат тесту, і тільки 10% хворих студентів отримають негативний результат тесту.

Уявіть собі 20 хворих студентів і 80 здорових студентів. 10% * 20 = 2 хворих студентів мають негативні результати тесту. 70% * 80 = 56 здорових студентів мають негативні результати тесту. Серед 2+56=58 студентів з негативними результатами тестування 2 студенти - хворі студенти з негативними результатами тесту. Отже, 2/58 = 1/29 = 3,4% учнів з негативними результатами тесту мають захворювання.

Тепер перейдемо до більш швидкого, простішого способу вирішення тієї ж проблеми.

Уявіть собі водоспад з двома потоками води на вершині, червоним струменем і блакитним струменем. Ці потоки окремо підходять до вершини водоспаду, причому частина води з обох потоків відводиться по шляху, а решта води потрапляють в загальний басейн нижче.

Припустимо, що:

• У верхній частині водоспаду 20 галонів/секунду червоної води стікають вниз, і 80 галонів/секунду блакитної води спускаються вниз.
• 90% червоної води доходить до дна.
• 30% блакитної води доходить до дна.

З пурпурової води, яка потрапляє на дно басейну, скільки було спочатку від червоного струмка і скільки було спочатку від блакитного потоку?

Це структурно ідентично проблемі хвороби від раніше:

• 20% пацієнтів у скринінговому населенні починають з хворобою.
• Серед пацієнтів з хворобою 90% перетворюють депресор язика в чорний колір.
• 30% пацієнтів без захворювання також перетворять депресор язика в чорний колір.

20% хворих пацієнтів аналогічні 20 галонів/секунду червоної води; 80% здорових пацієнтів аналогічні 80 галонів/секунду блакитної води:

90% хворих пацієнтів, які повертають депресор язика чорним, є аналогічним 90% червоної води, що робить його на дно водоспаду. 30% здорових пацієнтів, що повертають депресор язика чорним, є аналогічним 30% синьої води, що робить його на дно басейну.

Тому питання «яка порція води в кінцевому басейні прийшла з червоного потоку?» має таку ж відповідь, що і на питання «яка частина пацієнтів, які чорніють депресором язика, хворіють на хвороба?»

Тепер про більш швидкий спосіб відповісти на це питання.

Починаємо з 4 рази більше блакитної води, ніж червона вода у верхній частині водоспаду.

Тоді кожна молекула червоної води на 90% імовірно потрапить до спільного басейну, і кожна молекула блакитної води на 30% імовірно потрапить до басейну. (90% червоної води та 30% синьої води потрапляють на дно.) Отже, кожна молекула червоної води в 3 рази частіше (0,90/0,30 = 3), як молекула блакитної води, щоб зробити її на дно.

Таким чином, ми помножимо попередні пропорції для червоного проти синього на відносну ймовірність і в кінцевому підсумку з остаточними пропорціями, які означають, що нижній басейн має 3 частини червоної води до 4 частин синьої води.

Щоб перетворити ці відносні пропорції в абсолютну ймовірність того, що випадкова молекула води на дні є червоною, ми обчислюємо 3/(3 + 4), щоб побачити, що 3/7 (приблизно 43%) води у спільному басейні надходить з червоного потоку.

Ця пропорція така ж, як у хворих пацієнтів 18:24 з позитивними результатами, проти здорових пацієнтів з позитивними результатами тесту, які ми отримали б, думаючи про 100 пацієнтів.

Тобто, щоб вирішити проблему хвороби у вашій голові, ви могли б перетворити це слово проблеми:

20% пацієнтів у скринінговому населенні мають захворювання. 90% пацієнтів з хворобою перетворюють депресор язика в чорний колір, а 30% пацієнтів без захворювання перетворюють депресор язика в чорний колір. Враховуючи, що пацієнт перетворив депресор язика в чорний колір, яка ймовірність того, що у них захворювання?

Гаразд, так початкові коефіцієнти становлять (20%: 80%) = (1:4), а ймовірність - (90%: 30%) = (3:1). Множення цих коефіцієнтів дає остаточний коефіцієнт (3:4), який перетворюється на ймовірність 3/7ths.

(Можливо, ви не зможете перетворити 3/7 на 43% у вашій голові, але ви, можливо, зможете очне яблуко, що це шматок менше 50%.)

Можна спробувати зробити подібний розрахунок для цієї проблеми:

• 90% віджетів хороші і 10% - погані.
• 12% поганих віджетів випромінюють іскри.
• Лише 4% хороших віджетів випромінюють іскри.

Який відсоток іскріння віджетів поганий? Якщо вам досить комфортно з налаштуванням, спробуйте виконати цю проблему цілком в голові.

(Ви можете спробувати візуалізувати водоспад з хорошими та поганими віджетами вгорі, і лише іскровими віджетами, що роблять його до нижнього басейну.)

• Там 's (1:9) погані проти хороших віджетів.
• Погані проти хороших віджетів мають (12:4) відносну ймовірність іскри.
• Це спрощує (1:9) x (3:1) = (3:9) = (1:3), 1 поганий віджет іскріння на кожні 3 хороших віджетів іскроутворення.
• Який перетворює на ймовірність 1/ (1+3) = 1/4 = 25%; тобто 25% іскрових віджетів погані.

Побачення іскри не змусило нас «повірити, що віджет поганий»; ймовірність лише зросла до 25%, що менше 50/50. Але це не означає, що ми говоримо: «Я все ще вірю, що цей віджет хороший!» і викинути докази і ігнорувати їх. Поганий віджет відносно частіше випромінює іскри, і тому бачити ці докази повинні змусити нас думати, що відносно більш імовірно, що віджет поганий, навіть якщо ймовірність ще не перевищила 50%. Збільшуємо свою ймовірність з 10% до 25%.

Водоспади є одним із способів візуалізації «форми шансів» «правила Байєса», який стверджує, що попередні шанси разів коефіцієнт ймовірності дорівнює заднім коефіцієнтам. У свою чергу, це правило можна розглядати як формалізацію поняття «сила доказів» або «наскільки доказ повинен змусити нас оновлювати наші переконання».