27.5: Додаток- Зворотні ймовірності та правило Байєса

Тільки дві компанії таксі працюють в Бельвілі, штат Канзас. Blue Company має сині кабіни, а Green Company - зелені кабіни. Рівно 85% кабін синього кольору і 15% зелених. Таксі був залучений до аварії і бігу вночі. Очевидець, Уілбур, ідентифікував кабіну як зелену кабіну. Ретельні тести були зроблені, щоб з'ясувати здатність людей розрізняти сині та зелені кабіни вночі. Тести показали, що люди правильно визначали колір 80% часу, але вони помилялися 20% часу. Яка ймовірність того, що кабіна, яка бере участь в аварії, дійсно була зеленою кабіною, як каже Вілбур?

Такі проблеми вимагають від нас інтеграції знань про даний випадок (тут, що говорить очевидець) з попередньою інформацією про базові ставки (тут, яка частка кабін зелена). У багатьох випадках ми занадто зосереджуємося на наявній інформації та ігноруємо інформацію про базові ставки. Правильний спосіб надати обидві частини інформації їх належним чином є використання правила Байєса.

Правило Байєса

Правило Байєса (назване на честь преподобного Томаса Байеса, який відкрив його в вісімнадцятому столітті) - це лише ще одне правило для обчислення ймовірностей. Це говорить нам, як ми повинні змінювати або оновлювати ймовірності, коли ми отримуємо нову інформацію. Це дає задню ймовірність гіпотези А, враховуючи шматок нових доказів B як:

Пр (А | Б) = Пр (А) × Пр (В | А) /Пр (Б)

Ми говоримо, що Pr (A) - це попередня ймовірність гіпотези, Pr (B|A) ймовірність B з урахуванням A, а Pr (B) попередня ймовірність доказів B. Наприклад, A може бути гіпотезою про те, що Сміт заражений вірусом ВІЛ, а B може бути датумом (доказом), що його тест повернувся позитивним.

В якості ілюстрації, давайте попрацюємо над прикладом один вище (ми будемо працювати на прикладі два нижче). У цьому прикладі беруть участь Blue Company, яка має всі сині кабіни, і Green Company, яка має всі зелені кабіни. Рівно 85% кабін сині, а інші 15% - зелені. Таксі був залучений до аварії і бігу вночі. Чесний очевидець, Уілбур, визначив кабіну як зелену кабіну. Ретельні тести були зроблені, щоб встановити здатність свідка розрізняти сині та зелені кабіни вночі; вони показали, що люди змогли правильно визначити колір 80% часу, але вони помилялися 20% часу. Яка ймовірність того, що кабіна, яка бере участь в аварії, дійсно була зеленою кабіною? Той факт, що свідки надійні, змушує багатьох людей припустити, що Вілбур, мабуть, правий, навіть що ймовірність того, що він правий, становить 8. Але чи правильно це? Велика частина битви часто встановлює чіткі позначення, тому почнемо з цього:

• Пр (Г) = 1.5

Це базова ставка зелених таксі в місті. Це дає попередню ймовірність того, що кабіна в аварії зелена. Аналогічно Пр (Б) = 0,85.

• Пр (СГ|Г) = 0,80

Це ймовірність, що свідок буде правильним, кажучи зелений, коли кабіна насправді зелений, тобто, враховуючи, що кабіна дійсно була зелена. Аналогічно Пр (СБ|Б) = .80. Це ймовірності того, що свідки є правильними, тому за правилом заперечення ймовірності неправильних ідентифікацій:

• Пр (СГ | Б) = .2 і Пр (СБ | Г) = .2

Те, що ми хочемо знати, це ймовірність того, що кабіна дійсно була зелена, враховуючи, що Вілбур сказав, що вона зелена, тобто ми хочемо знати Pr (G|SG). Згідно з правилом Байєса, цю ймовірність дає:

Пр (Г | СГ) = Пр (Г) × Пр (СГ | Г) /Пр (СГ)

У нас є значення для двох виразів у чисельнику - PR (G) = .15 і Pr (SG|G) = .8 - але ми повинні зробити невелику роботу, щоб визначити значення виразу Pr (SG) у знаменнику. Щоб побачити, що це значення - ймовірність того, що свідок скаже, що кабіна була зелена - має бути, зверніть увагу, що є дві умови, за яких Вілбур міг сказати, що кабіна в аварії була зелена. Він міг би сказати це, коли кабіна була зелена або коли вона була синьою. Це диз'юнкція, тому ми додаємо ці дві ймовірності. У першому ди'юнкті Вілбур каже зелений, а кабіна зелена; у другому ди'юнкті Wilbur каже зелений, а кабіна синя. Збираючи це разом, ми отримуємо:

Пр (СГ) = Пр (Г & СГ) + Пр (Б & СГ)

Тепер наше правило для сполучників говорить нам, що Pr (G & SG) = Pr (G) x Pr (SG|G) і Pr (B & SG) = Pr (B) x Pr (SG|B). Отже,

Пр (СГ) = Пр (Г) × (СГ | Г) + Пр (Б) × Пр (СГ|Б)

= (. 15 × 0,8) + (. 85 × 2.0)

= 1,2+1,7

= 2,9

Нарешті, ми підставляємо це число, .29, у знаменник правила Байєса:

Пр (Г|СГ) = Пр (Г) × Пр (СГ | Г) /Пр (СГ)

= 15 х. 80. 29

= 4,14

Отже, ймовірність того, що свідок був правильним, сказавши, що кабіна була зелена, трохи вище .4 - менше п'ятдесяти/п'ятдесят - і (за правилом заперечення) ймовірність того, що він помиляється, майже 6. Це так, навіть якщо свідки надійні. Як це може бути? Відповідь полягає в тому, що висока базова ставка синіх кабін та низька базова ставка зелених кабін робить дещо імовірним, що свідок помилився в цьому випадку.

Правило для повних ймовірностей

При обчисленні значення знаменника у вищезгаданій задачі ми використовували Правило для загальних ймовірностей. Тут ми будемо використовувати простий, але широко застосовуваний варіант цього правила. Якщо речення B є істинним, то або B і A є істинними, або B і ~A є істинними (оскільки будь-яке речення A є істинним або хибним). Це дозволяє виразити ймовірність B — Pr (B) — більш складним способом. Це може здатися дивною справою, але виявляється, що часто можна обчислити ймовірність більш складного виразу, коли неможливо отримати ймовірність B більш безпосередньо.

Пр (В) = Пр [(B & A) або (B & ~A)]

= Пр (В & А) + Пр (Б & ~А)

= [Пр (А) × Пр (Б | А)] + [Пр (~А) × Пр (Б | ~А)])

Коротше кажучи:

Пр (В) = [Пр (А) × Пр (Б | А)] + [Пр (~А) × Пр (Б | ~А)]

Це правило може бути корисним у випадках, які не стосуються правила Байєса, а також у багатьох випадках, які це роблять. Це особливо корисно, коли ми маємо справу з результатом, який може статися будь-яким із двох способів.

Приклад: На заводі є дві машини, які роблять віджети. Машина А робить 800 в день і 1% з них несправні. Інша машина, називайте її ~A, робить 200 на день і 2% несправні. Яка ймовірність того, що віджет, вироблений заводом, буде несправним (D)? Ми знаємо наступне:

• Pr (A) = .8 — ймовірність того, що віджет зроблений машиною А, дорівнює 0,8 (оскільки ця машина робить 800 з 1000 вироблених щодня).
• Pr (~A) = .2 — ймовірність того, що віджет буде зроблений іншою машиною A, дорівнює .2.
• Pr (D|A) = .01 — ймовірність того, що віджет несправний, враховуючи, що він був зроблений машиною А, на якій виходить 1% дефектних віджетів, дорівнює .01p.
• Pr (D|~A) = .02 — ймовірність того, що віджет несправний, враховуючи, що він був зроблений машиною А, на якій виходить 2% дефектних віджетів, дорівнює .02p.

Включивши ці числа в теорему для повної ймовірності, ми маємо:

Пр (Д) = [Пр (А) × Пр (Д | А)] + [Пр (~А) × Пр (Д|~А)]

= [8 × .01] + [.2 × 0,2]

= 0,012

Коефіцієнти версії правила Байєса

Особливо, коли ми стурбовані взаємовиключною та неспільною гіпотезою (рак проти раку), версія шансів правила Байєса часто є найбільш корисною версією. Це також дозволяє нам уникнути необхідності значення для Pr (e), яке часто важко знайти. Нехай H буде якоюсь гіпотезою, що розглядається, і e бути якимось новопридбаним доказом (наприклад, результатом медичного тесту), який несе на ньому. Потім:

Пр (Н | е) /Пр (~Н | е) = Пр (Н) Пр (е | Н)/Пр (~Н) Пр (е | ~Н)

Вираз вище дає задні шанси двох гіпотез, Pr (H) /Pr (~H) дає свої попередні шанси, а Pr (E|h) /Pr (E|~h) - це співвідношення ймовірності (або діагностичного). При інтеграції інформації наші базові знання базових ставок відображаються в попередніх коефіцієнтах, а наші знання про конкретний випадок представлені коефіцієнтом ймовірності. Наприклад, якщо e представляє позитивний результат в тесті на наявність вірусу ВІЛ, то Pr (e|h) дає швидкість попадання (чутливість) тесту, а Pr (e|~h) дає частоту помилкових тривог. Як вказує мультиплікативне співвідношення в (2), коли попередні шанси досить низькі, навіть відносно високий коефіцієнт ймовірності не підвищить задні шанси різко.

Важливість інтеграції базових ставок у наші висновки наочно ілюструється прикладом два вище. Припустимо, що у нас є тест на вірус ВІЛ. Імовірність того, що людина, яка дійсно має вірус, випробує позитивний, становить 0,90, тоді як ймовірність того, що людина, яка його не має, буде тест позитивний, становить .20. Нарешті, припустимо, що ймовірність того, що у людини в загальній популяції вірус (базова норма вірусу) становить 0,01. Наскільки ймовірно, що Сміт, тест якого повернувся позитивним, заразиться?

Оскільки тест є стерпно точним, багато людей припускають, що шанси на зараження Сміта досить високі, можливо, навіть до 90%. Дійсно, різні дослідження показали, що багато медиків навіть припускають це. Було встановлено, що люди схильні плутати ймовірності та їхні розмови. Імовірність того, що ми отримаємо позитивний тест, е, якщо у людини вірус є 0.9, тобто Pr (e|h) = .9. Але ми хочемо знати ймовірність зворотного, ймовірність того, що людина має вірус, враховуючи, що вони тестували позитивно, тобто Pr (H |e). Вони не повинні бути однаковими або навіть близькими до того ж. Насправді, коли ми підключаємо цифри до правила Байєса, ми виявляємо, що ймовірність того, що хтось у цій ситуації заражений, досить низька.

Щоб переконатися в цьому, ми просто підключаємо наші цифри до версії шансів правила Байєса. Нам сказали, що:

• Пр (Е|ч) = 0,9
• Пр (Е|~ч) = 2.
• Пр (Н) = 0,01
• Пр (~Н) = 2,99.

Отже,

Пр (Н | е)/Пр (~Н | е) = Пр (Н)/Пр (~Н) × Пр (е | Н)/Пр (е | ~Н) =. 9/. 2 ×. 01/. 99 = 1/22

Це дає шанси: 22 до 1 проти зараження Сміта. Отже, Пр (Н |е) = 1/23. Хоча тест є відносно точним, низька базова швидкість означає, що існує лише 1 шанс у 23, що Сміт має вірус.

Подібні моменти стосуються інших медичних тестів та тестів на наркотики, якщо базова норма стану, що перевіряється, низька. Неважко побачити, як політики або громадськість, на яку вони реагують, можуть робити дуже неточні оцінки ймовірностей, а отже, і погані рішення щодо ризиків та засобів правового захисту, якщо вони не помічають важливість базових ставок.

Як ми вже зазначали раніше, це допоможе вам інтуїтивно подумати над цими питаннями, якщо ви спробуєте перефразувати проблеми ймовірності з точки зору частот або пропорцій, коли це можливо.

Подальші справи

Правило Байєса дає зрозуміти, коли умовна ймовірність буде дорівнює її зворотному. Коли ми дивимося на:

Пр (А | Б) = Пр (А) × Пр (В | А) Пр (Б)

ми бачимо, що Pr (A|B) = Pr (B|A) саме тоді, коли Pr (A) = Pr (B), так що вони скасовуються (припускаючи, як завжди, що ми не ділимо на нуль). Розділення обох сторін правила Байєса на Pr (B|A) дає нам наступне співвідношення:

Пр (А | Б) /Пр (В | А) = Пр (А) /Пр (Б)

який часто буває корисним.

Оновлення через умовність

Одним із способів оновити або переглянути наші переконання, враховуючи нові докази e, є встановлення нашої нової ймовірності (як тільки ми дізнаємось про докази) як:

Новий Pr (H) = Старий Pr (H | e)

зі старим Pr (H|e), визначеним правилом Байєса. Таке оновлення, як кажуть, передбачає байєсівську умовність.

Задача про еталонний клас

Є справжні труднощі у виборі правильної групи, яку слід враховувати, коли ми використовуємо базові ставки. Це відомо як проблема еталонного класу. Припустимо, що ми розглядаємо вплив куріння на рак легенів. Який еталонний клас слід врахувати: всім людям, тільки курцям, або просто завзятим курцям?

Подібні проблеми виникають, коли ми думаємо про регресію до середнього. Ми знаємо, що екстремальні виступи та результати, як правило, слідують ті, які є більш середніми (які регресують до середнього). Якщо Вілма потрапить 86% своїх пострілів у баскетбольній грі, вона, швидше за все, потрапить менший відсоток наступного тайм-аутту. Люди, схоже, не мають інтуїтивного розуміння цього явища, і складність ускладнюється тим, що, як і з базовими ставками, існує проблема щодо еталонного класу. Яке середнє значення буде регресувати до: середнє значення Вільми, її недавнє середнє значення або середній показник її команди?

До певного моменту менші еталонні класи, ймовірно, будуть гарантувати кращі прогнози, і ми також будемо зацікавлені в еталонних класах, які здаються причинно релевантними для характеристики, про яку ми дбаємо. Але якщо еталонний клас стає занадто малим, він не генерує стабільних частот, і часто буде важче знайти дані про менші класи, адаптовані до наших проблем. Немає єдиної правильної відповіді про те, який еталонний клас є правильним. Це часто вимагає розумного балансування компромісів. З базовими ставками мова може йти про зважування витрат на неправильне прогнозування проти виплати надзвичайної точності, або значення більш точної інформації проти витрат на її придбання або (якщо ви політик) той факт, що кількість еталонних класів зростає в геометричній прогресії з кожним новим змінна предиктора. Але хоча немає однозначно правильного способу використання базових ставок, з цього не випливає, що це нормально, щоб ігнорувати їх; неприйняття інформації про базову ставку до уваги, коли ми її маємо, часто призведе до поганої політики.

Вправи з теореми Байєса та умовних ймовірностей

1. У розділі про Правило загальної ймовірності ми зіткнулися з фабрикою з двома машинами, які роблять віджети. Машина А робить 800 в день і 1% з них несправні. Інша машина, називайте її ~A, робить 200 на день і 2% несправні. Яка ймовірність того, що віджет виробляється машиною А, враховуючи, що він несправний? Ми знаємо ймовірність того, що він несправний, якщо він виробляється A—Pr (D|A) = .01— але це вимагає протилежної або зворотної ймовірності; що таке Pr (A|D)? Використовуйте правило Байєса, щоб обчислити відповідь.
2. Раніше вас просили намалювати картинку, щоб вирішити наступну проблему; тепер вирішіть її шляхом розрахунку і подивіться, чи згодні ваші відповіді. Чиновники центру профілактики самогубств знають, що 2% всіх людей, які телефонують на гарячу лінію, намагаються самогубство. Психолог розробив швидкий і простий словесний тест, який допоможе визначити тих абонентів, які спробують самогубство. Вона виявила, що:
   1. 80% людей, які спробують самогубство, мають позитивний бал на цьому тесті.
   2. Тільки 5% тих, хто не буде намагатися самогубства, мають позитивний бал на цьому тесті.

Якщо ви отримаєте позитивну ідентифікацію від абонента на цьому тесті, яка ймовірність того, що він спробує самогубство?

3. Клінічний тест, призначений для діагностики конкретного захворювання, виходить позитивним для певного пацієнта. Нам кажуть, що:
   1. Тест є точним на 79%: шанси, що у вас є хвороба, якщо він говорить, що ви робите, становить 79%, а шанси, що у вас немає хвороби, якщо він говорить, що ви цього не робите, також 79%.
   2. Ця хвороба вражає 1% населення тієї ж вікової групи, що і пацієнт. Беручи до уваги ці два факти і припускаючи, що ви нічого не знаєте про симптоми або ознаки пацієнта, яка ймовірність того, що цей конкретний пацієнт насправді має хворобу?
4. Припустимо, що вам вручають два мішки фішок для покеру, але з боку ви не можете сказати, який саме.
   1. Сумка 1:70 червоних фішок і 30 синіх фішок
   2. Сумка 2:30 червоних фішок та 70 синіх фішок

Ви вибираєте один з двох мішків навмання і витягуєте з нього фішку. Фішка червона. Ви його замінюєте, знову малюєте, і отримуєте ще одну фішку, і так далі через дванадцять випробувань (тобто дванадцять нічиїв). У дванадцяти випробуваннях ви отримуєте 8 червоних фішок і 4 синіх фішки. Яка ймовірність того, що ви малювали фішки з Bag One (з 70 червоними та 30 синіми), а не з Bag Two (з 30 червоними та 70 синіми)? Більшість людей відповідають, що ймовірність того, що ви малювали з Bag One, становить близько 75. Насправді, як покаже правило Байєса, це 97. Але люди часто переглядають свої ймовірності менше, ніж правило Байєса говорить, що вони повинні. Люди консервативні, коли мова йде про оновлення своїх ймовірностей у світлі нових доказів. Скористайтеся правилом Байєса, щоб показати, що 97 є правильним значенням.

5. У Вілбура двоє дітей. Набігаємо на нього в торговому центрі з хлопчиком-підлітком, якого він вводить як свого сина. Яка ймовірність того, що інша дитина Вілбура - хлопчик? Другий сценарій: Вілбур знайомить хлопчика як свого старшого сина. Тепер яка ймовірність того, що інша його дитина - хлопчик? (Підказка: подумайте про проблему двох тузів вище).
6. Тисяча чоловік, в тому числі і ви, купили один квиток в місцеву лотерею. Переможців було десять, всі з яких були правильно повідомлені про те, що вони виграли. Але через канцелярську помилку 1% людей, які не виграли, також отримали повідомлення про те, що вони зробили. Ви отримали лист, в якому говорилося, що ви переможець. Яка ймовірність того, що ви дійсно виграли?
7. Проблема Монті Холла У попередньому розділі ми інтуїтивно підійшли до проблеми Монті Холла. Тепер ми перевіримо наші попередні відповіді за допомогою правила Байєса. Нагадаємо, що в цій задачі ви уявляєте, що ви учасник ігрового шоу і перед вами три двері. Немає нічого, що варто мати позаду двох з них, але за третім є $100,000. Якщо ви виберете правильні двері, гроші ваші. Ви обираєте A. Але перш ніж ведучий, Монті Холл, покаже вам, що знаходиться за цими дверима, він відкриває одну з двох інших дверей, вибравши одну, яку, як він знає, нічого не має за нею. Припустимо, він відкриває двері B. Це виводить B з бігу, тому єдине питання зараз - про двері А проти дверей C. Монті («M», коротко) тепер дозволяє переглянути свій попередній вибір: ви можете або дотримуватися двері A, або переключитися на двері C.
   1. Яка ймовірність того, що гроші знаходяться за дверима А?
   2. Яка ймовірність того, що гроші знаходяться за дверима С?

Оскільки ми задаємо ці питання після того, як Монті відкрив двері B, вони еквівалентні питанню про:

Відповідь

1. Нам дано всі відповідні цифри, крім Pr (D), але ми розрахували це в розділі про сумарні ймовірності. За правилом Байєса:

Пр (А | Г) = Пр (А) × Пр (Д | А) /Пр (Д)

= 8 × 0,01/. 2012

= 2/3

7. Давайте дамо двері літерні імена, щоб вони не плуталися з нашими цифрами. Потім, щоб вирішити проблему Монті Холла, ми повинні обчислити:

1' Пр ($ позаду A|M відкрито B)

2' Пр ($ позаду C|M відкрито B)

Правило Байєса говорить нам, що Pr (Гроші за A|M відкрили B) =

Пр ($ за А) × Пр (М відкрив Б | $ позаду А)/Пр (М відкриває Б)

Ми знаємо значення для двох елементів в чисельнику:

1. Pr ($ позаду A): попередня ймовірність того, що гроші знаходяться за дверима А становить 1/3 (заходячи, вона однаково цілком може опинитися за будь-якою з трьох дверей).
2. Pr (M відкритий B | $ за A) становить ½ (є п'ятдесят п'ятдесят шансів, що він відкриє або двері B, або двері C, коли гроші знаходяться за дверима A).
3. Але Pr (M відкриває B), число в знаменнику, вимагає певної роботи.

Щоб побачити значення знаменника - PR (M відкриває B) —зверніть увагу, що Монті ніколи не відкриє двері B, якщо гроші знаходяться позаду B. Отже, він може відкрити B рівно за двох умов. Він міг відкрити B, коли гроші позаду A або він може відкрити B, коли гроші позаду C.

Пр (М відкриває Б) = [Пр ($ за А) × Пр (М відкриває B | $ позаду А)]

+ [Пр ($ позаду C) × Пр (M відкривається B | $ позаду C)]

= [1/3 × 1/2] + [1/3 × 1]

= [1/6] + [1/3]

= 1/3

Підключивши це до знаменника в правилі Байєса, ми отримуємо:

Пр ($ за А | М відкрив Б) = Пр ($ за А) × Пр (М відкрив Б | $ позаду А)/Пр (М відкриває Б)

= 1/3 × 1/2/1/2

= 1/6/ 1/2

= 1/3

Отже, ймовірність того, що гроші знаходяться за вашими дверима, двері А, враховуючи, що Монті відкрив двері Б, становить 1/3. Оскільки єдина інша двері зліва - це двері С, ймовірність того, що гроші є, враховуючи, що Монті відкрив двері B, повинна бути 2/3. Використовуйте правило Байєса, щоб довести, що це правильно.

Виведення правила Байєса

Звідки походить теорема Байєса? Це просто вивести з наших правил обчислення ймовірностей. Вам не потрібно турбуватися про виведення, але тут він для тих, хто любить такі речі.

Пр (А | Б) = Пр (А і Б) /Пр (В)

= Пр (А) × Пр (В | А) /Пр (Б)

У реальних додатках ми часто не маємо прямих знань про значення знаменника, Pr (B), але в багатьох випадках ми маємо достатньо інформації, щоб обчислити його за допомогою Правило загальної ймовірності. Це говорить нам про те, що:

Пр (В) = Пр (В & А) + Пр (В & ~А)

= [Пр (А) × Пр (Б | А)] + [Пр (~А) × Пр (Б | ~А)

Отже, найкорисніша версія правила Байєса часто

Пр (А | Б) = Пр (А) × Пр (Б | А)/[Пр (А) × Пр (Б | А) + [Пр (~А) × Пр (Б |~А)]

Правило Байєса може приймати більш складні форми, але це настільки, наскільки ми візьмемо його в цій книзі.