8.2.5: Максимальна ентропія, аналітична форма

Last updated
Save as PDF

Page ID: 30084

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

$ \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } $ $ \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} $$\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$ $\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$

Тут ми демонструємо Принцип максимальної ентропії для простого випадку, в якому є одне обмеження і три змінні. Можна буде пройти всі етапи аналітично.

Припустимо, вас найняла Carnivore Corporation, материнська компанія Berger's Burgers, для аналізу своїх продажів у всьому світі. Ви відвідуєте ресторани Berger's Burgers по всьому світу і визначаєте, що в середньому люди платять за їжу 1,75 долара. (Як частина прихильності Carnivore до глобальної однорідності, ціна кожного прийому їжі абсолютно однакова в кожному ресторані, після того, як місцеві валюти конвертуються в долари США.)

Після того, як ви повернетеся, ваші керівники запитують про ймовірність того, що клієнт замовляє кожне з трьох цінних страв. Іншими словами, вони хочуть знати$p(B)$$p(C)$, і$p(F)$. Ви з жахом розумієте, що не зберегли вихідні дані, і немає часу повторити свою поїздку. Ви повинні зробити найкращу оцінку ймовірностей і$p(F)$ відповідати двом речам$p(B)$$p(C)$, які ви знаєте:

$1 = p(B) + p(C) + p(F) \tag{8.17}$

$$1.75 = $1.00p(B) + $2.00p(C) + $3.00p(F) \tag{8.18}$

Оскільки у вас є три невідомих і лише два рівняння, інформації для розв'язання невідомих недостатньо.

Що робити? Існує цілий ряд значень ймовірностей, які узгоджуються з тим, що ви знаєте. Однак вони залишають вас з різною кількістю невизначеності$S$

$S = p(B) \log_2 \Big(\dfrac{1}{p(B)}\Big) + p(C) \log_2 \Big(\dfrac{1}{p(C)}\Big) + p(F) \log_2 \Big(\dfrac{1}{p(F)}\Big) \tag{8.19}$

Якщо ви вибираєте той, для$S$ якого мало, ви припускаєте щось, чого не знаєте. Наприклад, якщо ваш середній був $2.00, а не $1.75, ви могли б задовольнити обидва ваші обмеження, припускаючи, що всі купили курячу їжу. Тоді ваша невизначеність була б 0 біт. Або ви могли б припустити, що половина замовлень була для гамбургерів і половина для риби, і невизначеність була б 1 біт. Жодне з цих припущень не здається особливо доречним, тому що кожне виходить за рамки того, що ви знаєте. Як ви можете знайти той розподіл ймовірностей, який не використовує ніяких подальших припущень, крім того, що ви вже знаєте?

Принцип максимальної ентропії ґрунтується на розумному припущенні, що ви повинні вибрати той розподіл ймовірностей, який залишає вам найбільшу невизначеність (тобто максимальну ентропію) відповідно до ваших обмежень. Таким чином, ви не ввели ніяких додаткових припущень у свої розрахунки.

Для простого випадку трьох ймовірностей і двох обмежень це легко зробити аналітично. Працюючи з двома обмеженнями, дві невідомі ймовірності можуть бути виражені в терміні третьої. Для нашого випадку ми можемо помножити рівняння 8.17 вище на $1.00 і відняти його від Рівняння 8.18, щоб усунути$p(B)$. Тоді ми можемо помножити перше на 2,00$ і відняти його від другого, тим самим усунувши$p(C)$:

$p(C) = 0.75 − 2p(F) \tag{8.20}$

$p(B) = 0.25 + p(F) \tag{8.21}$

Далі можна визначити можливий діапазон значень ймовірностей. Оскільки кожен з трьох лежить між 0 і 1, з цих результатів легко зробити висновок, що

$0 ≤ p(F) ≤ 0.375 \tag{8.22}$

$0 ≤ p(C) ≤ 0.75 \tag{8.23}$

$0.25 ≤ p(B) ≤ 0.625 \tag{8.24}$

Далі ці вирази можна підставити в формулу ентропії так, щоб вона виражалася через єдину ймовірність. Таким чином