9.6.5: Приклади

Last updated
Save as PDF

Page ID: 29838

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

$ \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } $ $ \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} $$\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$ $\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$

Для прикладу Бергера Бургера, припустимо, що вам сказали, що середня ціна їжі становить $2.50, і ви хочете оцінити ймовірності$p(B)$,$p(C)$,$p(F)$, і$p(T)$. Ось що ви знаєте:

$\begin{align*} 1 &= p(B) + p(C) + p(F) + p(T) \tag{9.24} \\ 0 &= $1.00p(B) + $2.00p(C) + $3.00p(F) + $8.00p(T) − $2.50 \tag{9.25} \\ S &= p(B) \log_2 \Big(\dfrac{1}{p(B)} \Big) + p(C) \log_2 \Big(\dfrac{1}{p(C)} \Big) + p(F) \log_2 \Big(\dfrac{1}{p(F)} \Big) + p(T) \log_2 \Big(\dfrac{1}{p(T)} \Big) \tag{9.26} \end{align*}$

Ентропія найбільша, з урахуванням обмежень, якщо

де

$\alpha = \log_2(2^{−\beta $1.00} + 2^{− \beta $2.00} + 2^{− \beta $3.00} + 2^{−\beta $8.00}) \tag{9.31}$

і$\beta$ є значенням, для якого$f(\beta)$ = 0 де

$f(\beta) = $0.50 × 2^{−$0.50\beta} + $5.50 × 2^{−$5.50\beta} − $1.50 × 2^{$1.50\beta} − $0.50 × 2^{$0.50\beta} \tag{9.32}$

Трохи проб і помилок (або використання програми пошуку нуля) дає$\beta$ = 0,2586 біт/долар,$\alpha$ = 1,2371 біт,$p(B)$ = 0,3546,$p(C)$ = 0,2964,$p(F)$ = 0,2478,$p(T)$ = 0,1011, і$S$ = 1,8835 біт. Ентропія менше, ніж 2 біти, які будуть потрібні для кодування одного порядку одного з чотирьох можливих прийомів їжі за допомогою коду фіксованої довжини. Це тому, що знання середньої ціни дещо знижує нашу невизначеність. Якщо відомо більше інформації про замовлення, то розподіл ймовірностей, який включає цю інформацію, матиме ще нижчу ентропію.

Для прикладу магнітного диполя ми проводимо виведення з магнітним полем,$H$ встановленим на деяке невизначене значення. Результати все залежать від$H$, а також$E$.

\ почати {вирівнювати*}
1 &=p (U) +р (D)\ тег {9.33}\
\ широкий {E} &= е (U) р (U) +е (D) р (D)\
&=м_ {д} Н [p (U) -p (D)]\ тег {9.34}\
S &= p (U)\ лог _ {2} (\ frac {1} {p (A)}) +p (D)\ log _ {2} (\ frac {1} {p (D)})\ tag {9.35}
\ end {align*}

Ентропія найбільша, для енергії$\widetilde{E}$ і магнітного поля$H$, якщо

\ почати {вирівнювати*}
p (U) &= 2^ {-\ альфа} 2^ {-\ бета-м_ {d} H}\ тег {9.36}\
p (D) &= 2^ {-\ альфа} 2^ {\ бета-м_ {d} H}\ тег {9.37}
\ кінець {вирівняй*}}

де

$\alpha=\log _{2}\Big (2^{-\beta m_{d} H}+2^{\beta m_{d} H}\Big ) \tag{9.38}$

і$\beta$ є значенням, для якого$f(\beta)$ = 0 де

$f(\beta)=(m_{d} H-\widetilde{E}) 2^{-\beta(m_{d} H-\widetilde{E})}-(m_{d} H+\widetilde{E}) 2^{\beta(m_{d} H+\widetilde{E})} \tag{9.39}$

Зауважте, що цей приклад лише з одним диполем, а отже, лише двома станами, насправді не вимагає принципу максимальної ентропії, оскільки є два рівняння у двох невідомих,$p(U)$ і$p(D)$ (ви можете вирішити Рівняння 9.39 для$\beta$ використання алгебри). Якби було два диполя, було б чотири стани, і алгебри було б недостатньо. Якби було багато більше чотирьох можливих станів, ця процедура обчислення була$\beta$ б непрактичною або, принаймні, дуже складною. Тому ми запитуємо в главі 11 цих приміток, що ми можемо сказати про різні величини, навіть якщо ми не можемо насправді обчислити числові значення для них, використовуючи підсумовування над станами.