8.2.4: Обмеження

Last updated
Save as PDF

Page ID: 30081

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

$ \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } $ $ \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} $$\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$ $\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$

Це властивість формули ентропії вище, що вона має своє максимальне значення, коли всі ймовірності рівні (ми припускаємо, що кількість можливих станів кінцеве). Це властивість легко довести за допомогою нерівності Гіббса. Якщо у нас немає додаткової інформації про систему, то такий результат здається розумним. Однак, якщо у нас є додаткова інформація, ми повинні бути в змозі знайти розподіл ймовірностей, який є кращим у тому сенсі, що він має меншу невизначеність.

Для простоти розглядаємо лише одне таке обмеження, а саме те, що ми знаємо очікуване значення деякої величини (Принцип максимальної ентропії може обробляти кілька обмежень, але математичні процедури та формули ускладнюються). Розглянута величина - це та, для якої кожне зі станів системи має свою величину, а очікуване значення знаходять шляхом усереднення значень, відповідних кожному зі станів, з урахуванням ймовірностей цих станів. Таким чином, якщо є атрибут, для якого кожне зі станів має значення$g(A_i)$ і для якого ми знаємо фактичне значення$G$, то слід розглядати тільки ті розподіли ймовірностей, для яких очікуване значення дорівнює$G$

$G = \displaystyle \sum_{i} p(A_i)g(A_i) \tag{8.15}$

Зауважте, що це обмеження не може бути досягнуто, якщо$G$ воно менше найменшого$g(A_i)$ або більше найбільшого$g(A_i)$.

Для нашого прикладу Бергера Burgers, припустимо, нам сказали, що середня ціна їжі становить 1,75 долара, і ми хочемо оцінити окремі ймовірності різних страв, не роблячи ніяких інших припущень. Тоді наше обмеження було б

$$1.75 = $1.00p(B) + $2.00p(C) + $3.00p(F) \tag{8.16}$

Зверніть увагу, що ймовірності безрозмірні, і тому і очікуване значення обмеження, і окремі значення повинні бути виражені в однакових одиницях, в даному випадку доларах.