Skip to main content
LibreTexts - Ukrayinska

8.2.3: Ентропія

  1. Last updated
  2. Save as PDF
  • Page ID
    30068

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    Більш загально наша невизначеність виражається кількісно інформацією, якої ми не маємо про обрану їжу або зайняту державу. Це

    \(\begin{align*} S &= \displaystyle \sum_{i} p(A_i)\log_2 \Big(\dfrac{1}{p(A_i)}\Big) \\ &= p(B)\log_2\Big(\dfrac{1}{p(B)}\Big) + p(C)\log_2\Big(\dfrac{1}{p(C)}\Big) + p(F)\log_2\Big(\dfrac{1}{p(F)}\Big) \tag{8.14} \end{align*}\)

    Тут інформація вимірюється в бітах, тому що ми використовуємо логарифми для основи 2.

    У контексті фізичних систем ця невизначеність відома як ентропія. У системах зв'язку невизначеність щодо того, яке фактичне повідомлення має бути передано, також відома як ентропія джерела. Відзначимо, що в цілому ентропія, оскільки вона виражається з точки зору ймовірностей, залежить від спостерігача. Одна людина може мати різні знання системи від іншої, і тому обчислила б інше числове значення для ентропії. Принцип максимальної ентропії використовується для виявлення розподілу ймовірностей, що призводить до найвищого значення цієї невизначеності, тим самим гарантуючи, що жодна інформація необережно приймається. Отриманий розподіл ймовірностей не залежить від спостерігача.