Skip to main content
LibreTexts - Ukrayinska

5.8: Властивості інформації

  1. Last updated
  2. Save as PDF
  • Page ID
    29781

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    Зручно думати про фізичні величини як про розміри. Наприклад, розміри швидкості - це довжина в часі, і тому швидкість виражається в метрах в секунду. Подібним чином зручно думати про інформацію як про фізичну величину з розмірами. Можливо, це трохи менш природно, адже ймовірності за своєю суттю безрозмірні. Однак зауважте, що формула використовує логарифми до основи 2. Вибір бази зводиться до масштабного коефіцієнта для інформації. В принципі, будь-яка база\(k\) може бути використана, і пов'язана з нашим визначенням ідентичністю.

    \(\log_k(x) = \dfrac{\log_2(x)}{\log_2(k)} \tag{5.15}\)

    При логарифмах base-2 інформація виражається в бітах. Пізніше ми знайдемо природні логарифми, щоб бути корисними.

    Якщо в розділі є дві події з ймовірностями\(p\) і\((1 − p)\), інформація для кожного символу дорівнює

    \(I = p\log_2\Big(\dfrac{1}{p}\Big) + (1-p)\log_2\Big(\dfrac{1}{1-p}\Big)\tag{5.16}\)

    яка показана, як функція\(p\), на малюнку 5.3. Він найбільший (1 біт) для\(p\) = 0,5. Таким чином, інформація є максимумом, коли ймовірності двох можливих подій рівні. Крім того, для всього діапазону ймовірностей між\(p\) = 0.4 і\(p\) = 0.6 інформація близька до 1 біту. Вона дорівнює 0 для\(p\) = 0 і для\(p\) = 1. Це розумно, оскільки для таких значень результат\(p\) є певним, тому ніяка інформація не отримується, вивчаючи її.

    Для розділів з більш ніж двома можливими подіями інформація на символ може бути вищою. Якщо\(n\) можливі події, інформація на символ лежить між 0 і\(\log_2(n)\) бітами, максимальне значення досягається, коли всі ймовірності рівні.

    Знімок екрана 2021-05-04 о 12.30.00 AM.png
    Малюнок 5.3: Ентропія джерела з двома символами як функція однієї\(p\) з двох ймовірностей