7.3: Інформація, втрати та шум

Last updated
Save as PDF

Page ID: 29854

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Для загального дискретного процесу без пам'яті можуть бути визначені корисні показники кількості інформації, представленої на вході, і кількості, що передається на вихід. Припускаємо, що стан процесу представлено випадковими подіями Ai з розподілом ймовірностей\(p(A_i)\). Інформація на вході\(I\) така ж, як і ентропія цього джерела. (Ми вирішили використовувати букву\(I\) для вхідної інформації не тому, що вона означає «вхід» або «інформація», а скоріше для індексу\(i\), який переходить на вхідний розподіл ймовірностей. Вихідна інформація буде\(J\) позначена з аналогічної причини.)

\(I = \displaystyle \sum_{i} p(A_i)\log_2\Big(\dfrac{1}{p(A_i)}\Big) \tag{7.12}\)

Це сума невизначеності, яку ми маємо щодо вхідних даних, якщо ми не знаємо, що це таке, або до того, як воно було вибрано джерелом.

Аналогічна формула застосовується і на виході. Вихідна інформація також\(J\) може бути виражена через розподіл вхідних ймовірностей і матриці переходу каналу:

\(\begin{align*} J \;&= \;\displaystyle \sum_{j} p(B_j)\log_2\Big(\dfrac{1}{p(B_j)}\Big) \\ &= \;\displaystyle \sum_{j} \Big(\sum_{i} c_{ji}p(A_i) \Big) \log_2\Big(\dfrac{1}{\sum_{i} c_{ji}p(A_i)}\Big) \tag{7.13} \end{align*}\)

Зверніть увагу, що ця міра інформації на виході\(J\) відноситься до ідентичності вихідного стану, а не стану введення. Це представляє нашу невизначеність щодо вихідного стану, перш ніж ми виявимо, що це таке. Якщо наша мета полягає у визначенні вхідних даних,\(J\) це не те, що ми хочемо. Натомість ми повинні запитати про невизначеність наших знань про стан введення. Це може бути виражено з точки зору виходу, запитуючи про невизначеність вхідного стану заданого одного конкретного вихідного стану, а потім усереднення над цими станами. Ця невизначеність для кожного задається формулою\(j\), подібною до вищевказаних, але з використанням зворотних умовних ймовірностей.\(p(A_i \;|\; B_j)\)

\(\displaystyle \sum_{i} p(A_i \;|\; B_j )\log_2\Big(\dfrac{1}{p(A_i \;|\; B_j )}\Big) \tag{7.14}\)

Тоді ваша середня невизначеність щодо вхідних даних після вивчення вихідних даних виявляється шляхом обчислення середнього за розподілом ймовірності виходу, тобто шляхом множення на\(p(B_j)\) і підсумовування\(j\)

\(\begin{align*} L \;&= \; \displaystyle \sum_{j} p(B_j) \sum_{i} p(A_i \;|\; B_j )\log_2\Big(\dfrac{1}{p(A_i \;|\; B_j )}\Big) \\ &= \; \displaystyle \sum_{ij} p(A_i, B_j)\log_2\Big(\dfrac{1}{p(A_i \;|\; B_j )}\Big ) \tag{7.15} \end{align*}\)

Зверніть увагу, що друга формула використовує спільний розподіл ймовірностей\(p(A_i, B_j)\). Ми позначили цю середню невизначеність\(L\) і будемо називати її «втратою». Цей термін доречний, оскільки саме обсяг інформації про вхід не в змозі визначити, вивчивши вихідний стан; в цьому сенсі він «загубився» при переході від входу до виходу. У особливому випадку, коли процес дозволяє однозначно ідентифікувати вхідний стан для кожного можливого вихідного стану, процес є «без втрат» і, як і слід було очікувати,\(L\) = 0.

У главі 6 було доведено, що\(L \leq I\) або, на словах, що невизначеність після вивчення виходу менше (або, можливо, дорівнює) невизначеності раніше. Цей результат був доведений за допомогою нерівності Гіббса.

Кількість інформації, яку ми дізнаємося про вхідний стан після того, як нам сказали про вихідний стан, - це наша невизначеність перед тим, як сказати\(I\), тобто менше нашої невизначеності після того, як нам сказали, що є\(L\). Ми щойно показали, що ця сума не може бути негативною, оскільки\(L \leq I\). Як це було зроблено в розділі 6, ми позначаємо суму, яку ми дізналися як\(M = I − L\), і називаємо це «взаємною інформацією» між входом і виходом. Це важлива величина, оскільки це кількість інформації, яка потрапляє через процес.

Щоб переосмислити відносини між цими інформаційними величинами:

\(I = \displaystyle \sum_{i} p(A_i)\log_2\Big(\dfrac{1}{p(A_i)}\Big) \tag{7.16}\)

\(L \; = \; \displaystyle \sum_{j} p(B_j) \sum_{i} p(A_i \;|\; B_j )\log_2\Big(\dfrac{1}{p(A_i \;|\; B_j )}\Big) \tag{7.17}\)

\(0 \leq M \leq I \tag{7.19}\)

\(0 \leq L \leq I \tag{7.20}\)

Процеси з виходами, які можуть бути вироблені більш ніж одним входом, мають втрати. Ці процеси також можуть бути недетермінованими, в тому сенсі, що один вхідний стан може призвести до більш ніж одного вихідного стану. Симетричний двійковий канал з втратою є прикладом процесу, який має втрати, а також є недетермінованим. Однак є деякі процеси, які мають втрати, але є детермінованими. Прикладом може\(AND\) служити логічний затвор, який має чотири взаємовиключних входу 00 01 10 11 і два виходи 0 і 1. Три з чотирьох входів ведуть на вихід 0. Цей затвор має втрати, але ідеально детермінований, оскільки кожен вхідний стан призводить до рівно одного вихідного стану. Той факт, що є втрата, означає, що\(AND\) ворота не є оборотними.

Існує кількість, подібна до тієї\(L\), що характеризує недетермінований процес, незалежно від того, має він втрати чи ні. Вихід недетермінованого процесу містить варіації, які неможливо передбачити від знання входу, які поводяться як шум у аудіосистемах. Ми визначимо шум\(N\) процесу як невизначеність на виході, враховуючи вхідний стан, усереднену по всіх вхідних станах. Це дуже схоже на визначення втрати, але з ролями введення і виведення зворотні. Таким чином

\(\begin{align*} N \;&= \; \displaystyle \sum_{i} p(A_i) \sum_{j} p(B_j \;|\; A_i )\log_2\Big(\dfrac{1}{p(B_j \;|\; A_i )}\Big) \\ &= \; \displaystyle \sum_{i} p(A_i) \sum_{j} c_{ji} \log_2\Big(\dfrac{1}{c_{ji}}\Big) \tag{7.21} \end{align*} \)

Кроки, подібні до вищезазначених для втрати, показують аналогічні результати. Що може бути не очевидним, але може бути легко доведено, це те, що взаємна інформація\(M\) відіграє точно таку ж роль для шуму, як і для втрати. Формули, що стосуються шуму до інших інформаційних заходів, подібні до тих,\(M\) що стосуються втрат вище, де взаємна інформація однакова:

\(J \;=\; \displaystyle \sum_{i} p(B_j)\log_2\Big(\dfrac{1}{p(B_j)}\Big) \tag{7.22} \)

\(N \;=\; \displaystyle \sum_{i} p(A_i) \sum_{j} c_{ji} \log_2\Big(\dfrac{1}{c_{ji}}\Big) \tag{7.23}\)

\(0 \leq M \leq J \tag{7.25}\)

\(0 \leq N \leq J \tag{7.26}\)

З цих результатів випливає, що

\(J − I = N − L \tag{7.27}\)