7.3.1: Приклад- Симетричний двійковий канал
- Page ID
- 29861
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)
Для SBC з бітовою ймовірністю\(\epsilon\) помилки ці формули можуть бути оцінені, навіть якщо дві\(p(A_1)\) вхідні ймовірності\(p(A_0)\) і не рівні. Якщо вони трапляються рівними (кожен 0,5), то різні інформаційні заходи для SBC в бітах особливо прості:
\(I = 1 \;\text{bit} \tag{7.28}\)
\(J = 1 \;\text{bit} \tag{7.29}\)
Помилки в каналі знищили частину інформації в тому сенсі, що вони заважали спостерігачеві на виході знати з упевненістю, що таке вхід. Вони тим самим дозволили\(M = I − L\) передавати лише обсяг інформації через канал на вихід.