Skip to main content
LibreTexts - Ukrayinska

7.2.2: Приклад- двійковий канал

  1. Last updated
  2. Save as PDF
  • Page ID
    29893

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    Двійковий канал добре описується моделлю ймовірності. Його властивості, багато з яких були розглянуті в главі 6, узагальнені нижче.

    Розглянемо спочатку безшумний двійковий канал, який, коли представлений одним з двох можливих вхідних значень 0 або 1, точно передає це значення на свій вихід. Це дуже простий приклад дискретного процесу без пам'яті. Представляємо цей канал моделлю ймовірності з двома входами і двома виходами. Щоб вказати на той факт, що вхід вірно тиражується на виході, внутрішні роботи коробки виявляються, на малюнку 7.6 (а), у вигляді двох шляхів, по одному від кожного входу до відповідного виходу, і кожен позначений ймовірністю (1). Матриця переходу для цього каналу

    \(\begin{bmatrix} c_{00} & c_{01} \\ c_{10} & c_{11} \end{bmatrix} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \tag{7.9}\)

    Вхідна інформація\(I\) для цього процесу становить 1 біт, якщо два значення однаково вірогідні, або якщо\(p(A_0) \neq p(A_1)\) вхідна інформація

    \(I = p(A_0)\log_2\Big (\dfrac{1}{p(A_0)}\Big) + p(A_1)\log_2\Big(\dfrac{1}{p(A_1)}\Big) \tag{7.10}\)

    Вихідна інформація\(J\) має аналогічну формулу, використовуючи вихідні ймовірності\(p(B_0)\) і\(p(B_1)\). Так як вхід і вихід в даному випадку однакові, завжди можна зробити висновок про вхід при дотриманні виходу. Обсяг інформації виходить\(J\) такий же, як і сума в\(I: J = I\). Цей безшумний канал ефективний за прямим призначенням, яке полягає в тому, щоб дозволити приймачу на виході виводити значення на вході.

    Далі припустимо, що цей канал зрідка допускає помилки. Таким чином, якщо вхід дорівнює 1, то вихід не завжди дорівнює 1, але з «бітовою ймовірністю помилки» ε перевертається на «неправильне» значення 0, а отже, є «правильним» лише з ймовірністю 1 −\(\epsilon\). Аналогічно для входу 0 ймовірність помилки дорівнює\(\epsilon\). Тоді матриця переходу