7.5: Ємність

Last updated

Oct 25, 2022
Save as PDF
- 7.4.1: Приклад виправлення помилок
- 7.6: Інформаційні діаграми

Paul Penfield, Jr.
Massachusetts Institute of Technology via MIT OpenCourseWare

$\newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} }$

$\newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}}$

$\newcommand{\id}{\mathrm{id}}$

$\newcommand{\Span}{\mathrm{span}}$

$\newcommand{\kernel}{\mathrm{null}\,}$

$\newcommand{\range}{\mathrm{range}\,}$

$\newcommand{\RealPart}{\mathrm{Re}}$

$\newcommand{\ImaginaryPart}{\mathrm{Im}}$

$\newcommand{\Argument}{\mathrm{Arg}}$

$\newcommand{\norm}[1]{\| #1 \|}$

$\newcommand{\inner}[2]{\langle #1, #2 \rangle}$

$\newcommand{\Span}{\mathrm{span}}$

$\newcommand{\id}{\mathrm{id}}$

$\newcommand{\Span}{\mathrm{span}}$

$\newcommand{\kernel}{\mathrm{null}\,}$

$\newcommand{\range}{\mathrm{range}\,}$

$\newcommand{\RealPart}{\mathrm{Re}}$

$\newcommand{\ImaginaryPart}{\mathrm{Im}}$

$\newcommand{\Argument}{\mathrm{Arg}}$

$\newcommand{\norm}[1]{\| #1 \|}$

$\newcommand{\inner}[2]{\langle #1, #2 \rangle}$

$\newcommand{\Span}{\mathrm{span}}$

У главі 6 цих заміток була визначена пропускна здатність каналу. Це поняття можна узагальнити на інші процеси.

$W$ Викличте максимальну швидкість, з якою на виході може бути виявлено вхідний стан процесу. Тоді швидкість, з якою інформація протікає через процес, може бути такою ж великою, як $WM$ . Однак цей продукт залежить від вхідного розподілу ймовірностей $p(A_i)$ і, отже, не є властивістю самого процесу, а від того, як він використовується. Краще визначення пропускної здатності процесу можна знайти, дивлячись на те, як $M$ може змінюватися з різними розподілами ймовірності введення. Виберіть найбільшу взаємну інформацію для будь-якого вхідного розподілу ймовірностей та зателефонуйте $M_{max}$ . Тоді технологічна потужність $C$ визначається як

$C = WM_{max} \tag{7.32}$

Легко помітити, що $M_{max}$ не може бути довільно великим, оскільки $M ≤ I$ і $I ≤ \log_2 n$ де $n$ кількість різних вхідних станів.

На прикладі симетричних двійкових каналів неважко показати, що розподіл ймовірностей, який максимізує, $M$ є однаковою ймовірністю для кожного з двох вхідних станів.