Skip to main content
LibreTexts - Ukrayinska

7.2: Діаграми ймовірностей

  1. Last updated
  2. Save as PDF
  • Page ID
    29884

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    Модель ймовірності процесу з\(n\)\(m\) входами і виходами, де\(n\) і\(m\) є цілими числами, показана на малюнку 7.5. \(n\)Вхідні стани є взаємовиключними, як і\(m\) вихідні стани. Якщо цей процес реалізується логічними вентилями, вхід знадобиться принаймні,\(\log_2(n)\) але не стільки, скільки\(n\) проводів.

    Знімок екрана 2021-05-08 о 11.06.50 PM.png
    Малюнок 7.3: Імовірнісна модель двовходового одновихідного затвора.
    Знімок екрана 2021-05-08 о 11.07.18 PM.png
    Малюнок 7.4: Модель ймовірності\(AND\) воріт

    Ця модель процесів концептуально проста і загальна. Він добре працює для процесів з невеликою кількістю бітів. Він був використаний для двійкового каналу в главі 6.

    На жаль, модель ймовірності незручна, коли кількість вхідних бітів помірна або велика. Причина в тому, що входи і виходи представлені в плані взаємовиключних наборів подій. Якщо події описують сигнали на, скажімо, п'яти дротах, кожен з яких може нести високу або низьку напругу, що позначає булеве значення 1 або 0, було б 32 можливих події. Набагато простіше намалювати логічний вентиль, з п'ятьма входами, що представляють фізичні змінні, ніж процес ймовірності з 32 вхідними станами. Цей «експоненціальний вибух» кількості можливих вхідних станів стає ще більш суворим, коли процес являє собою еволюцію стану фізичної системи з великою кількістю атомів. Наприклад, кількість молекул в молі газу - це число Авогадро\(N_A = 6.02 × 10^{23}\). Якби кожен атом мав лише одну асоційовану булеву змінну, було б 2\(^{N_A}\) стани, набагато більші за кількість частинок у Всесвіті. І не було б часу навіть перерахувати всі частинки, а тим більше робити будь-які розрахунки: кількість мікросекунд з моменту великого вибуху менше 5 × 10\(^{23}\). Незважаючи на це обмеження, модель діаграми ймовірностей є корисною концептуально.

    Давайте розглянемо основні ідеї в комунікаціях, введені в главі 6, в контексті таких діаграм.

    Ми припускаємо, що кожен можливий вхідний стан процесу може призвести до одного або декількох вихідних станів. Для кожного

    Знімок екрана 2021-05-08 о 11.09.09 PM.png
    Малюнок 7.5: Модель ймовірності

    input\(i\) позначають ймовірність того, що цей вхід веде на вихід\(j\) як\(c_{ji}\). Ці ймовірності переходу\(c_{ji}\) можна розглядати як таблицю або матрицю, з такою кількістю стовпців, скільки є вхідні стани, і стільки рядків, скільки вихідних станів. Ми будемо використовувати\(i\) як індекс над вхідними станами і\(j\) над вихідними станами, і позначимо подію, пов'язану з вибором вхідних\(i\) як\(A_i\) і подію, пов'язану з виходом\(j\) як\(B_j\).

    Ймовірності переходу є властивостями процесу, і не залежать від входів в процес. Імовірності переходу лежать між 0 і 1, і для кожної\(i\) їх сума над\(j\) вихідним індексом дорівнює 1, оскільки для кожної можливої вхідної події відбувається рівно одна вихідна подія. Якщо кількість вхідних станів збігається з кількістю вихідних станів, то\(c_{ji}\) це квадратна матриця; в іншому випадку вона має більше стовпців, ніж рядків, або навпаки.

    \(0 \leq c_{ji} \leq 1 \tag{7.1}\)

    \(1 = \displaystyle \sum_{j} c_{ji} \tag{7.2}\)

    Цей опис має велику спільність. Це стосується детермінованого процесу (хоча це може бути не найзручнішим - таблиця істинності, яка дає вихід для кожного з входів, зазвичай простіше думати). Для такого процесу кожен стовпець\(c_{ji}\) матриці містить один елемент, який дорівнює 1, а всі інші елементи 0. Це також стосується недетермінованого каналу (тобто одного з шумом). Це стосується кодера джерела та декодера, компресора та розширювача, а також до канального кодера та декодера. Це стосується логічних воріт та пристроїв, які виконують довільні обчислення без пам'яті (іноді їх називають «комбінаційною логікою» на відміну від «послідовної логіки», яка може включати попередні стани). Це стосується навіть переходів, прийнятих фізичною системою від одного з її станів до іншого. Застосовується, якщо кількість вихідних станів більша за кількість вхідних станів (наприклад, канальні кодери) або менше (наприклад, декодери каналів).

    Якщо вхід процесу визначається випадковими подіями\(A_i\) з розподілом ймовірностей,\(p(A_i)\) то можна обчислити різні інші ймовірності. Умовні вихідні ймовірності, обумовлені на вході, є

    \(p(B_j \; |\; A_i) = c_{ji} \tag{7.3}\)

    Безумовна ймовірність кожного виходу\(p(B_j)\) дорівнює

    \(p(B_j = \displaystyle \sum_{i} c_{ji}p(A_i) \tag{7.4}\)

    Нарешті, спільна ймовірність кожного входу з кожним виходом\(p(A_i, B_j)\) та зворотні умовні ймовірності\(p(A_i \;|\; B_j)\) можна знайти за допомогою теореми Байєса:

    \[\begin{align*} p(A_i, B_j) & = p(B_j)p(A_i \;|\; B_j) \tag{7.5} \\ & = p(A_i)p(B_j \;|\; A_i) \tag{7.6} \\ & = p(A_i)c_{ji} \tag{7.7} \end{align*} \]