Skip to main content
LibreTexts - Ukrayinska

8: умовивід

  1. Last updated
  2. Save as PDF
  • Page ID
    30049

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    У главі 7 модель процесу була введена як спосіб обліку потоку інформації через процеси, які є дискретними, скінченними та без пам'яті, які можуть бути недетермінованими та втратними. Хоча модель була мотивована тим, як працюють багато комунікаційних систем, вона є більш загальною.

    Дано формули для вхідної інформації\(I\), втрат\(L\), взаємної інформації\(M\)\(N\), шуму та вихідної інформації\(J\). Кожен з них вимірюється в бітах, хоча в налаштуванні, в якому вибирається багато символів, один за іншим, вони можуть бути помножені на швидкість вибору символів, а потім виражені в бітах в секунду. Інформаційний потік показаний на малюнку 8.1. Всі ці величини залежать від вхідного розподілу ймовірностей\(p(A_i)\).

    Якщо вхідні ймовірності вже відомі, і спостерігається певний вихідний результат, можна зробити висновки про вхідну подію, яка призвела до цього результату. Іноді вхідну подію можна ідентифікувати з упевненістю, але частіше висновки мають форму змін початкових вхідних ймовірностей. Це, як правило, як працюють системи зв'язку - вихід спостерігається і «найімовірніше» вхідна подія виводиться. Висновок у цьому контексті іноді називають оцінкою. Це тема розділу 8.1.

    З іншого боку, якщо вхідні ймовірності невідомі, такий підхід не працює. Нам потрібен спосіб отримати початковий розподіл ймовірностей. Підхід, який базується на аналізі інформації, розглядається в розділі 8.2 та в наступних розділах цих приміток. Це принцип максимальної ентропії.