7.7: Каскадні процеси
- Page ID
- 29876
Розглянемо два процеси в каскаді. Цей термін означає, що вихід з одного процесу служить входом до іншого процесу. Тоді два каскадні процеси можуть бути змодельовані як один більший процес, якщо «внутрішні» стани приховані. Ми бачили, що дискретні процеси без пам'яті характеризуються значеннями\(I\),\(J\),\(L\),\(N\), і\(M\). На малюнку 7.10 (а) показана каскадна пара процесів, кожен з яких характеризується своїми параметрами. Звичайно, параметри другого процесу залежать від вхідних ймовірностей, з якими він стикається, які визначаються ймовірностями переходу (та вхідними ймовірностями) першого процесу.
Але каскад двох процесів сам по собі є дискретним процесом без пам'яті і тому повинен мати свої п'ять параметрів, як це запропоновано на малюнку 7.10 (b). Параметри габаритної моделі можна розрахувати
Малюнок 7.10: Каскад двох дискретних процесів без пам'яті
будь-який з двох способів. По-перше, перехідні ймовірності загального процесу можна знайти з перехідних ймовірностей двох моделей, які з'єднані між собою; насправді матриця ймовірностей переходу є лише матричним добутком двох матриць ймовірностей переходу для процесу 1 та процесу 2. Всі параметри можна обчислити з цієї матриці і вхідних ймовірностей.
Інший підхід полягає в пошуку формул для\(I\)\(J\)\(L\),\(N\),, і\(M\) загального процесу з точки зору відповідних величин для компонентних процесів. Це тривіально для вхідних і вихідних величин:\(I = I_1\) і\(J = J_2\). Однак складніше\(L\) і\(N\). Хоча\(L\) і взагалі\(N\) не можна знайти точно з\(L_1\)\(L_2\),\(N_1\) і\(N_2\), можна знайти верхню і нижню межі для них. Вони корисні для забезпечення розуміння роботи каскаду.
Можна легко показати, що так\(I = I_1\)\(J_1 = I_2\), і\(J = J_2\),
\(L − N = (L_1 + L_2) − (N_1 + N_2) \tag{7.33}\)
Тоді просто (хоча, можливо, нудно) показати, що втрати\(L\) для загального процесу не завжди дорівнюють сумі втрат для двох компонентів\(L_1 + L_2\), а натомість
\(0 ≤ L_1 ≤ L ≤ L_1 + L_2 \tag{7.34}\)
щоб втрата була обмежена зверху і знизу. Крім того,
\(L_1 + L_2 − N_1 ≤ L ≤ L_1 + L_2 \tag{7.35}\)
так що якщо перший процес без шуму,\(L\) то точно\(L_1 + L_2\).
Існують аналогічні формули для з\(N\) точки зору\(N_1 + N_2\):
\(0 ≤ N_2 ≤ N ≤ N_1 + N_2 \tag{7.36}\)
\(N_1 + N_2 − L_2 ≤ N ≤ N_1 + N_2 \tag{7.37}\)
Подібні формули для взаємної інформації каскаду\(M\) випливають з цих результатів:
\(M_1 − L_2 ≤ M ≤ M_1 ≤ I \tag{7.38}\)
\(M_1 − L_2 ≤ M ≤ M_1 + N_1 − L_2 \tag{7.39}\)
\(M_2 − N_1 ≤ M ≤ M_2 ≤ J \tag{7.40}\)
\(M_2 − N_1 ≤ M ≤ M_2 + L_2 − N_1 \tag{7.41}\)
Інші формули для\(M\) легко виводяться з Рівняння 7.19, застосованого до першого процесу та каскаду, і Рівняння 7.24, застосованого до другого процесу та каскаду:
\(\begin{align*} M &= M_1 + L_1 − L \\ &= M_1 + N_1 + N_2 − N − L_2 \\ &= M_2 + N_2 − N \\ &= M_2 + L_2 + L_1 − L − N_1 \tag{7.42} \end{align*}\)
де друга формула в кожному випадку походить від використання Рівняння 7.33. Зверніть увагу, що\(M\) не може перевищувати ні\(M_1\) або\(M_2\), тобто,\(M ≤ M_1\) і\(M ≤ M_2\). Це узгоджується з інтерпретацією\(M\) як інформації, яка отримує через - інформація, яка потрапляє через каскад, повинна мати можливість пройти через перший процес, а також через другий процес.
Як окремий випадок, якщо другий процес без втрат,\(L_2 = 0\) а потім\(M = M_1\). У такому випадку другий процес не знижує взаємну інформацію нижче, ніж у першому. Аналогічно якщо перший процес безшумний, то\(N_1 = 0\) і\(M = M_2\).
\(C\)Ємність каналу каскаду аналогічно не перевищує або пропускну здатність каналу першого процесу, або другого процесу:\(C ≤ C_1\) і\(C ≤ C_2\). Інші результати, що стосуються пропускної здатності каналу, не є тривіальним наслідком наведених вище формул, оскільки\(M\) за визначенням\(C\) є максимумом у всіх можливих розподілах ймовірностей входу - розподіл, який максимізує,\(M_1\) може не призвести до розподілу ймовірностей для вхідних даних. другий процес, який максимізує\(M_2\).