12.2: Загальний опис

Last updated
Save as PDF

Page ID: 79576

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

12.2.1 Марківські процеси

Більш загально, припустимо, що у нас є система, що володіє дискретним набором станів, які можуть бути позначені цілим числом\(0, 1, 2, \dots\) А Марковський процес - це набір ймовірнісних правил, які підказують нам, як вибрати новий стан системи, виходячи з поточного стану системи. Якщо система в даний момент знаходиться в стані\(n\), то ймовірність вибору стану\(m\) на наступному кроці позначається значенням\(P(m|n)\). Ми називаємо це «ймовірністю переходу» від стану\(n\) до стану\(m\). Багаторазово застосовуючи марковський процес, ми переміщаємо систему через випадкову послідовність станів\(\{n^{(0)}, n^{(1)}, n^{(2)}, n^{(3)}, \dots\}\), де\(n^{(k)}\) позначає стан на ступені\(k\). Такий вид випадкової послідовності називається ланцюгом Маркова.

Існує важливе обмеження на перехідні ймовірності марковського процесу. Тому що система повинна переходити в якийсь стан на кожному кроці,

\[\sum_{m} P(m|n) = 1 \;\;\; \mathrm{for}\;\mathrm{all}\; n \in \{0, 1, \dots\}.\]

Далі введемо уявлення про державні ймовірності. Припустимо, ми розглянемо ансамбль усіх можливих ланцюгів Маркова, які можуть бути породжені заданою марковською процесом. Нехай\(\{p_0^{(k)}, p_1^{(k)}, p_2^{(k)}, \dots \}\) позначають ймовірності для різних станів\(n = 0, 1, 2,\dots\), на кроці\(k\). Враховуючи це, які ймовірності для різних станів на кроці\(k+1\)? Згідно теоремі Байєса, ми можемо записати\(p_m^{(k+1)}\) як суму над умовними ймовірностями:

\[p_m^{(k+1)} = \sum_{n} P(m|n) \, p_n^{(k)}.\]

Це має вигляд матричного рівняння:

\[\begin{bmatrix}p_0^{(k+1)} \\ p_1^{(k+1)} \\ \vdots\end{bmatrix} = \begin{bmatrix} P(0|0) & P(0|1) & \cdots \\ P(1|0) & P(1|1) & \cdots \\ \vdots & \vdots\end{bmatrix} \, \begin{bmatrix}p_0^{(k)} \\ p_1^{(k)} \\ \vdots\end{bmatrix},\]

де матриця з правого боку називається матрицею переходу. Кожен елемент цієї матриці є дійсним числом між\(0\) і\(1\); крім того, через вищезгадане збереження ймовірностей переходу кожен стовпець матриці сумує до\(1\). У математиці матриці такого типу називаються «лівими стохастичними матрицями».

12.2.2 Стаціонарний розподіл

Стаціонарний розподіл - це сукупність ймовірностей стану\(\{\pi_0, \pi_1, \pi_2, \dots \}\), таких, що проходження одного етапу марковського процесу залишає ймовірності незмінними:

\[\pi_m = \sum_{n} P(m|n) \, \pi_n.\]

Дивлячись на еквівалентне матричне рівняння, ми бачимо, що вектор\([\pi_0; \pi_1; \pi_2; \dots]\) повинен бути власним вектором матриці переходу, з власним значенням 1. Виявляється, існує математична теорема (теорема Перрона—Фробеніуса), яка стверджує, що кожна ліва стохастична матриця має свій вектор такого роду. Значить, кожен марковський процес має стаціонарне розподіл. Стаціонарні розподіли є основними причинами, які нас цікавлять марківські процеси. У фізиці нас часто цікавить використання марковських процесів для моделювання термодинамічних систем, таких, що стаціонарний розподіл представляє розподіл термодинамічних мікростанів при тепловій рівновазі. (Ми побачимо приклад у наступному розділі.) Знаючи стаціонарний розподіл, ми можемо з'ясувати всі термодинамічні властивості системи, такі як її середня енергія.

В принципі, одним із способів з'ясувати стаціонарний розподіл є побудова матриці переходу, вирішення проблеми на власні значення та вибір вектора з власним значенням 1. Біда в тому, що нас часто цікавлять системи, де кількість можливих станів величезна - в деяких випадках більше, ніж кількість атомів у Всесвіті! У таких випадках не представляється можливим явним чином генерувати матрицю переходу, не кажучи вже про вирішення проблеми з власними значеннями.

Ми зараз натрапимо на щасливий і важливий факт: для величезного класу марковських процесів розподіл станів всередині досить довгої марковського ланцюга сходиться до стаціонарного розподілу. Значить, щоб дізнатися про стаціонарному розподілі, нам просто потрібно згенерувати довгу марковський ланцюжок, і вивчити її статистичні властивості.