12.2: Загальний опис

12.2.1 Марківські процеси

Більш загально, припустимо, що у нас є система, що володіє дискретним набором станів, які можуть бути позначені цілим числом$0, 1, 2, \dots$ А Марковський процес - це набір ймовірнісних правил, які підказують нам, як вибрати новий стан системи, виходячи з поточного стану системи. Якщо система в даний момент знаходиться в стані$n$, то ймовірність вибору стану$m$ на наступному кроці позначається значенням$P(m|n)$. Ми називаємо це «ймовірністю переходу» від стану$n$ до стану$m$. Багаторазово застосовуючи марковський процес, ми переміщаємо систему через випадкову послідовність станів$\{n^{(0)}, n^{(1)}, n^{(2)}, n^{(3)}, \dots\}$, де$n^{(k)}$ позначає стан на ступені$k$. Такий вид випадкової послідовності називається ланцюгом Маркова.

Існує важливе обмеження на перехідні ймовірності марковського процесу. Тому що система повинна переходити в якийсь стан на кожному кроці,

$$\sum_{m} P(m|n) = 1 \;\;\; \mathrm{for}\;\mathrm{all}\; n \in \{0, 1, \dots\}.$$

Далі введемо уявлення про державні ймовірності. Припустимо, ми розглянемо ансамбль усіх можливих ланцюгів Маркова, які можуть бути породжені заданою марковською процесом. Нехай$\{p_0^{(k)}, p_1^{(k)}, p_2^{(k)}, \dots \}$ позначають ймовірності для різних станів$n = 0, 1, 2,\dots$, на кроці$k$. Враховуючи це, які ймовірності для різних станів на кроці$k+1$? Згідно теоремі Байєса, ми можемо записати$p_m^{(k+1)}$ як суму над умовними ймовірностями:

$$p_m^{(k+1)} = \sum_{n} P(m|n) \, p_n^{(k)}.$$

Це має вигляд матричного рівняння:

$$\begin{bmatrix}p_0^{(k+1)} \\ p_1^{(k+1)} \\ \vdots\end{bmatrix} = \begin{bmatrix} P(0|0) & P(0|1) & \cdots \\ P(1|0) & P(1|1) & \cdots \\ \vdots & \vdots\end{bmatrix} \, \begin{bmatrix}p_0^{(k)} \\ p_1^{(k)} \\ \vdots\end{bmatrix},$$

де матриця з правого боку називається матрицею переходу. Кожен елемент цієї матриці є дійсним числом між$0$ і$1$; крім того, через вищезгадане збереження ймовірностей переходу кожен стовпець матриці сумує до$1$. У математиці матриці такого типу називаються «лівими стохастичними матрицями».

12.2.2 Стаціонарний розподіл

Стаціонарний розподіл - це сукупність ймовірностей стану$\{\pi_0, \pi_1, \pi_2, \dots \}$, таких, що проходження одного етапу марковського процесу залишає ймовірності незмінними:

$$\pi_m = \sum_{n} P(m|n) \, \pi_n.$$

Дивлячись на еквівалентне матричне рівняння, ми бачимо, що вектор$[\pi_0; \pi_1; \pi_2; \dots]$ повинен бути власним вектором матриці переходу, з власним значенням 1. Виявляється, існує математична теорема (теорема Перрона—Фробеніуса), яка стверджує, що кожна ліва стохастична матриця має свій вектор такого роду. Значить, кожен марковський процес має стаціонарне розподіл. Стаціонарні розподіли є основними причинами, які нас цікавлять марківські процеси. У фізиці нас часто цікавить використання марковських процесів для моделювання термодинамічних систем, таких, що стаціонарний розподіл представляє розподіл термодинамічних мікростанів при тепловій рівновазі. (Ми побачимо приклад у наступному розділі.) Знаючи стаціонарний розподіл, ми можемо з'ясувати всі термодинамічні властивості системи, такі як її середня енергія.

В принципі, одним із способів з'ясувати стаціонарний розподіл є побудова матриці переходу, вирішення проблеми на власні значення та вибір вектора з власним значенням 1. Біда в тому, що нас часто цікавлять системи, де кількість можливих станів величезна - в деяких випадках більше, ніж кількість атомів у Всесвіті! У таких випадках не представляється можливим явним чином генерувати матрицю переходу, не кажучи вже про вирішення проблеми з власними значеннями.

Ми зараз натрапимо на щасливий і важливий факт: для величезного класу марковських процесів розподіл станів всередині досить довгої марковського ланцюга сходиться до стаціонарного розподілу. Значить, щоб дізнатися про стаціонарному розподілі, нам просто потрібно згенерувати довгу марковський ланцюжок, і вивчити її статистичні властивості.