3: Кінціво-державні ланцюги Маркова
- Page ID
- 33987
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)
- 3.2: Класифікація держав
- Цей розділ, за винятком випадків, коли вказано інше, застосовується до ланцюгів Маркова як з скінченними, так і з лічильними просторами станів.
- 3.3: Представлення матриці
- Матриця [P] ймовірностей переходу марковського ланцюга називається стохастичною матрицею, тобто стохастичною матрицею є квадратна матриця невід'ємних членів, в якій елементи в кожному рядку сумують 1.
- 3.5: Ланцюги Маркова з нагородами
- Припустимо, що кожна держава в марковському ланцюжку асоціюється з нагородою. Оскільки ланцюг Маркова переходить від держави до держави, існує пов'язана послідовність винагород, які не є самостійними, а пов'язані статистикою ланцюга Маркова. Поняття винагороди в кожній державі досить графічне для моделювання корпоративних прибутків або ефективності портфеля, а також корисно для вивчення затримки черги, часу введення певного стану та багатьох інших явищ. Нагорода, пов'язана з
- 3.6: Теорія рішень Маркова та динамічне програмування
- У попередньому розділі ми проаналізували поведінку ланцюга Маркова з нагородами. У цьому розділі ми розглянемо набагато більш складну структуру, в якій особа, яка приймає рішення, може вибирати серед різних можливих винагород та ймовірностей переходу.