Skip to main content
LibreTexts - Ukrayinska

3: Кінціво-державні ланцюги Маркова

  • Page ID
    33987
  • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    • 3.1: Вступ до скінченних ланцюгів Маркова
    • 3.2: Класифікація держав
      Цей розділ, за винятком випадків, коли вказано інше, застосовується до ланцюгів Маркова як з скінченними, так і з лічильними просторами станів.
    • 3.3: Представлення матриці
      Матриця [P] ймовірностей переходу марковського ланцюга називається стохастичною матрицею, тобто стохастичною матрицею є квадратна матриця невід'ємних членів, в якій елементи в кожному рядку сумують 1.
    • 3.4: власні значення та власні вектори стохастичних матриць
    • 3.5: Ланцюги Маркова з нагородами
      Припустимо, що кожна держава в марковському ланцюжку асоціюється з нагородою. Оскільки ланцюг Маркова переходить від держави до держави, існує пов'язана послідовність винагород, які не є самостійними, а пов'язані статистикою ланцюга Маркова. Поняття винагороди в кожній державі досить графічне для моделювання корпоративних прибутків або ефективності портфеля, а також корисно для вивчення затримки черги, часу введення певного стану та багатьох інших явищ. Нагорода, пов'язана з
    • 3.6: Теорія рішень Маркова та динамічне програмування
      У попередньому розділі ми проаналізували поведінку ланцюга Маркова з нагородами. У цьому розділі ми розглянемо набагато більш складну структуру, в якій особа, яка приймає рішення, може вибирати серед різних можливих винагород та ймовірностей переходу.
    • 3.7: Резюме
    • 3.8: Вправи