Матриця [P] ймовірностей переходу марковського ланцюга називається стохастичною матрицею, тобто стохастичною матрицею є квадратна матриця невід'ємних членів, в якій елементи в кожному рядку сумують 1.
Припустимо, що кожна держава в марковському ланцюжку асоціюється з нагородою. Оскільки ланцюг Маркова переходить від держави до держави, існує пов'язана послідовність винагород, які не є самостійними, а пов'язані статистикою ланцюга Маркова. Поняття винагороди в кожній державі досить графічне для моделювання корпоративних прибутків або ефективності портфеля, а також корисно для вивчення затримки черги, часу введення певного стану та багатьох інших явищ. Нагорода, пов'язана з
У попередньому розділі ми проаналізували поведінку ланцюга Маркова з нагородами. У цьому розділі ми розглянемо набагато більш складну структуру, в якій особа, яка приймає рішення, може вибирати серед різних можливих винагород та ймовірностей переходу.
