5: Зліченно-державні ланцюги Маркова
- Page ID
- 34018
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)
- 5.1: Злічувані державні марківські ланцюги
- Марковські ланцюги зі зліченно-нескінченним простором станів (коротше, рахунково-державні ланцюги Маркова) демонструють деякі типи поведінки, неможливі для ланцюгів з скінченним простором стану. За винятком першого наступного прикладу та розділу про процеси розгалуження, ми позначимо стани невід'ємними цілими числами. Це доречно при моделюванні таких речей, як кількість клієнтів у черзі, і не викликає втрати спільності в інших випадках.
- 5.2: Ланцюги Маркова Народження-Смерть
- Ланцюг Маркова народження-смерть - це ланцюжок Маркова, в якому простір стану є множиною невід'ємних цілих чисел; для всіх i 0 ймовірності переходу задовольняють Pi, i+1 > 0 і Pi+1, i > 0, а для всіх |ij| > 1, Pij = 0 (див. Рис. Перехід від стану i до i+1 розглядається як народження, а один від i+1 до i - як смерть. Таким чином, обмеження ймовірностей переходу означає, що за одну одиницю часу може статися тільки одне народження або смерть.
- 5.3: Реверсивні ланцюги Маркова
- Багато важливих ланцюгів Маркова мають властивість, що в сталому стані послідовність станів, що дивилися назад в часі, має ту ж імовірнісну структуру, що і послідовність станів, що йдуть вперед у часі. Ця еквівалентність між прямим ланцюгом і зворотним ланцюгом призводить до ряду результатів, які інтуїтивно досить дивовижні і які досить важко отримати без використання цієї еквівалентності. Ми вивчимо ці результати тут.
- 5.5: Процеси розгалуження
- Розгалужувальні процеси забезпечують просту модель вивчення популяції різних типів особин від одного покоління до наступного. Особи можуть бути фотонами у фотомультиплікаторі, частинками в хмарній камері, мікроорганізмами, комахами або гілками в структурі даних.
- 5.6: Циркуляційний і процесорний спільний доступ
- Типові системи черги мають один або кілька серверів, кожен з яких обслуговує клієнтів у порядку FCFS, повністю обслуговуючи одного клієнта, поки інші клієнти чекають. Ці типові системи мають більшу середню затримку, ніж це необхідно.