13,9: Боязка гра

Last updated
Save as PDF

Page ID: 99281

$ \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } $ $ \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} $$\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$ $\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$

$\newcommand{\P}{\mathbb{P}}$$\newcommand{\E}{\mathbb{E}}$$\newcommand{\R}{\mathbb{R}}$$\newcommand{\N}{\mathbb{N}}$$\newcommand{\bs}{\boldsymbol}$$\newcommand{\var}{\text{var}}$$\newcommand{\sd}{\text{sd}}$

Основна теорія

Нагадаємо, що зі стратегією боязкої гри в червоно-чорному кольорі азартний гравець робить невелику постійну ставку, скажімо $1, на кожну гру до тих пір, поки вона не зупиниться. Таким чином, на кожній грі стан гравця або збільшується на 1, або зменшується на 1, поки фортуна не досягне або 0, або мети$a$ (яку ми припускаємо, є додатним цілим числом). Таким чином, процес фортуни$(X_0, X_1, \ldots)$ - це випадкова прогулянка по простору фортуни$\{0, 1, \ldots, a\}$ з 0 і$a$ як поглинаючі бар'єри.

Як завжди, нас цікавить ймовірність виграшу і очікувана кількість ігор. Ключова ідея в аналізі полягає в тому, що після кожної гри процес фортуни просто починається спочатку, але з іншим початковим значенням. Це приклад марковського майна, названого на честь Андрія Маркова. Окремий розділ, присвячений ланцюгам Маркова, докладніше досліджує ці випадкові процеси. Зокрема, в цій главі є розділи про ланцюги народження-смерть та випадкові прогулянки на графах, окремі класи ланцюгів Маркова, які узагальнюють випадкові процеси, які ми тут вивчаємо.

Малюнок$\PageIndex{1}$: Графік переходу для боязкої гри

Імовірність виграшу

Наш аналіз, заснований на властивості Маркова, говорить про те, що ми розглядаємо початковий стан як змінну. Таким чином, ми позначимо ймовірність того, що азартний гравець досягне мети$a$, починаючи з початкового стану$x$ по\[ f(x) = \P(X_N = a \mid X_0 = x), \quad x \in \{0, 1, \ldots, a\} \]

Функція$f$ задовольняє наступним різницевим рівнянням і граничним умовам:

$f(x) = q f(x - 1) + p f(x + 1)$для$ x \in \{1, 2, \ldots, a - 1\}$
$f(0) = 0$,$f(a) = 1$

Доказ

Граничні умови - це лише питання визначення. Різницеве рівняння випливає з обумовлення результату першого випробування. Вона втрачає це випробування з ймовірністю,$q$ і якщо програє, то фактично починає нову послідовність випробувань, але з початковим станом$x - 1$. Вона виграє перше випробування з ймовірністю$p$, а якщо виграє, то фактично починає нову послідовність випробувань, але з початковим станом$x + 1$.

Різницеве рівняння буває лінійним (у невідомій функції$f$), однорідним (оскільки кожен член включає невідому функцію$f$) та другого порядку (тому що 2 - це різниця між найбільшою та найменшою статками в рівнянні). Нагадаємо, що лінійні однорідні різницеві рівняння можуть бути вирішені шляхом знаходження коренів характеристичного рівняння.

Характерним рівнянням різницевого рівняння є$p r^2 - r + q = 0$, і що коріння є$r = 1$ і$r = q / p$.

Якщо$p \ne \frac{1}{2}$, то коріння виразні. При цьому ймовірність того, що гравець досягне своєї мети, становить\[ f(x) = \frac{(q / p)^x - 1}{(q / p)^a - 1}, \quad x \in \{0, 1, \ldots, a\} \]

Якщо$p = \frac{1}{2}$, характеристичне рівняння має єдиний корінь 1, який має кратність 2. При цьому ймовірність того, що гравець досягне своєї мети - це просто відношення початкового фортуну до цільового стану:\[ f(x) = \frac{x}{a}, \quad x \in \{0, 1, \ldots, a\} \]

Таким чином, ми маємо розподіл остаточного$X_N$ стану в будь-якому випадку:\[ \P(X_N = 0 \mid X_0 = x) = 1 - f(x), \; \P(X_N = a \mid X_0 = x) = f(x); \quad x \in \{0, 1, \ldots, a\} \]

У червоно-чорному експерименті вибирайте Timid Play. Змінюйте початковий стан, цільове стан та ймовірність виграшу гри та зверніть увагу на те, як змінюється ймовірність перемоги в грі. Для різних значень параметрів запустіть експеримент 1000 разів і порівняйте відносну частоту виграшу гри з ймовірністю виграшу в грі.

Як функція$x$, для фіксованих$p$ і$a$,

$f$збільшується від 0 до$a$.
$f$увігнута вгору, якщо$p \lt \frac{1}{2}$ і увігнута вниз, якщо$p \gt \frac{1}{2}$. Звичайно,$f$ є лінійним, якщо$p = \frac{1}{2}$.

$f$є безперервним як функція$p$, для фіксованих$x$ і$a$.

Доказ

Застосування правила L'Hospital показує, що ймовірність виграшу, коли$ p \ne \frac{1}{2} $ сходиться до ймовірності виграшу$ p = \frac{1}{2} $, коли, як$p \to \frac{1}{2}$.

Для фіксованого$x$ та$a$,$f(x)$ збільшується з 0 до 1, оскільки$p$ збільшується з 0 до 1.

Малюнок$\PageIndex{2}$: Графік$f$$p = 0.4$ for$p = 0.5$, і$p = 0.6$

Очікувана кількість випробувань

Тепер розглянемо очікувану кількість ігор, необхідних при боязкій грі, коли початковий стан становить$x$:\[ g(x) = \E(N \mid X_0 = x), \quad x \in \{0, 1, \ldots, a\} \]

Функція$g$ задовольняє наступним різницевим рівнянням і граничним умовам:

$g(x) = q g(x - 1) + p g(x + 1) + 1$для$ x \in \{1, 2, \ldots, a - 1\}$
$g(0) = 0$,$g(a) = 0$

Доказ

Знову ж таки, різницеве рівняння випливає з кондиціонування на першому випробуванні. Вона втрачає це випробування з ймовірністю,$q$ і якщо програє, то фактично починає нову послідовність випробувань, але з початковим станом$x - 1$. Вона виграє перше випробування з ймовірністю$p$, а якщо виграє, то фактично починає нову послідовність випробувань, але з початковим станом$x + 1$. У будь-якому випадку закінчився один судовий процес.

Різницеве рівняння в останній вправі лінійне, другого порядку, але неоднорідне (через постійного члена 1 з правого боку). Відповідне однорідне рівняння - це рівняння, яке задовольняє функція ймовірності виграшу$f$. Таким чином, для вирішення неоднорідного рівняння потрібна лише невелика додаткова робота.

Якщо$p \ne \frac{1}{2}$, то\[ g(x) = \frac{x}{q - p} - \frac{a}{q - p} f(x), \quad x \in \{0, 1, \ldots, a\} \] де$f$ знаходиться функція ймовірності виграшу вище.

Якщо$p = \frac{1}{2}$, то\[ g(x) = x (a - x), \quad x \in \{0, 1, \ldots, a\} \]

Розглянемо$g$ як функцію початкового стану$x$, для фіксованих значень ймовірності виграшу в грі$p$ та цільової фортуни$a$.

$g$спочатку збільшується, а потім зменшується.
$g$увігнута вниз.

Коли$ p = \frac{1}{2} $, максимальне значення$ g $ є$ \frac{a^2}{4} $ і відбувається коли$ x = \frac{a}{2} $. Коли$p \ne \frac{1}{2}$, значення того,$x$ де відбувається максимум, досить складне.

Малюнок$\PageIndex{3}$: Графік$g$$p = 0.4$ for$p = 0.5$, і$p = 0.6$

$g$є безперервним як функція$p$, для фіксованих$x$ і$a$.

Доказ

Очікуване значення при$ p \ne \frac{1}{2} $ сходженні до очікуваного значення коли$ p = \frac{1}{2} $, як$p \to \frac{1}{2}$.

Для багатьох налаштувань параметрів очікувана кількість ігор напрочуд велике. Наприклад, припустимо, що$p = \frac{1}{2}$ і цільовий стан дорівнює 100. Якщо початковий стан гравця дорівнює 1, то очікувана кількість ігор становить 99, хоча половина часу, азартний гравець буде зруйнований на першій грі. Якщо початковий стан дорівнює 50, очікувана кількість ігор - 2500.

У червоно-чорному експерименті виберіть «Боязка гра». Змінюйте початковий стан, цільовий стан та ймовірність виграшу гри та зверніть увагу на те, як змінюється очікувана кількість ігор. Для різних значень параметрів запустіть експеримент 1000 разів і порівняйте середнє число ігор вибірки з очікуваним значенням.

Збільшення ставки

Що станеться, якщо азартний гравець робить постійні ставки, але з сумою вище 1? Відповідь на це питання може дати уявлення про те, що буде зі сміливою грою.

У червоно-чорній грі встановіть цільовий стан на 16, початковий стан - 8, а ймовірність виграшу - 0,45. Грайте в 10 ігор з кожною з наступних стратегій. Що, здається, працює найкраще?

Ставка 1 на кожну гру (боязка гра).
Ставка 2 на кожну гру.
Ставка 4 на кожну гру.
Ставка 8 на кожну гру (смілива гра).

Нам потрібно буде прикрасити наші позначення, щоб вказати залежність від цільового стану. Нехай\[ f(x, a) = \P(X_N = a \mid X_0 = x), \quad x \in \{0, 1, \ldots, a\}, \; a \in \N_+ \] Тепер виправити$p$ і припустимо, що цільовий стан є$2 a$ і початковий стан є$2 x$. Якщо гравець боязко грає (ставки 1 долар кожен раз), то, звичайно, її ймовірність досягнення мети є$f(2 x, 2 a)$. З іншого боку:

Припустимо, що азартний гравець робить ставку по 2 долари на кожну гру. Процес фортуни$(X_i / 2: i \in \N)$ відповідає боязкій грі з початковою фортуною$x$ та цільовою фортуною,$a$ і тому ймовірність того, що гравець досягає мети, є$f(x, a)$.

Таким чином, нам потрібно порівняти ймовірності$f(2 x, 2 a)$ і$f(x, a)$.

Функції ймовірності виграшу пов'язані наступним чином:\[ f(2 x, 2 a) = f(x, a) \frac{(q / p)^x + 1}{(q / p)^a + 1}, \quad x \in \{0, 1, \ldots, a\} \] Зокрема

$f(2 x, 2 a) \lt f(x, a)$якщо$p \lt \frac{1}{2}$
$f(2 x, 2 a) = f(x, a)$якщо$p = \frac{1}{2}$
$f(2 x, 2 a) \gt f(x, a)$якщо$p \gt \frac{1}{2}$

Таким чином, здається, що збільшення ставок є гарною ідеєю, якщо ігри несправедливі, погана ідея, якщо ігри сприятливі, і не має значення, якщо ігри чесні.

А як щодо очікуваної кількості зіграних ігор? Здається майже очевидним, що якщо ставки збільшуються, очікувана кількість зіграних ігор має зменшитися, але прямий аналіз з використанням функції очікуваного значення вище складніше, ніж можна було б сподіватися (спробуйте!) , Ми будемо використовувати інший метод, той, який насправді дає кращі результати. Зокрема, у нас будуть гравці $1 і $2 ставки на одну і ту ж основну послідовність ігор, так що два процеси фортуни визначаються на одному і тому ж просторі вибірки. Потім ми можемо порівняти фактичні випадкові величини (кількість зіграних ігор), що в свою чергу призводить до порівняння їх очікуваних значень. Нагадаємо, що цей загальний спосіб називають зчепленням.

Нехай$X_n$ позначимо фортуну після$n$ ігор для азартної гри, роблячи $1 ставки (проста боязка гра). Тоді$2 X_n - X_0$ це стан після$n$ ігор для азартного гравця, який робить ставки на $2 (з тим же початковим станом, ставки на ту ж послідовність ігор). Знову припустимо, що початковий стан є$2 x$ і цільовий стан$2 a$ де$0 \lt x \lt a$. Нехай$N_1$ позначимо кількість ігор, зіграних гравцем в $1, і$N_2$ кількість ігор, зіграних гравцем $2, Тоді

Якщо $1 азартний гравець падає на фортуну$x$, гравець в $2 зруйнований (фортуна 0).
Якщо гравець в 1 долар потрапляє в стан$x + a$, гравець в 2 долари досягає мети$2 a$.
$1 азартний гравець повинен вдарити$x$ перед ударом 0 і повинен вдарити$x + a$ перед ударом$2 a$.
$N_2 \lt N_1$дано$X_0 = 2 x$.
$\E(N_2 \mid X_0 = 2 x) \lt \E(N_1 \mid X_0 = 2 x)$

Звичайно, очікувані значення згодні (і обидва 0) якщо$x = 0$ або$x = a$. Цей результат показує,$N_2$ що стохастично менший, ніж$N_1$ коли гравці грають не однакову послідовність ігор (так що випадкові величини не визначаються на одному просторі вибірки).

Узагальніть аналіз в цьому підрозділі, щоб порівняти боязку гру зі стратегією ставок $$k$ на кожну гру (нехай початковий стан буде$k x$ і цільовий стан$k a$.

Виявляється, що при несправедливих іграх, чим більше ставки, тим краще, принаймні з точки зору ймовірності досягнення мети. Таким чином, ми природно змушені розглянути сміливу гру.