2.1: Оцінка середнього

Припустимо, що слід знайти відповідну здогадку для$\mu$ невідомого середнього якогось слабо стаціонарного стохастичного процесу$(X_t\colon t\in\mathbb{Z})$. Середнє значення зразка$\bar{x}$, яке легко обчислюється як середнє$x_1,\ldots,x_n$ значення$n$ спостережень за процесом, було визначено як придатне в розділі 1.2. Щоб дослідити його теоретичні властивості, потрібно проаналізувати випадкову величину, пов'язану з нею, тобто

$$\bar{X}_n=\frac 1n(X_1+\ldots+X_n). \nonumber$$

Два факти можна швидко встановити.

• $\bar{X}_n$є неупередженим оцінювачем для$\mu$, оскільки

$$E[\bar{X}_n]=E\left[\frac 1n\sum_{t=1}^nX_t\right]=\frac 1n\sum_{t=1}^nE[X_t]=\frac 1n n\mu=\mu. \nonumber$$

Це означає, що «в середньому» вірно оцінюється справжнє, але невідоме$\mu$. Зверніть увагу, що немає різниці в розрахунках між стандартним випадком незалежних і однаково розподілених випадкових величин і більш загальним слабко стаціонарним процесом, розглянутим тут.

• Якщо$\gamma(n)\to 0$ як$n\to\infty$, то$\bar{X}_n$ є послідовним оцінювачем для$\mu$, так як

\ почати {вирівнювати*}
\ математика {Var} (\ бар {X} _n) &=\ математика {Cov}\ ліворуч (\ frac 1n\ sum_ {s=1} ^nx_s,\ frac 1n\ sum_ {t=1} ^nx_t\ праворуч)
=\ frac {1} {n^2}\ sum_ {s=1} ^nx_t\ праворуч) =\ frac {1} {n^2}\ sum_ {s=1} ^nx_1} n\ sum_ {t=1} ^n\ mathrm {Cov} (x_s, x_t)\\ [.2см]
&=\ розрив {1} {n^2}\ sum_ {s-t = -n} ^n (н-|с-т |)\ гамма (с-т)
=\ фрак 1n\ сума {h=-n} ^n\ ліворуч (1-\ frac {|h|} {n}\ праворуч)\ гамма (h).
\ end {вирівнювати*}

Тепер кількість на правій стороні сходиться до нуля, як$n\to\infty$ тому,$\gamma(n)\to 0$ як$n\to\infty$ за припущенням. Перший знак рівності в останньому масиві рівнянь випливає з того$X$, що$\mathrm{Var}(X)=\mathrm{Cov}(X,X)$ для будь-якої випадкової величини другий знак рівності використовує, що функція коваріації є лінійною в обох аргументах. Для третьої рівності можна використовувати це$\mathrm{Cov}(X_s,X_t)=\gamma(s-t)$ і те, що кожен$\gamma(s-t)$ з'являється точно$n-|s-t|$ раз у подвійному підсумовуванні. Нарешті, права сторона виходить$s-t$ заміною на$h$ і потягнувши одну$n^{-1}$ всередині підсумовування.

У стандартному випадку незалежні і однаково розподілені випадкові величини$n\mathrm{Var}(\bar{X})=\sigma^2$. Умова$\gamma(n)\to 0$ виконується автоматично. Однак в загальному випадку слабо стаціонарних процесів його не можна опускати.

Більше можна довести, використовуючи відповідний набір припущень. Результати формулюються у вигляді теореми без надання доказів.

Теорема$\PageIndex{1}$

$(X_t\colon t\in\mathbb{Z})$Дозволяти бути слабо стаціонарним стохастичним процесом із$\mu$ середнім і ACVF$\gamma$. Потім наступні твердження мають вірність як$n\to\infty$.

1. Якщо$\sum_{h=-\infty}^\infty|\gamma(h)|<\infty$, то $$n\mathrm{Var}(\bar{X}_n)\to \sum_{h=-\infty}^\infty\gamma(h)=\tau^2; \nonumber$$
2. Якщо процес «близький до гауссіанності», то $$\sqrt{n}(\bar{X}_n-\mu)\sim AN(0,\tau_n^2), \qquad \tau_n^2=\sum_{h=-n}^n\left(1-\frac{|h|}{n}\right)\gamma(h). \nonumber$$

Тут$\sim AN(0,\tau_n^2)$ позначається приблизно нормально розподілений із середнім нулем та дисперсією$\tau_n^2$.

Теорему$\PageIndex{1}$ можна використовувати для побудови довірчих інтервалів для невідомого середнього параметра$\mu$. Для цього потрібно, однак, оцінити невідомий параметр дисперсії$\tau_n$. Для великого класу стохастичних процесів він тримає, що$\tau_n^2$ сходиться до$\tau^2$ як$n\to\infty$. Тому ми можемо використовувати$\tau^2$ як наближення для$\tau_n^2$. Більш того,$\tau^2$ можна оцінити по

$$\hat{\tau}_n^2=\sum_{h=-\sqrt{n}}^{\sqrt{n}}\left(1-\frac{|h|}{n}\right)\hat{\gamma}(h), \nonumber$$

де$\hat{\gamma}(h)$ позначає оцінку ACVF, визначену в (1.2.1). Приблизний 95% довірчий інтервал для тепер$\mu$ може бути побудований як

$$\left(\bar{X}_n-1.96\frac{\hat{\tau}_n}{\sqrt{n}},\bar{X}_n+1.96\frac{\hat{\tau}_n}{\sqrt{n}}\right). \nonumber$$

Приклад$\PageIndex{1}$: Autoregressive Processes

$(X_t\colon t\in\mathbb{Z})$Дозволяти задаються рівняннями

\ begin {рівняння}\ мітка {еква:2.1.1}
x_t-\ mu=\ phi (X_ {t-1} -\ му) +z_t,\ qquad t\ in\ mathbb {Z},\ tag {2.1.1}
\ end {рівняння}

де$(Z_t\colon t\in\mathbb{Z})\sim\mathrm{WN}(0,\sigma^2)$ і$|\phi|<1$. Вона буде показана в главі 3, яка$(X_t\colon t\in\mathbb{Z})$ визначає слабо стаціонарний процес. Використовуючи стохастичні різницеві рівняння\ ref {2.1.1}, можна визначити як середні, так і автоковаріації. Він стверджує, що$E[X_t]=\phi E[X_{t-1}]+\mu(1-\phi)$. Так як по стаціонарності$E[X_{t-1}]$ можна замінити на$E[X_t]$, то випливає, що

$$E[X_t]=\mu,\qquad t\in\mathbb{Z}. \nonumber$$

Далі ми будемо працювати з процесом,$(X_t^c\colon t\in\mathbb{Z})$ наведеним шляхом дозволу$X_t^c=X_t-\mu$. Зрозуміло,$E[X_t^c]=0$. З визначення випливає також, що коваріації$(X_t\colon t\in\mathbb{Z})$ і$(X_t^c\colon t\in\mathbb{Z})$ збігаються. Перший обчислювальний другий момент$X_t^c$, дає

$$E[\{X_t^c\}^2]=E\big[(\phi X_{t-1}^c+Z_t)^2\big]=\phi^2E[\{X_{t-1}^c\}^2]+\sigma^2 \nonumber$$

і, отже, оскільки$E[\{X_{t-1}^c\}^2]=E[\{X_t^c\}^2]$ слабкою стаціонарністю$(X_t^c\colon t\in\mathbb{Z})$,

$$E[\{X_t^c\}^2]=\frac{\sigma^2}{1-\phi^2},\qquad t\in\mathbb{Z}. \nonumber$$

З останнього рівняння стає очевидним,$|\phi|<1$ навіщо потрібна умова на дисплеї (2.1.1). На наступному кроці обчислюється функція автоковаріації. Бо$h>0$, він тримає, що

$$\gamma(h)=E[X_{t+h}^cX_t^c]=E\big[(\phi X_{t+h-1}^c+Z_{t+h})X_t^c\big]=\phi E[X_{t+h-1}^cX_t^c]=\phi\gamma(h-1)=\phi^{h}\gamma(0) \nonumber$$

після$h$ ітерацій. Але так як$\gamma(0)=E[\{X_t^c\}^2]$, по симетрії АКВФ, випливає, що

$$\gamma(h)=\frac{\sigma^2\phi^{|h|}}{1-\phi^2},\qquad h\in\mathbb{Z}. \nonumber$$

Після цих теоретичних міркувань$\mu$ можна побудувати 95% (асимптотичний) довірчий інтервал для середнього параметра. Щоб перевірити, чи застосовується теорема 2.1.1 тут, потрібно перевірити, чи є автоковаріації абсолютно сумовними:

\ почати {вирівнювати*}
\ tau^2&=\ sum_ {h=-\ infty} ^\ infty\ гамма (h) =\ frac {\ сигма ^ 2} {1-\ phi^2}\ ліворуч (1+2\ sum_ {h=1} ^\ infty\ phi^h\ праворуч)
=\ frac {\ сигма ^ 2} {1-\ phi^2}\ ліворуч (1+\ розриву {2} {1-\ phi} -2\ праворуч)\\ [.2см]
&=\ гідророзриву {\ сигма^2} {1-\ phi}\ frac {1} {1-\ phi} (1+\ phi) =\ frac {\ сигма ^ 2} {(1-- \ phi) ^2} <\ infty.
\ end {вирівнювати*}

Тому 95% довірчий інтервал, для$\mu$ якого заснований на спостережуваних значеннях$x_1,\ldots,x_n$, задається

$$\left(\bar{x}-1.96\frac{\sigma}{\sqrt{n}(1-\phi)},\bar{x}+1.96\frac{\sigma}{\sqrt{n}(1-\phi)}\right). \nonumber$$

У ньому параметри$\sigma$ і$\phi$ повинні бути замінені відповідними оцінювачами. Вони будуть введені в главі 3.