2.1: Оцінка середнього

Last updated
Save as PDF

Page ID: 97193

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Припустимо, що слід знайти відповідну здогадку для\(\mu\) невідомого середнього якогось слабо стаціонарного стохастичного процесу\((X_t\colon t\in\mathbb{Z})\). Середнє значення зразка\(\bar{x}\), яке легко обчислюється як середнє\(x_1,\ldots,x_n\) значення\(n\) спостережень за процесом, було визначено як придатне в розділі 1.2. Щоб дослідити його теоретичні властивості, потрібно проаналізувати випадкову величину, пов'язану з нею, тобто

\[ \bar{X}_n=\frac 1n(X_1+\ldots+X_n). \nonumber \]

Два факти можна швидко встановити.

\(\bar{X}_n\)є неупередженим оцінювачем для\(\mu\), оскільки

\[ E[\bar{X}_n]=E\left[\frac 1n\sum_{t=1}^nX_t\right]=\frac 1n\sum_{t=1}^nE[X_t]=\frac 1n n\mu=\mu. \nonumber \]

Це означає, що «в середньому» вірно оцінюється справжнє, але невідоме\(\mu\). Зверніть увагу, що немає різниці в розрахунках між стандартним випадком незалежних і однаково розподілених випадкових величин і більш загальним слабко стаціонарним процесом, розглянутим тут.

Якщо\(\gamma(n)\to 0\) як\(n\to\infty\), то\(\bar{X}_n\) є послідовним оцінювачем для\(\mu\), так як

\ почати {вирівнювати*}
\ математика {Var} (\ бар {X} _n) &=\ математика {Cov}\ ліворуч (\ frac 1n\ sum_ {s=1} ^nx_s,\ frac 1n\ sum_ {t=1} ^nx_t\ праворуч)
=\ frac {1} {n^2}\ sum_ {s=1} ^nx_t\ праворуч) =\ frac {1} {n^2}\ sum_ {s=1} ^nx_1} n\ sum_ {t=1} ^n\ mathrm {Cov} (x_s, x_t)\\ [.2см]
&=\ розрив {1} {n^2}\ sum_ {s-t = -n} ^n (н-|с-т |)\ гамма (с-т)
=\ фрак 1n\ сума {h=-n} ^n\ ліворуч (1-\ frac {|h|} {n}\ праворуч)\ гамма (h).
\ end {вирівнювати*}

Тепер кількість на правій стороні сходиться до нуля, як\(n\to\infty\) тому,\(\gamma(n)\to 0\) як\(n\to\infty\) за припущенням. Перший знак рівності в останньому масиві рівнянь випливає з того\(X\), що\(\mathrm{Var}(X)=\mathrm{Cov}(X,X)\) для будь-якої випадкової величини другий знак рівності використовує, що функція коваріації є лінійною в обох аргументах. Для третьої рівності можна використовувати це\(\mathrm{Cov}(X_s,X_t)=\gamma(s-t)\) і те, що кожен\(\gamma(s-t)\) з'являється точно\(n-|s-t|\) раз у подвійному підсумовуванні. Нарешті, права сторона виходить\(s-t\) заміною на\(h\) і потягнувши одну\(n^{-1}\) всередині підсумовування.

У стандартному випадку незалежні і однаково розподілені випадкові величини\(n\mathrm{Var}(\bar{X})=\sigma^2\). Умова\(\gamma(n)\to 0\) виконується автоматично. Однак в загальному випадку слабо стаціонарних процесів його не можна опускати.

Більше можна довести, використовуючи відповідний набір припущень. Результати формулюються у вигляді теореми без надання доказів.

Теорема\(\PageIndex{1}\)

\((X_t\colon t\in\mathbb{Z})\)Дозволяти бути слабо стаціонарним стохастичним процесом із\(\mu\) середнім і ACVF\(\gamma\). Потім наступні твердження мають вірність як\(n\to\infty\).

Якщо\(\sum_{h=-\infty}^\infty|\gamma(h)|<\infty\), то\[ n\mathrm{Var}(\bar{X}_n)\to \sum_{h=-\infty}^\infty\gamma(h)=\tau^2; \nonumber \]
Якщо процес «близький до гауссіанності», то\[ \sqrt{n}(\bar{X}_n-\mu)\sim AN(0,\tau_n^2), \qquad \tau_n^2=\sum_{h=-n}^n\left(1-\frac{|h|}{n}\right)\gamma(h). \nonumber \]

Тут\(\sim AN(0,\tau_n^2)\) позначається приблизно нормально розподілений із середнім нулем та дисперсією\(\tau_n^2\).

Теорему\(\PageIndex{1}\) можна використовувати для побудови довірчих інтервалів для невідомого середнього параметра\(\mu\). Для цього потрібно, однак, оцінити невідомий параметр дисперсії\(\tau_n\). Для великого класу стохастичних процесів він тримає, що\(\tau_n^2\) сходиться до\(\tau^2\) як\(n\to\infty\). Тому ми можемо використовувати\(\tau^2\) як наближення для\(\tau_n^2\). Більш того,\(\tau^2\) можна оцінити по

\[ \hat{\tau}_n^2=\sum_{h=-\sqrt{n}}^{\sqrt{n}}\left(1-\frac{|h|}{n}\right)\hat{\gamma}(h), \nonumber \]

де\(\hat{\gamma}(h)\) позначає оцінку ACVF, визначену в (1.2.1). Приблизний 95% довірчий інтервал для тепер\(\mu\) може бути побудований як

\[ \left(\bar{X}_n-1.96\frac{\hat{\tau}_n}{\sqrt{n}},\bar{X}_n+1.96\frac{\hat{\tau}_n}{\sqrt{n}}\right). \nonumber \]

Приклад\(\PageIndex{1}\): Autoregressive Processes

\((X_t\colon t\in\mathbb{Z})\)Дозволяти задаються рівняннями

\ begin {рівняння}\ мітка {еква:2.1.1}
x_t-\ mu=\ phi (X_ {t-1} -\ му) +z_t,\ qquad t\ in\ mathbb {Z},\ tag {2.1.1}
\ end {рівняння}

де\((Z_t\colon t\in\mathbb{Z})\sim\mathrm{WN}(0,\sigma^2)\) і\(|\phi|<1\). Вона буде показана в главі 3, яка\((X_t\colon t\in\mathbb{Z})\) визначає слабо стаціонарний процес. Використовуючи стохастичні різницеві рівняння\ ref {2.1.1}, можна визначити як середні, так і автоковаріації. Він стверджує, що\(E[X_t]=\phi E[X_{t-1}]+\mu(1-\phi)\). Так як по стаціонарності\(E[X_{t-1}]\) можна замінити на\(E[X_t]\), то випливає, що

\[ E[X_t]=\mu,\qquad t\in\mathbb{Z}. \nonumber \]

Далі ми будемо працювати з процесом,\((X_t^c\colon t\in\mathbb{Z})\) наведеним шляхом дозволу\(X_t^c=X_t-\mu\). Зрозуміло,\(E[X_t^c]=0\). З визначення випливає також, що коваріації\((X_t\colon t\in\mathbb{Z})\) і\((X_t^c\colon t\in\mathbb{Z})\) збігаються. Перший обчислювальний другий момент\(X_t^c\), дає

\[ E[\{X_t^c\}^2]=E\big[(\phi X_{t-1}^c+Z_t)^2\big]=\phi^2E[\{X_{t-1}^c\}^2]+\sigma^2 \nonumber \]

і, отже, оскільки\(E[\{X_{t-1}^c\}^2]=E[\{X_t^c\}^2]\) слабкою стаціонарністю\((X_t^c\colon t\in\mathbb{Z})\),

\[ E[\{X_t^c\}^2]=\frac{\sigma^2}{1-\phi^2},\qquad t\in\mathbb{Z}. \nonumber \]

З останнього рівняння стає очевидним,\(|\phi|<1\) навіщо потрібна умова на дисплеї (2.1.1). На наступному кроці обчислюється функція автоковаріації. Бо\(h>0\), він тримає, що

\[ \gamma(h)=E[X_{t+h}^cX_t^c]=E\big[(\phi X_{t+h-1}^c+Z_{t+h})X_t^c\big]=\phi E[X_{t+h-1}^cX_t^c]=\phi\gamma(h-1)=\phi^{h}\gamma(0) \nonumber \]

після\(h\) ітерацій. Але так як\(\gamma(0)=E[\{X_t^c\}^2]\), по симетрії АКВФ, випливає, що

\[ \gamma(h)=\frac{\sigma^2\phi^{|h|}}{1-\phi^2},\qquad h\in\mathbb{Z}. \nonumber \]

Після цих теоретичних міркувань\(\mu\) можна побудувати 95% (асимптотичний) довірчий інтервал для середнього параметра. Щоб перевірити, чи застосовується теорема 2.1.1 тут, потрібно перевірити, чи є автоковаріації абсолютно сумовними:

\ почати {вирівнювати*}
\ tau^2&=\ sum_ {h=-\ infty} ^\ infty\ гамма (h) =\ frac {\ сигма ^ 2} {1-\ phi^2}\ ліворуч (1+2\ sum_ {h=1} ^\ infty\ phi^h\ праворуч)
=\ frac {\ сигма ^ 2} {1-\ phi^2}\ ліворуч (1+\ розриву {2} {1-\ phi} -2\ праворуч)\\ [.2см]
&=\ гідророзриву {\ сигма^2} {1-\ phi}\ frac {1} {1-\ phi} (1+\ phi) =\ frac {\ сигма ^ 2} {(1-- \ phi) ^2} <\ infty.
\ end {вирівнювати*}

Тому 95% довірчий інтервал, для\(\mu\) якого заснований на спостережуваних значеннях\(x_1,\ldots,x_n\), задається

\[ \left(\bar{x}-1.96\frac{\sigma}{\sqrt{n}(1-\phi)},\bar{x}+1.96\frac{\sigma}{\sqrt{n}(1-\phi)}\right). \nonumber \]

У ньому параметри\(\sigma\) і\(\phi\) повинні бути замінені відповідними оцінювачами. Вони будуть введені в главі 3.