3.4: Прогнозування

Припустимо, що змінні слабко стаціонарного$X_1,\ldots,X_n$ часового ряду$(X_t\colon t\in\mathbb{Z})$ спостерігалися з метою передбачити або прогнозувати майбутні значення$X_{n+1},X_{n+2},\ldots$. Тут основна увага приділяється так званим однокроковим кращим лінійним предикторам (BLP). Це, за визначенням, лінійні комбінації

$$\hat{X}_{n+1}=\phi_{n0}+\phi_{n1}X_n+\ldots+\phi_{nn}X_1 \label{3.4.1}$$

спостережуваних змінних$X_1,\ldots,X_n$, які мінімізують середню квадратичну похибку

$$E\left[\{X_{n+1}-g(X_1,\ldots,X_n)\}^2\right] \nonumber$$

для функцій g of$X_1,\ldots,X_n$. Прямі узагальнення дають визначення для m -step найкращих лінійних предикторів$\hat{X}_{n+m}$$X_{n+m}$ для$m\in\mathbb{N}$ довільних однаково. Використовуючи Гільбертову космічну теорію, можна довести наступну теорему, яка стане відправною точкою для наших міркувань.

Теорема$\PageIndex{1}$: Best linear prediction (BLP)

$(X_t\colon t\in\mathbb{Z})$Дозволяти бути слабо стаціонарним стохастичним процесом якого$X_1,\ldots,X_n$ спостерігаються. Потім одноступінчастий BLP$\hat{X}_{n+1}$ з$X_{n+1}$ визначається рівняннями

$$E\left[(X_{n+1}-\hat{X}_{n+1})X_{n+1-j}\right]=0 \nonumber$$

для всіх$j=1,\ldots,n+1$, де$X_0=1$.

Рівняння, зазначені в$\PageIndex{1}$ теоремі, можуть бути використані для обчислення коефіцієнтів$\phi_{n0},\ldots,\phi_{nn}$ в Equation\ ref {3.4.1}. Досить зосередитися на середніх нульових процесах$(X_t\colon t\in\mathbb{Z})$ і, таким чином, встановити$\phi_{n0}=0$, як показують наступні розрахунки. Припустимо, що$E[X_t]=\mu$ для всіх$t\in\mathbb{Z}$. Потім, Теорема$\PageIndex{1}$ дає, що$E[\hat{X}_{n+1}]=E[X_{n+1}]=\mu$ (використовуючи рівняння с$j=n+1$. Отже, він вважає, що

$$\mu=E[\hat{X}_{n+1}] =E\left[\phi_{n0}+\sum_{\ell=1}^n\phi_{n\ell}X_{n+1-\ell}\right] =\phi_{n0}+\sum_{\ell=1}^n\phi_{n\ell}\mu. \nonumber$$

Використовуючи тепер$\phi_{n0}=\mu(1-\phi_{n1}-\ldots-\phi_{nn})$, Equation\ ref {3.4.1} можна переписати як

$$\hat{Y}_{n+1}=\phi_{n1}Y_n+\ldots+\phi_{nn}Y_1, \nonumber$$

де$\hat{Y}_{n+1}=\hat{X}_{n+1}-\mu$ має середнє значення нуля.

З ACVF$\gamma$$(X_t\colon t\in\mathbb{Z})$, рівняння в теоремі$\PageIndex{1}$ можуть бути виражені як

$$\sum_{\ell=1}^n\phi_{n\ell}\gamma(j-\ell)=\gamma(j),\qquad j=1,\ldots,n. \label{3.4.2}$$

Зверніть увагу, що через$\phi_{n0}=0$ умовність останнє рівняння в теоремі$\PageIndex{1}$ (для якої$j=n+1$) опущено. Більш зручно, це повторюється в матричних позначеннях. З цією метою нехай,$\phi_n=(\phi_{n1},\ldots,\phi_{nn})^T$ і$\Gamma_n=(\gamma(j-\ell))_{j,\ell=1,\ldots,n}$$\gamma_n=(\gamma(1),\ldots,\gamma(n))^T$, де$^T$ позначається транспонування. З цими позначеннями (3.4.2.) стає

$$\Gamma_n\phi_n=\gamma_n \qquad\Longleftrightarrow\qquad \phi_n=\Gamma_n^{-1}\gamma_n, \label{3.4.3}$$

за умови, що$\Gamma_n$ не є сингулярним.

Визначення коефіцієнтів$\phi_{n\ell}$, таким чином, зводилося до розв'язання системи лінійних рівнянь і залежить лише від властивостей другого порядку,$(X_t\colon t\in\mathbb{Z})$ які задаються ACVF$\gamma$.

Нехай$X_n=(X_n,X_{n-1},\ldots,X_1)^T$. Потім,$\hat{X}_{n+1}=\phi_n^TX_n$. Для оцінки якості прогнозу обчислюють середню квадратичну похибку за допомогою Equation\ ref {3.4.3} наступним чином:

$$\begin{align} P_{n+1} &=E\left[(X_{n+1}-\hat{X}_{n+1})^2\right] \nonumber \\[5pt] &=E\left[(X_{n+1}-\phi_n^T X_n)^2\right] \nonumber \\[5pt] &=E\left[(X_{n+1}-\gamma_n^T\Gamma_n^{-1} X_n)^2\right]\nonumber \\[5pt] &=E\left[X_{n+1}^2-2\gamma_n^T\Gamma_n^{-1} X_nX_{n+1} +\gamma_n^T\Gamma_n^{-1} X_n X_n^{T}\Gamma_n^{-1}\gamma_n\right]\nonumber \\[5pt] &=\gamma(0)-2\gamma_n^T\Gamma_n^{-1}\gamma_n +\gamma_n^T\Gamma_n^{-1}\Gamma_n\Gamma_n^{-1}\gamma_n\nonumber \\[5pt] &=\gamma(0)-\gamma_n^T\Gamma_n^{-1}\gamma_n. \label{3.4.4} \end{align}$$

Як початковий приклад ми пояснюємо процедуру прогнозування авторегресивного процесу порядку 2.

Приклад$\PageIndex{1}$: Prediction of an AR(2) Process

$(X_t\colon t\in\mathbb{Z})$Дозволяти бути причинним AR (2) процес$X_t=\phi_1X_{t-1}+\phi_2X_{t-2}+Z_t$. Припустимо, що для$X_1$ прогнозування значення доступне лише спостереження$X_2$. У цьому спрощеному випадку єдине прогнозне рівняння\ ref {3.4.2} дорівнює

$$\phi_{11}\gamma(0)=\gamma(1), \nonumber$$

щоб$\phi_{11}=\rho(1)$ і$\hat{X}_{1+1}=\rho(1)X_1$.

На наступному кроці припустимо, що$X_2$ спостережувані значення$X_1$ і знаходяться під рукою для прогнозування значення$X_3$. Потім один аналогічно отримує з (3.4.2.), що предиктор може бути обчислений з

$$\begin{align*} \hat{X}_{2+1} &=\phi_{21}X_{2}+\phi_{22}X_1 =\phi_2^T X_2=(\Gamma_2^{-1}\gamma_2)^T X_2 \\[5pt] &=(\gamma(1),\gamma(2))\left(\begin{array}{c@{\quad}c} \gamma(0) & \gamma(1) \\ \gamma(1) & \gamma(0) \end{array}\right)^{-1} \left(\begin{array}{c} X_2 \\ X_1 \end{array}\right). \end{align*} \nonumber$$

Однак, застосовуючи аргументи, що призводять до визначення PAC у розділі 3.3.3., можна виявити, що

$$E\left[\{X_3-(\phi_1X_2+\phi_2X_1)\}X_1\right]=E[Z_3X_1]=0, \nonumber$$

$$E\left[\{X_3-(\phi_1X_2+\phi_2X_1)\}X_2\right]=E[Z_3X_2]=0. \nonumber$$

Звідси,$\hat{X}_{2+1}=\phi_1X_2+\phi_2X_1$ і навіть$\hat{X}_{n+1}=\phi_1X_n+\phi_2X_{n-1}$ для всіх$n\geq 2$, експлуатує ту чи іншу авторегресійну структуру.
Оскільки подібні результати можуть бути доведені для загальних причинних процесів AR (p), одноступінчасті предиктори мають вигляд

$$\hat{X}_{n+1}=\phi_1X_n+\ldots+\phi_pX_{n-p+1} \nonumber$$

всякий раз, коли кількість спостережуваних змінних n становить не менше p.

Основний недолік цього підходу відразу видно з попереднього прикладу: Для більших розмірів вибірки n процедура прогнозування вимагає обчислення зворотної матриці,$\Gamma_n^{-1}$ яка є обчислювально-дорогою. В іншій частині цього розділу введено два рекурсивні методи прогнозування, які взагалі обходять інверсію. Вони відомі як алгоритм Дурбіна-Левінсона та алгоритм інновацій. Нарешті, вводяться предиктори, засновані на нескінченному минулому, які часто легко застосовні для класу причинно-наслідкових та оборотних процесів ARMA.

Спосіб 1. Алгоритм Дурбіна-Левінсона

Якщо$(X_t\colon t\in\mathbb{Z})$ нульовий середній слабо стаціонарний процес з ACVF$\gamma$ такий, що$\gamma(0)>0$ і$\gamma(h)\to 0$ як$h\to\infty$, то коефіцієнти$\phi_{n\ell}$ в (3.4.2.) і середні квадратичні похибки$P_n$ в (3.4.4.) задовольняють рекурсії

$$\phi_{11}=\frac{\gamma(1)}{\gamma(0)},\qquad P_0=\gamma(0), \nonumber$$

і, для того$n\geq 1$,

$$\phi_{nn}=\frac{1}{P_{n-1}} \left(\gamma(n)-\sum_{\ell=1}^{n-1}\phi_{n-1,\ell}\gamma(n-\ell)\right), \nonumber$$

$$\left(\begin{array}{l}\phi_{n1} \\ {~}\vdots \\ \phi_{n,n-1}\end{array}\right) =\left(\begin{array}{l} \phi_{n-1,1} \\ {~}\vdots \\ \phi_{n-1,n-1}\end{array}\right) -\phi_{nn}\left(\begin{array}{l} \phi_{n-1,n-1} \\ {~}\vdots \\ \phi_{n-1,1}\end{array}\right) \nonumber$$

і

$$P_{n}=P_{n-1}(1-\phi_{nn}^2). \nonumber$$

Можна показати, що за припущеннями, зробленими на процес$(X_t\colon t\in\mathbb{Z})$, він дійсно тримає, що$\phi_{nn}$ дорівнює значенню PACF$(X_t\colon t\in\mathbb{Z})$ at lag n. Результат сформульований як наслідок 5.2.1 в Броквелл і Девіс (1991). Цей факт висвітлюється на прикладі.

PACF процесу AR (2)

$(X_t\colon t\in\mathbb{Z})$Дозволяти бути причинним AR (2) процес. Потім,$\rho(1)=\phi_1/(1-\phi_2)$ і всі інші значення можна обчислити рекурсивно з

$$\rho(h)-\phi_1\rho(h-1)-\phi_2\rho(h-2)=0,\qquad h\geq 2. \nonumber$$

Зверніть увагу, що ACVF$\gamma$ задовольняє різницеве рівняння з тими ж коефіцієнтами, що видно множенням останнього рівняння на$\gamma(0)$. Застосування алгоритму Дурбіна-Левінсона дає перше, що

$$\phi_{11}=\frac{\gamma(1)}{\gamma(0)}=\rho(1) \qquad\mbox{and}\qquad P_1=P_0(1-\phi_{11}^2)=\gamma(0)(1-\rho(1)^2). \nonumber$$

Ігноруючи рекурсію для термінів помилки$P_n$ в наступному, наступні$\phi_{n\ell}$ значення отримують a

$$\phi_{22} =\frac{1}{P_1}\left[\gamma(2)-\phi_{11}\gamma(1)\right] =\frac{1}{1-\rho(1)^2}\left[\rho(2)-\rho(1)^2\right] \nonumber$$

$$=\frac{\phi_1^2(1-\phi_2)^{-1}+\phi_2-[\phi_1(1-\phi_2)^{-1}]^2} {1-[\phi_1(1-\phi_2)^{-1}]^2}=\phi_2, \nonumber$$

$$\phi_{21} =\phi_{11}-\phi_{22}\phi_{11}=\rho(1)(1-\phi_2)=\phi_1, \nonumber$$

$$\phi_{33} =\frac{1}{P_2}\left[\gamma(3)-\phi_{21}\gamma(2)-\phi_{22}\gamma(1)\right] =\frac{1}{P_2}\left[\gamma(3)-\phi_1\gamma(2)-\phi_2\gamma(2)\right]=0. \nonumber$$

Тепер, посилаючись на зауваження після прикладу 3.3.7., подальші обчислення не потрібні для визначення PACF, оскільки$\phi_{nn}=0$ для всіх$n>p=2$.

Спосіб 2. Алгоритм нововведень

На відміну від алгоритму Дурбіна-Левінсона, цей метод може застосовуватися і до нестаціонарних процесів. Таким чином, в цілому слід віддати перевагу перед Методом 1. Алгоритм інновацій отримав свою назву від того, що безпосередньо використовується форма прогнозних рівнянь теореми 3.4.1, які викладені в терміні нововведень$(X_{t+1}-\hat{X}_{t+1})_{t\in\mathbb{Z}}$. Зверніть увагу, що послідовність складається з некорельованих випадкових величин.

Однокрокові предиктори$\hat{X}_{n+1}$ можна обчислити за рекурсіями

$$\hat{X}_{0+1}=0,\qquad P_1=\gamma(0) \nonumber$$

і, для того$n\geq 1$,

$$\hat{X}_{n+1} =\sum_{\ell=1}^n\theta_{n\ell}(X_{n+1-\ell}-\hat{X}_{n+1-\ell}) \nonumber$$

$$P_{n+1} =\gamma(0)-\sum_{\ell=0}^{n-1}\theta_{n,n-\ell}^2P_{\ell+1}, \nonumber$$

де коефіцієнти отримують з рівнянь

$$\theta_{n,n-\ell}=\frac{1}{P_{\ell+1}} \left[\gamma(n-\ell)-\sum_{i=0}^{\ell-1}\theta_{\ell,\ell-i}\theta_{n,n-i}P_{i+1}\right], \qquad\ell=0,1,\ldots,n-1. \nonumber$$

Як приклад ми покажемо, як алгоритм інновацій застосовується до часового ряду ковзного середнього порядку 1.

Приклад$\PageIndex{3}$: Prediction of an MA(1) Process

$(X_t\colon t\in\mathbb{Z})$Дозволяти бути MA (1) процес$X_t=Z_t+\theta Z_{t-1}$. Зверніть увагу, що

$$\gamma(0)=(1+\theta^2)\sigma^2,\qquad\gamma(1)=\theta\sigma^2 \qquad\mbox{and}\qquad\gamma(h)=0\quad(h\geq 2). \nonumber$$

Використовуючи алгоритм нововведень, можна обчислити однокроковий предиктор за значеннями

\ begin {align*}
\ theta_ {n1} =\ frac {\ тета\ сигма ^ 2} {p_n},\ qquad
\ theta_ {n\ ell} =0\ quad (\ ell=2,\ ldots, n-1),
\ end {align*}

і

$$\begin{align*} P_1 &=(1+\theta^2)\sigma^2,\\[5pt] P_{n+1}&=(1+\theta^2-\theta\theta_{n1})\sigma^2 \end{align*} \nonumber$$

як

$$\hat{X}_{n+1}=\frac{\theta\sigma^2}{P_n}(X_n-\hat{X}_{n}). \nonumber$$

Спосіб 3: Прогнозування на основі нескінченного минулого

Припустимо, що аналізується причинно-оборотний процес ARMA (p, q). Припустимо далі, що (нереально) повна історія процесу може бути збережена і що, таким чином, всі минулі змінні$(X_t\colon t\leq n)$ можуть бути доступні. Визначте тоді

$$\tilde{X}_{n+m}=E[X_{n+m}|X_n,X_{n-1},\ldots], \nonumber$$

як провісник m -крок вперед, заснований на нескінченному минулому. Можна показати, що для великих розмірів вибірки n різниця між значеннями$\hat{X}_{n+m}$ і$\tilde{X}_{n+m}$ зникає з експоненціальною швидкістю. Використовуючи причинність і оборотність процесу ARMA, можна перетворити предиктор$\tilde{X}_{n+m}$ так, щоб він був у обчислювально-більш здійсненній формі. Для цього зверніть увагу, що за причинністю

$$\begin{align} \tilde{X}_{n+m} &=E[X_{n+m}|X_n,X_{n-1},\ldots]\nonumber \\[5pt] &=E\left[\sum_{j=0}^\infty\psi_jZ_{n+m-j}\Big|X_n,X_{n-1},\ldots\right]\nonumber \\[5pt] &=\sum_{j=m}^\infty\psi_jZ_{n+m-j} \label{3.4.5} \end{align}$$

тому що$E[Z_t|X_n,X_{n-1},\ldots]$ дорівнює нулю, якщо t>n і дорівнює z_t if$t\leq n$ (через оборотність!). Представлення в (3.4.5.) може бути використано для обчислення середньої похибки прогнозування в квадраті$\tilde{P}_{n+m}$. З причинності випливає, що

$$\tilde{P}_{n+m}=E[(X_{n+m}-\tilde{X}_{n+m})^2] =E\left[\left(\sum_{j=0}^{m-1}\psi_jZ_{n+m-j}\right)^2\right] =\sigma^2\sum_{j=0}^{m-1}\psi_j^2. \label{3.4.6}$$

З іншого боку, Equation\ ref {3.4.5} не дозволяє безпосередньо обчислити прогнози, оскільки$\tilde{X}_{n+m}$ дається в терміні змінних шуму$Z_{n+m-j}$. Замість цього буде використана оборотність. Спочатку спостерігайте, що

$$E[X_{n+m-j}|X_n,X_{n-1},\ldots]=\left\{\begin{array}{c@{\quad}l} \tilde{X}_{n+m-j}, & j<m.\\[.2cm] X_{n+m-j}, & j\geq m. \end{array}\right. \nonumber$$

За оборотності (частина ``0 = "знову випливає з причинності),

$$\begin{align}0=E[Z_{n+m}|X_n,X_{n-1},\ldots] & \\[5pt] &=E\left[\sum_{j=0}^\infty\pi_jX_{n+m-j}\Big|X_n,X_{n-1},\ldots\right] \\[5pt] & =\sum_{j=0}^\infty\pi_jE[X_{n+m-j}|X_n,X_{n-1},\ldots].\end{align} \nonumber$$

Поєднуючи попередні два твердження, дає

$$\tilde{X}_{n+m}=-\sum_{j=1}^{m-1}\pi_j\tilde{X}_{n+m-j} -\sum_{j=m}^\infty\pi_jX_{n+m-j}. \label{3.4.7}$$

Рівняння тепер можуть бути вирішені рекурсивно для$m=1,2,\ldots$ Note, однак, що для будь-якої$m\geq 1$ послідовності$(X_{n+m+t}-\tilde{X}_{n+m+t}\colon t\in\mathbb{Z})$ не складається з некорельованих випадкових величин. Насправді, якщо$h\in\mathbb{N}_0$, він вважає, що

$$\begin{align} E[(X_{n+m}-\tilde{X}_{n+m})(X_{n+m+h}-\tilde{X}_{n+m+h})] &\\[5pt] &=E\left[\sum_{j=0}^{m-1}\psi_jZ_{n+m-j}\sum_{i=0}^{m+h-1}\psi_iZ_{n+m+h-i}\right] \\[5pt] & =\sigma^2\sum_{j=0}^{m-1}\psi_j\psi_{j+h}. \end{align} \nonumber$$

Нарешті, для практичних цілей даний прогноз потрібно скоротити. Це досягається шляхом установки

$$\sum_{j=n+m}^\infty\pi_jX_{n+m-j}=0. \nonumber$$

Отримані рівняння (див. Equation\ ref {3.4.7} для порівняння) рекурсивно дають усічені предиктори m -кроку$X_{n+m}^*$:

$$X_{n+m}^*=-\sum_{j=1}^{m-1}\pi_jX_{n+m-j}^*-\sum_{j=m}^{n+m-1}\pi_jX_{n+m-j}. \label{3.4.8}$$

Дописувачі

• Template:ContribAue
• Template:ContribNakano