5.4: Загальна кількість найменших квадратів

Ми раніше розглядали рішення найменших квадратів задачі виду\(y = Ax + e\). Інтерпретація проблеми, яку ми вирішили там, полягає в тому, що ми\(y\) збурили якомога менше - у сенсі найменших квадратів - щоб отримане рівняння було\(y - e = Ax\) послідовним. Природно запитати, що станеться, якщо ми\(A\) дозволимо також бути збуреною, крім збурень\(y\). Це має сенс у ситуаціях, коли невизначеність у нашій моделі та шум у наших вимірах не можуть або не повинні бути повністю віднесені\(y\), а також до\(A\). Найпростішою задачею найменших квадратів цього типу є така, яка дозволяє збурену модель форми.

\[y=(A+\Delta) x+e \ \tag{5.16}\]

Так звану загальну задачу оцінки найменших квадратів тепер можна констатувати як

\[\min _{\Delta, e}\left(\sum_{i, j}\left|\Delta_{i j}\right|^{2}+\sum_{i}\left|e_{i}\right|^{2}\right)^{\frac{1}{2}}=\min _{\Delta, e}\|\Delta \vdots e\|_{F} \ \tag{5.17}\]

\[=\min _{\Delta, e}\|\hat{\Delta}\|_{F} \ \tag{5.18}\]

де

\[\hat{\Delta}=[\Delta \vdots e] \ \tag{5.19}\]

Зважені версії цієї задачі також можуть бути поставлені, але ми опускаємо ці узагальнення.

Зауважимо, що жодних обмежень не було накладено на\(\Delta\) вищевказану постановку завдання, і це часто може обмежити пряму корисність формулювання загальної кількості найменших квадратів у практичних задачах. На практиці очікувані або дозволені збурень часто досить структуровані; однак, рішення загальної задачі найменших квадратів при таких структурних обмеженнях набагато складніше, ніж у невимушеній задачі, яку ми представляємо розв'язання наступного.\(A\) Тим не менш, загальна формулювання найменших квадратів може забезпечити корисний орієнтир. (Такі ж коментарі, звичайно, можна зробити щодо звичайної формулювання найменших квадратів: це часто не критерій, який ми хотіли б використовувати, але його тягованість порівняно з іншими критеріями робить його корисною точкою відправлення.)

Якщо ми зробимо визначення

\ [\ капелюх {A} =\ left [\ begin {масив} {lll}
A &\ vdots & -y
\ end {масив}\ право],\ quad\ капелюх {x} =\ лівий [\ begin {масив} {l}
x\
1
\ end {масив}\ праворуч]\\ тег {5.20}\]

то збурену модель в Equation (5.16) можна переписати як

\[(\hat{A}+\hat{\Delta}) \hat{x}=0 \ \tag{5.21}\]

Це рівняння дає зрозуміти, що те, що ми шукаємо, - це\(\hat{\Delta}\) мінімальна норма Фробеніуса, яка задовольняє Рівняння (5.21) - найменша\(\hat{\Delta}\), яка робить\(\hat{A} + \hat{\Delta}\) однину.

Припустимо, що\(A\) має повний стовпець rank (\(n\)), і що він має більше рядків, ніж стовпців (що зазвичай буває, оскільки в оцінці найменших квадратів ми зазвичай маємо набагато більше вимірювань, ніж параметрів для оцінки). Крім того, припустимо, що\(\hat{A}\) має\(rank (n + 1)\), що також взагалі вірно. З того, що ми дізналися про адитивні збуреннях, ми тепер бачимо, що мінімальне (у сенсі Фробеніуса)\(\hat{A}\), яке задовольняє рівняння (5.21), є

\[\hat{\Delta}=-\sigma_{n+1} u_{n+1} v_{n+1}^{\prime} \ \tag{5.22}\]

де\(\sigma_{n+1}\),\(u_{n+1}\) і\(v_{n+1}\) походять від SVD\(\hat{A}\) (тобто\(\sigma_{n+1}\) є найменшим сингулярним значенням і\(\hat{A}\) т.д.). З огляду на те, що ми тепер знаємо\(\hat{A}\) і\(\hat{\Delta}\)\(\hat{x}= v_{n+1}\), вибираючи, і перемасштабуючи\(\hat{x}\), ми маємо

\ [(\ hat {A} +\ hat {\ Дельта})\ лівий [\ begin {масив} {l}
x\\
1
\ end {масив}\ праворуч] =0\ nonumber\]

що дає нам\(x\), загальне рішення найменших квадратів. Це рішення пов'язано з Голубом і Ван Лоаном (див. Їх класичний текст на Матричні обчислення, друге видання, Johns Hopkins University Press, 1989).