Error cuadrático medio mínimo

En estadística y procesamiento de señales , un estimador de error cuadrático medio mínimo ( MMSE ) es un método de estimación que minimiza el error cuadrático medio (MSE), que es una medida común de la calidad del estimador, de los valores ajustados de una variable dependiente . En el entorno bayesiano , el término MMSE se refiere más específicamente a la estimación con función de pérdida cuadrática . En tal caso, el estimador MMSE viene dado por la media posterior del parámetro que se va a estimar. Dado que la media posterior es complicada de calcular, la forma del estimador MMSE suele estar restringida a estar dentro de una determinada clase de funciones. Los estimadores MMSE lineales son una opción popular, ya que son fáciles de usar, fáciles de calcular y muy versátiles. Ha dado lugar a muchos estimadores populares, como el filtro de Wiener-Kolmogorov y el filtro de Kalman .

El término MMSE se refiere más específicamente a la estimación en un entorno bayesiano con una función de costo cuadrática. La idea básica detrás del enfoque bayesiano para la estimación surge de situaciones prácticas en las que a menudo tenemos alguna información previa sobre el parámetro que se va a estimar. Por ejemplo, podemos tener información previa sobre el rango que puede asumir el parámetro; o podemos tener una estimación antigua del parámetro que queremos modificar cuando se dispone de una nueva observación; o las estadísticas de una señal aleatoria real como el habla. Esto contrasta con el enfoque no bayesiano como el estimador insesgado de varianza mínima (MVUE) donde se supone que no se sabe absolutamente nada sobre el parámetro de antemano y que no tiene en cuenta tales situaciones. En el enfoque bayesiano, dicha información previa es capturada por la función de densidad de probabilidad previa de los parámetros; y, basándose directamente en el teorema de Bayes , nos permite hacer mejores estimaciones posteriores a medida que se disponga de más observaciones. Por lo tanto, a diferencia del enfoque no bayesiano, en el que se supone que los parámetros de interés son deterministas, pero constantes desconocidas, el estimador bayesiano busca estimar un parámetro que es en sí mismo una variable aleatoria. Además, la estimación bayesiana también puede abordar situaciones en las que la secuencia de observaciones no es necesariamente independiente. Por lo tanto, la estimación bayesiana proporciona otra alternativa a la MVUE. Esto es útil cuando la MVUE no existe o no se puede encontrar.

Sea una variable aleatoria vectorial oculta y sea una variable aleatoria vectorial conocida (la medición u observación), ambas no necesariamente de la misma dimensión. Un estimador de es cualquier función de la medición . El vector de error de estimación está dado por y su error cuadrático medio (MSE) está dado por la matriz de covarianza de la traza del error${\estilo de visualización x}$${\displaystyle n\times 1}$${\estilo de visualización y}$${\displaystyle m\times 1}$ ${\displaystyle {\hat {x}}(y)}$${\estilo de visualización x}$${\estilo de visualización y}$${\displaystyle e={\hat {x}}-x}$

${\displaystyle \operatorname {MSE} =\operatorname {tr} \left\{\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\right\}=\operatorname {E} \{({\hat {x}}-x)^{T}({\hat {x}}-x)\},}$

donde la expectativa se asume condicionada a . Cuando es una variable escalar, la expresión MSE se simplifica a . Tenga en cuenta que MSE se puede definir de manera equivalente de otras maneras, ya que${\displaystyle \nombre del operador {E} }$${\estilo de visualización x}$${\estilo de visualización y}$${\estilo de visualización x}$${\displaystyle \operatorname {E} \izquierda\{({\hat {x}}-x)^{2}\derecha\}}$

${\displaystyle \operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\right\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.}$

El estimador MMSE se define entonces como el estimador que logra el MSE mínimo:

${\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {argmin} _{\hat {x}}\operatorname {MSE} .}$

• Cuando las medias y varianzas son finitas, el estimador MMSE se define de forma única ^[1] y viene dado por:

${\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {E} \{x\mid y\}.}$

En otras palabras, el estimador MMSE es la esperanza condicional de dado el valor observado conocido de las mediciones. Además, dado que es la media posterior, la matriz de covarianza de errores es igual a la matriz de covarianza posterior,${\estilo de visualización x}$${\displaystyle {\hat {x}}_{\mathrm {MMSE} }}$${\displaystyle C_{e}=\nombre del operador {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}}$$Estilo de visualización C_{X|Y}}$

${\displaystyle C_{e}=C_{X|Y}}$.

• El estimador MMSE es imparcial (bajo los supuestos de regularidad mencionados anteriormente):

${\displaystyle \operatorname {E} \{{\hat {x}}_{\operatorname {MMSE} }(y)\}=\operatorname {E} \{\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}.}$

• El estimador MMSE es asintóticamente insesgado y converge en distribución a la distribución normal:

${\displaystyle {\sqrt {n}}({\hat {x}}_{\operatorname {MMSE} }-x)\xrightarrow {d} {\mathcal {N}}\left(0,I^{-1}(x)\right),}$

donde es la información de Fisher de . Por lo tanto, el estimador MMSE es asintóticamente eficiente .${\displaystyle I(x)}$${\estilo de visualización x}$

• El principio de ortogonalidad : cuando es un escalar, un estimador restringido a tener cierta forma es un estimador óptimo, es decir, si y solo si${\estilo de visualización x}$${\displaystyle {\hat {x}}=g(y)}$${\displaystyle {\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),}$

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x)g(y)\}=0}$

para todos los subespacios lineales cerrados de las mediciones. Para los vectores aleatorios, dado que el MSE para la estimación de un vector aleatorio es la suma de los MSE de las coordenadas, encontrar el estimador MMSE de un vector aleatorio se descompone en encontrar los estimadores MMSE de las coordenadas de X por separado:${\displaystyle g(y)}$${\displaystyle {\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}<+\infty \}}$

${\displaystyle \operatorname {E} \{(g_{i}^{*}(y)-x_{i})g_{j}(y)\}=0,}$

para todos los i y j . Dicho de manera más sucinta, la correlación cruzada entre el error de estimación mínimo y el estimador debería ser cero.${\displaystyle {\hat {x}}_{\nombre del operador {MMSE} }-x}$${\displaystyle {\hat {x}}}$

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x){\hat {x}}^{T}\}=0.}$

• Si y son conjuntamente gaussianos , entonces el estimador MMSE es lineal, es decir, tiene la forma de matriz y constante . Esto se puede demostrar directamente utilizando el teorema de Bayes. En consecuencia, para encontrar el estimador MMSE, es suficiente encontrar el estimador MMSE lineal.${\estilo de visualización x}$${\estilo de visualización y}$${\estilo de visualización Wy+b}$${\estilo de visualización W}$${\estilo de visualización b}$

En muchos casos, no es posible determinar la expresión analítica del estimador MMSE. Dos enfoques numéricos básicos para obtener la estimación MMSE dependen de encontrar la expectativa condicional o encontrar los mínimos de MSE. La evaluación numérica directa de la expectativa condicional es computacionalmente costosa ya que a menudo requiere integración multidimensional generalmente realizada a través de métodos de Monte Carlo . Otro enfoque computacional es buscar directamente los mínimos del MSE utilizando técnicas como los métodos de descenso de gradiente estocástico ; pero este método aún requiere la evaluación de la expectativa. Si bien estos métodos numéricos han sido fructíferos, una expresión de forma cerrada para el estimador MMSE es posible, no obstante, si estamos dispuestos a hacer algunos compromisos.${\displaystyle \nombre del operador {E} \{x\mid y\}}$

Una posibilidad es abandonar los requisitos de optimalidad total y buscar una técnica que minimice el MSE dentro de una clase particular de estimadores, como la clase de estimadores lineales. Por lo tanto, postulamos que la esperanza condicional de dado es una función lineal simple de , , donde la medida es un vector aleatorio, es una matriz y es un vector. Esto puede verse como la aproximación de Taylor de primer orden de . El estimador MMSE lineal es el estimador que logra el MSE mínimo entre todos los estimadores de esa forma. Es decir, resuelve el siguiente problema de optimización: ${\estilo de visualización x}$${\estilo de visualización y}$${\estilo de visualización y}$${\displaystyle \operatorname {E} \{x\mid y\}=Wy+b}$${\estilo de visualización y}$${\estilo de visualización W}$${\estilo de visualización b}$${\displaystyle \nombre del operador {E} \{x\mid y\}}$

${\displaystyle \min _{W,b}\operatorname {MSE} \qquad {\text{st}}\qquad {\hat {x}}=Wy+b.}$

Una ventaja de este estimador lineal MMSE es que no es necesario calcular explícitamente la función de densidad de probabilidad posterior de . Este estimador lineal solo depende de los dos primeros momentos de y . Por lo tanto, aunque puede ser conveniente suponer que y son conjuntamente gaussianos, no es necesario hacer esta suposición, siempre que la distribución supuesta tenga momentos primero y segundo bien definidos. La forma del estimador lineal no depende del tipo de la distribución subyacente supuesta.${\estilo de visualización x}$${\estilo de visualización x}$${\estilo de visualización y}$${\estilo de visualización x}$${\estilo de visualización y}$

La expresión para y óptimo viene dada por: ${\estilo de visualización b}$${\estilo de visualización W}$

${\displaystyle b={\bar {x}}-W{\bar {y}},}$

${\displaystyle W=C_{XY}C_{Y}^{-1}.}$

donde , es la matriz de covarianza cruzada entre y , es la matriz de autocovarianza de .${\displaystyle {\bar {x}}=\operatorname {E} \{x\}}$${\displaystyle {\bar {y}}=\operatorname {E} \{y\},}$${\displaystyle C_{XY}}$${\displaystyle x}$${\displaystyle y}$${\displaystyle C_{Y}}$${\displaystyle y}$

Por lo tanto, la expresión para el estimador lineal MMSE, su media y su autocovarianza está dada por

${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}},}$

${\displaystyle \operatorname {E} \{{\hat {x}}\}={\bar {x}},}$

${\displaystyle C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},}$

donde es la matriz de covarianza cruzada entre y .${\displaystyle C_{YX}}$${\displaystyle y}$${\displaystyle x}$

Por último, la covarianza de error y el error cuadrático medio mínimo alcanzable por dicho estimador son

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},}$

${\displaystyle \operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.}$

Para el caso especial cuando tanto y son escalares, las relaciones anteriores se simplifican a${\displaystyle x}$${\displaystyle y}$

${\displaystyle {\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}^{2}}}(y-{\bar {y}})+{\bar {x}}=\rho {\frac {\sigma _{X}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}},}$

${\displaystyle \sigma _{e}^{2}=\sigma _{X}^{2}-{\frac {\sigma _{XY}^{2}}{\sigma _{Y}^{2}}}=(1-\rho ^{2})\sigma _{X}^{2},}$

¿Dónde está el coeficiente de correlación de Pearson entre y ? ${\displaystyle \rho ={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}}$${\displaystyle x}$${\displaystyle y}$

Las dos ecuaciones anteriores nos permiten interpretar el coeficiente de correlación como pendiente normalizada de regresión lineal.

${\displaystyle \left({\frac {{\hat {x}}-{\bar {x}}}{\sigma _{X}}}\right)=\rho \left({\frac {y-{\bar {y}}}{\sigma _{Y}}}\right)}$

o como raíz cuadrada de la relación de dos varianzas

${\displaystyle \rho ^{2}={\frac {\sigma _{X}^{2}-\sigma _{e}^{2}}{\sigma _{X}^{2}}}={\frac {\sigma _{\hat {X}}^{2}}{\sigma _{X}^{2}}}}$.

Cuando , tenemos y . En este caso, no se obtiene información nueva de la medición que pueda reducir la incertidumbre en . Por otro lado, cuando , tenemos y . Aquí está completamente determinado por , como lo indica la ecuación de la línea recta.${\displaystyle \rho =0}$${\displaystyle {\hat {x}}={\bar {x}}}$${\displaystyle \sigma _{e}^{2}=\sigma _{X}^{2}}$${\displaystyle x}$${\displaystyle \rho =\pm 1}$${\displaystyle {\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}}}$${\displaystyle \sigma _{e}^{2}=0}$${\displaystyle x}$${\displaystyle y}$

El método estándar como la eliminación de Gauss se puede utilizar para resolver la ecuación matricial para . Un método numéricamente más estable es proporcionado por el método de descomposición QR . Dado que la matriz es una matriz definida positiva simétrica, se puede resolver el doble de rápido con la descomposición de Cholesky , mientras que para sistemas dispersos grandes el método del gradiente conjugado es más efectivo. La recursión de Levinson es un método rápido cuando también es una matriz de Toeplitz . Esto puede suceder cuando es un proceso estacionario de sentido amplio . En tales casos estacionarios, estos estimadores también se conocen como filtros de Wiener-Kolmogorov .${\displaystyle W}$${\displaystyle C_{Y}}$${\displaystyle W}$${\displaystyle C_{Y}}$${\displaystyle y}$

Modelemos además el proceso subyacente de observación como un proceso lineal: , donde es una matriz conocida y es un vector de ruido aleatorio con la media y la covarianza cruzada . Aquí, la media requerida y las matrices de covarianza serán${\displaystyle y=Ax+z}$${\displaystyle A}$${\displaystyle z}$${\displaystyle \operatorname {E} \{z\}=0}$${\displaystyle C_{XZ}=0}$

${\displaystyle \operatorname {E} \{y\}=A{\bar {x}},}$

${\displaystyle C_{Y}=AC_{X}A^{T}+C_{Z},}$

${\displaystyle C_{XY}=C_{X}A^{T}.}$

Por lo tanto, la expresión para la matriz del estimador MMSE lineal se modifica aún más a${\displaystyle W}$

${\displaystyle W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.}$

Poniendo todo en la expresión para , obtenemos${\displaystyle {\hat {x}}}$

${\displaystyle {\hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{\bar {x}})+{\bar {x}}.}$

Por último, la covarianza del error es

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.}$

La diferencia significativa entre el problema de estimación tratado anteriormente y los de mínimos cuadrados y estimación de Gauss-Markov es que el número de observaciones m , (es decir, la dimensión de ) no necesita ser al menos tan grande como el número de incógnitas, n , (es decir, la dimensión de ). La estimación para el proceso de observación lineal existe mientras exista la matriz m -por- m ; este es el caso para cualquier m si, por ejemplo, es definida positiva. Físicamente, la razón de esta propiedad es que como ahora es una variable aleatoria, es posible formar una estimación significativa (a saber, su media) incluso sin mediciones. Cada nueva medición simplemente proporciona información adicional que puede modificar nuestra estimación original. Otra característica de esta estimación es que para m < n , no necesita haber error de medición. Por lo tanto, podemos tener , porque mientras sea definida positiva, la estimación todavía existe. Por último, esta técnica puede manejar casos donde el ruido está correlacionado.${\displaystyle y}$${\displaystyle x}$${\displaystyle (AC_{X}A^{T}+C_{Z})^{-1}}$${\displaystyle C_{Z}}$${\displaystyle x}$${\displaystyle C_{Z}=0}$${\displaystyle AC_{X}A^{T}}$

Se puede obtener una forma alternativa de expresión utilizando la identidad matricial

${\displaystyle C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},}$

que se puede establecer mediante la post-multiplicación por y la pre-multiplicación por para obtener${\displaystyle (AC_{X}A^{T}+C_{Z})}$${\displaystyle (A^{T}C_{Z}^{-1}A+C_{X}^{-1}),}$

${\displaystyle W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},}$

y

${\displaystyle C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.}$

Como ahora se puede escribir en términos de como , obtenemos una expresión simplificada para como${\displaystyle W}$${\displaystyle C_{e}}$${\displaystyle W=C_{e}A^{T}C_{Z}^{-1}}$${\displaystyle {\hat {x}}}$

${\displaystyle {\hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{\bar {x}})+{\bar {x}}.}$

En esta forma, la expresión anterior se puede comparar fácilmente con la regresión de cresta , los mínimos cuadrados ponderados y la estimación de Gauss-Markov . En particular, cuando , correspondiente a la varianza infinita de la información a priori relativa a , el resultado es idéntico a la estimación de mínimos cuadrados lineales ponderados con como matriz de ponderación. Además, si los componentes de no están correlacionados y tienen varianza igual de modo que donde es una matriz identidad, entonces es idéntico a la estimación de mínimos cuadrados ordinarios. Cuando la información a priori está disponible como y no están correlacionados y tienen varianza igual, tenemos , que es idéntico a la solución de regresión de cresta.${\displaystyle C_{X}^{-1}=0}$${\displaystyle x}$${\displaystyle W=(A^{T}C_{Z}^{-1}A)^{-1}A^{T}C_{Z}^{-1}}$${\displaystyle C_{Z}^{-1}}$${\displaystyle z}$${\displaystyle C_{Z}=\sigma ^{2}I,}$${\displaystyle I}$${\displaystyle W=(A^{T}A)^{-1}A^{T}}$${\displaystyle C_{X}^{-1}=\lambda I}$${\displaystyle z}$${\displaystyle W=(A^{T}A+\lambda I)^{-1}A^{T}}$

En muchas aplicaciones en tiempo real, los datos de observación no están disponibles en un único lote, sino que las observaciones se realizan en una secuencia. Un enfoque posible es utilizar las observaciones secuenciales para actualizar una estimación anterior a medida que se disponga de datos adicionales, lo que conduce a estimaciones más precisas. Una diferencia crucial entre la estimación por lotes y la estimación secuencial es que la estimación secuencial requiere un supuesto de Markov adicional.

En el marco bayesiano, dicha estimación recursiva se facilita fácilmente utilizando la regla de Bayes. Dadas las observaciones, , la regla de Bayes nos da la densidad posterior de como${\displaystyle k}$${\displaystyle y_{1},\ldots ,y_{k}}$${\displaystyle x_{k}}$

${\displaystyle {\begin{aligned}p(x_{k}|y_{1},\ldots ,y_{k})&\propto p(y_{k}|x,y_{1},\ldots ,y_{k-1})p(x_{k}|y_{1},\ldots ,y_{k-1})\\&=p(y_{k}|x_{k})p(x_{k}|y_{1},\ldots ,y_{k-1}).\end{aligned}}}$

La se denomina densidad posterior, se denomina función de verosimilitud y es la densidad previa del k -ésimo paso de tiempo. Aquí hemos asumido la independencia condicional de las observaciones previas dadas como ${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k})}$${\displaystyle p(y_{k}|x_{k})}$${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$${\displaystyle y_{k}}$${\displaystyle y_{1},\ldots ,y_{k-1}}$${\displaystyle x}$

${\displaystyle p(y_{k}|x_{k},y_{1},\ldots ,y_{k-1})=p(y_{k}|x_{k}).}$

Éste es el supuesto de Markov.

La estimación de MMSE dada la observación k -ésima es entonces la media de la densidad posterior . Con la falta de información dinámica sobre cómo cambia el estado con el tiempo, haremos una suposición de estacionariedad adicional sobre la anterior:${\displaystyle {\hat {x}}_{k}}$${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k})}$${\displaystyle x}$

${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})=p(x_{k-1}|y_{1},\ldots ,y_{k-1}).}$

Por lo tanto, la densidad previa para el k -ésimo paso de tiempo es la densidad posterior del ( k -1)-ésimo paso de tiempo. Esta estructura nos permite formular un enfoque recursivo para la estimación.

En el contexto del estimador MMSE lineal, la fórmula para la estimación tendrá la misma forma que antes: Sin embargo, las matrices de media y covarianza de y deberán reemplazarse por las de densidad y verosimilitud anteriores , respectivamente.${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$${\displaystyle p(y_{k}|x_{k})}$

Para la densidad previa , su media viene dada por la estimación MMSE previa, ${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$

${\displaystyle {\bar {x}}_{k}=\mathrm {E} [x_{k}|y_{1},\ldots ,y_{k-1}]=\mathrm {E} [x_{k-1}|y_{1},\ldots ,y_{k-1}]={\hat {x}}_{k-1}}$,

y su matriz de covarianza está dada por la matriz de covarianza de errores anterior,

${\displaystyle C_{X_{k}|Y_{1},\ldots ,Y_{k-1}}=C_{X_{k-1}|Y_{1},\ldots ,Y_{k-1}}=C_{e_{k-1}},}$

según las propiedades de los estimadores MMSE y el supuesto de estacionariedad.

De manera similar, para el proceso de observación lineal, la media de la probabilidad está dada por y la matriz de covarianza es como antes${\displaystyle p(y_{k}|x_{k})}$${\displaystyle {\bar {y}}_{k}=A{\bar {x}}_{k}=A{\hat {x}}_{k-1}}$

${\displaystyle {\begin{aligned}C_{Y_{k}|X_{k}}&=AC_{X_{k}|Y_{1},\ldots ,Y_{k-1}}A^{T}+C_{Z}=AC_{e_{k-1}}A^{T}+C_{Z}.\end{aligned}}}$.

La diferencia entre el valor predicho de , tal como lo indica , y su valor observado da como resultado el error de predicción , que también se conoce como innovación o residuo. Es más conveniente representar el MMSE lineal en términos del error de predicción, cuya media y covarianza son y .${\displaystyle Y_{k}}$${\displaystyle {\bar {y}}_{k}=A{\hat {x}}_{k-1}}$${\displaystyle y_{k}}$${\displaystyle {\tilde {y}}_{k}=y_{k}-{\bar {y}}_{k}}$${\displaystyle \mathrm {E} [{\tilde {y}}_{k}]=0}$${\displaystyle C_{{\tilde {Y}}_{k}}=C_{Y_{k}|X_{k}}}$

Por lo tanto, en la fórmula de actualización de la estimación, debemos reemplazar y por y , respectivamente. Además, debemos reemplazar y por y . Por último, reemplazamos por ${\displaystyle {\bar {x}}}$${\displaystyle C_{X}}$${\displaystyle {\hat {x}}_{k-1}}$${\displaystyle C_{e_{k-1}}}$${\displaystyle {\bar {y}}}$${\displaystyle C_{Y}}$${\displaystyle {\bar {y}}_{k-1}}$${\displaystyle C_{{\tilde {Y}}_{k}}}$${\displaystyle C_{XY}}$

${\displaystyle {\begin{aligned}C_{X_{k}Y_{k}|Y_{1},\ldots ,Y_{k-1}}&=C_{e_{k-1}{\tilde {Y}}_{k}}=C_{e_{k-1}}A^{T}.\end{aligned}}}$

Por lo tanto, tenemos la nueva estimación a medida que llega una nueva observación como${\displaystyle y_{k}}$

${\displaystyle {\begin{aligned}{\hat {x}}_{k}&={\hat {x}}_{k-1}+C_{e_{k-1}{\tilde {Y}}_{k}}C_{{\tilde {Y}}_{k}}^{-1}(y_{k}-{\bar {y}}_{k})\\&={\hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{\hat {x}}_{k-1})\end{aligned}}}$

y la nueva covarianza de error como

${\displaystyle C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.}$

Desde el punto de vista del álgebra lineal, para la estimación secuencial, si tenemos una estimación basada en mediciones que generan espacio , entonces, después de recibir otro conjunto de mediciones, debemos restar de estas mediciones la parte que podría anticiparse del resultado de las primeras mediciones. En otras palabras, la actualización debe basarse en aquella parte de los nuevos datos que sea ortogonal a los datos antiguos.${\displaystyle {\hat {x}}_{1}}$${\displaystyle Y_{1}}$

El uso repetido de las dos ecuaciones anteriores a medida que se dispone de más observaciones conduce a técnicas de estimación recursivas. Las expresiones se pueden escribir de forma más compacta como

${\displaystyle W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},}$

${\displaystyle {\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),}$

${\displaystyle C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.}$

La matriz se conoce a menudo como factor de ganancia de Kalman. La formulación alternativa del algoritmo anterior dará${\displaystyle W_{k}}$

${\displaystyle C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,}$

${\displaystyle W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},}$

${\displaystyle {\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),}$

La repetición de estos tres pasos a medida que se dispone de más datos conduce a un algoritmo de estimación iterativo. La generalización de esta idea a casos no estacionarios da lugar al filtro de Kalman . Los tres pasos de actualización descritos anteriormente forman de hecho el paso de actualización del filtro de Kalman.

Como caso especial importante, se puede derivar una expresión recursiva fácil de usar cuando en cada k -ésimo instante de tiempo el proceso de observación lineal subyacente produce un escalar tal que , donde es un vector de columna conocido de n por 1 cuyos valores pueden cambiar con el tiempo, es un vector de columna aleatorio de n por 1 que se va a estimar, y es un término de ruido escalar con varianza . Después de la ( k +1)-ésima observación, el uso directo de las ecuaciones recursivas anteriores da la expresión para la estimación como:${\displaystyle y_{k}=a_{k}^{T}x_{k}+z_{k}}$${\displaystyle a_{k}}$${\displaystyle x_{k}}$${\displaystyle z_{k}}$${\displaystyle \sigma _{k}^{2}}$${\displaystyle {\hat {x}}_{k+1}}$

${\displaystyle {\hat {x}}_{k+1}={\hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}^{T}{\hat {x}}_{k})}$

¿Dónde está la nueva observación escalar y el factor de ganancia es un vector de columna n por 1 dado por ${\displaystyle y_{k+1}}$${\displaystyle w_{k+1}}$

${\displaystyle w_{k+1}={\frac {C_{e_{k}}a_{k+1}}{\sigma _{k+1}^{2}+a_{k+1}^{T}C_{e_{k}}a_{k+1}}}.}$

La matriz de covarianza de errores n por n está dada por${\displaystyle C_{e_{k+1}}}$

${\displaystyle C_{e_{k+1}}=(I-w_{k+1}a_{k+1}^{T})C_{e_{k}}.}$

En este caso, no se requiere inversión de matriz. Además, el factor de ganancia, , depende de nuestra confianza en la nueva muestra de datos, medida por la varianza del ruido, en comparación con la de los datos anteriores. Los valores iniciales de y se toman como la media y la covarianza de la función de densidad de probabilidad anterior de .${\displaystyle w_{k+1}}$${\displaystyle {\hat {x}}}$${\displaystyle C_{e}}$${\displaystyle x}$

Enfoques alternativos: Este importante caso especial también ha dado lugar a muchos otros métodos iterativos (o filtros adaptativos ), como el filtro de mínimos cuadrados medios y el filtro de mínimos cuadrados recursivos , que resuelven directamente el problema de optimización MSE original utilizando descensos de gradiente estocásticos . Sin embargo, dado que el error de estimación no se puede observar directamente, estos métodos intentan minimizar el error de predicción cuadrático medio . Por ejemplo, en el caso de observaciones escalares, tenemos el gradiente Por lo tanto, la ecuación de actualización para el filtro de mínimos cuadrados medios está dada por${\displaystyle e}$${\displaystyle \mathrm {E} \{{\tilde {y}}^{T}{\tilde {y}}\}}$${\displaystyle \nabla _{\hat {x}}\mathrm {E} \{{\tilde {y}}^{2}\}=-2\mathrm {E} \{{\tilde {y}}a\}.}$

${\displaystyle {\hat {x}}_{k+1}={\hat {x}}_{k}+\eta _{k}\mathrm {E} \{{\tilde {y}}_{k}a_{k}\},}$

donde es el tamaño del paso escalar y la expectativa se aproxima por el valor instantáneo . Como podemos ver, estos métodos evitan la necesidad de matrices de covarianza.${\displaystyle \eta _{k}}$${\displaystyle \mathrm {E} \{a_{k}{\tilde {y}}_{k}\}\approx a_{k}{\tilde {y}}_{k}}$

En muchas aplicaciones prácticas, el ruido de observación no está correlacionado, es decir, es una matriz diagonal. En tales casos, resulta ventajoso considerar los componentes de como mediciones escalares independientes, en lugar de mediciones vectoriales. Esto nos permite reducir el tiempo de cálculo al procesar el vector de medición como mediciones escalares. El uso de la fórmula de actualización escalar evita la inversión de la matriz en la implementación de las ecuaciones de actualización de covarianza, mejorando así la robustez numérica frente a errores de redondeo. La actualización se puede implementar de forma iterativa como:${\displaystyle C_{Z}}$${\displaystyle y}$${\displaystyle m\times 1}$${\displaystyle m}$

${\displaystyle w_{k+1}^{(\ell )}={\frac {C_{e_{k}}^{(\ell )}A_{k+1}^{(\ell )T}}{C_{Z_{k+1}}^{(\ell )}+A_{k+1}^{(\ell )}C_{e_{k}}^{(\ell )}(A_{k+1}^{(\ell )T})}}}$

${\displaystyle C_{e_{k+1}}^{(\ell )}=(I-w_{k+1}^{(\ell )}A_{k+1}^{(\ell )})C_{e_{k}}^{(\ell )}}$

${\displaystyle {\hat {x}}_{k+1}^{(\ell )}={\hat {x}}_{k}^{(\ell -1)}+w_{k+1}^{(\ell )}(y_{k+1}^{(\ell )}-A_{k+1}^{(\ell )}{\hat {x}}_{k}^{(\ell -1)})}$

donde , utilizando los valores iniciales y . La variable intermedia es el -ésimo elemento diagonal de la matriz diagonal ; mientras que es la -ésima fila de la matriz . Los valores finales son y .${\displaystyle \ell =1,2,\ldots ,m}$${\displaystyle C_{e_{k+1}}^{(0)}=C_{e_{k}}}$${\displaystyle {\hat {x}}_{k+1}^{(0)}={\hat {x}}_{k}}$${\displaystyle C_{Z_{k+1}}^{(\ell )}}$${\displaystyle \ell }$${\displaystyle m\times m}$${\displaystyle C_{Z_{k+1}}}$${\displaystyle A_{k+1}^{(\ell )}}$${\displaystyle \ell }$${\displaystyle m\times n}$${\displaystyle A_{k+1}}$${\displaystyle C_{e_{k+1}}^{(m)}=C_{e_{k+1}}}$${\displaystyle {\hat {x}}_{k+1}^{(m)}={\hat {x}}_{k+1}}$

Tomaremos como ejemplo un problema de predicción lineal . Sea una combinación lineal de variables aleatorias escalares observadas y la que se utilice para estimar otra variable aleatoria escalar futura tal que . Si las variables aleatorias son variables aleatorias gaussianas reales con media cero y su matriz de covarianza dada por${\displaystyle z_{1},z_{2}}$${\displaystyle z_{3}}$${\displaystyle z_{4}}$${\displaystyle {\hat {z}}_{4}=\sum _{i=1}^{3}w_{i}z_{i}}$${\displaystyle z=[z_{1},z_{2},z_{3},z_{4}]^{T}}$

${\displaystyle \operatorname {cov} (Z)=\operatorname {E} [zz^{T}]=\left[{\begin{array}{cccc}1&2&3&4\\2&5&8&9\\3&8&6&10\\4&9&10&15\end{array}}\right],}$

Entonces nuestra tarea es encontrar los coeficientes que permitan obtener una estimación lineal óptima .${\displaystyle w_{i}}$${\displaystyle {\hat {z}}_{4}}$

En términos de la terminología desarrollada en las secciones anteriores, para este problema tenemos el vector de observación , la matriz de estimador como un vector fila y la variable estimada como una cantidad escalar. La matriz de autocorrelación se define como${\displaystyle y=[z_{1},z_{2},z_{3}]^{T}}$${\displaystyle W=[w_{1},w_{2},w_{3}]}$${\displaystyle x=z_{4}}$${\displaystyle C_{Y}}$

${\displaystyle C_{Y}=\left[{\begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]\\E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]\\E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]\end{array}}\right]=\left[{\begin{array}{ccc}1&2&3\\2&5&8\\3&8&6\end{array}}\right].}$

La matriz de correlación cruzada se define como${\displaystyle C_{YX}}$

${\displaystyle C_{YX}=\left[{\begin{array}{c}E[z_{4},z_{1}]\\E[z_{4},z_{2}]\\E[z_{4},z_{3}]\end{array}}\right]=\left[{\begin{array}{c}4\\9\\10\end{array}}\right].}$

Ahora resolvemos la ecuación invirtiendo y premultiplicando para obtener${\displaystyle C_{Y}W^{T}=C_{YX}}$${\displaystyle C_{Y}}$

${\displaystyle C_{Y}^{-1}C_{YX}=\left[{\begin{array}{ccc}4.85&-1.71&-0.142\\-1.71&0.428&0.2857\\-0.142&0.2857&-0.1429\end{array}}\right]\left[{\begin{array}{c}4\\9\\10\end{array}}\right]=\left[{\begin{array}{c}2.57\\-0.142\\0.5714\end{array}}\right]=W^{T}.}$

Por lo tanto, tenemos y como coeficientes óptimos para . Calcular el error cuadrático medio mínimo da como resultado . ^[2] Nótese que no es necesario obtener una matriz inversa explícita de para calcular el valor de . La ecuación matricial se puede resolver mediante métodos bien conocidos, como el método de eliminación de Gauss. Un ejemplo más breve y no numérico se puede encontrar en el principio de ortogonalidad .${\displaystyle w_{1}=2.57,}$ ${\displaystyle w_{2}=-0.142,}$${\displaystyle w_{3}=.5714}$${\displaystyle {\hat {z}}_{4}}$${\displaystyle \left\Vert e\right\Vert _{\min }^{2}=\operatorname {E} [z_{4}z_{4}]-WC_{YX}=15-WC_{YX}=.2857}$${\displaystyle C_{Y}}$${\displaystyle W}$

Consideremos un vector formado al tomar observaciones de un parámetro escalar fijo pero desconocido perturbado por ruido gaussiano blanco. Podemos describir el proceso mediante una ecuación lineal , donde . Dependiendo del contexto, quedará claro si representa un escalar o un vector. Supongamos que sabemos que es el rango dentro del cual va a caer el valor de . Podemos modelar nuestra incertidumbre de mediante una distribución uniforme a priori sobre un intervalo , y por lo tanto tendrá una varianza de . Sea el vector de ruido distribuido normalmente como donde es una matriz identidad. Además , y son independientes y . Es fácil ver que ${\displaystyle y}$${\displaystyle N}$${\displaystyle x}$${\displaystyle y=1x+z}$${\displaystyle 1=[1,1,\ldots ,1]^{T}}$${\displaystyle 1}$${\displaystyle [-x_{0},x_{0}]}$${\displaystyle x}$${\displaystyle x}$${\displaystyle [-x_{0},x_{0}]}$${\displaystyle x}$${\displaystyle \sigma _{X}^{2}=x_{0}^{2}/3.}$${\displaystyle z}$${\displaystyle N(0,\sigma _{Z}^{2}I)}$${\displaystyle I}$${\displaystyle x}$${\displaystyle z}$${\displaystyle C_{XZ}=0}$