Estimación de máxima verosimilitud

En estadística , la estimación de máxima verosimilitud ( EMV ) es un método para estimar los parámetros de una distribución de probabilidad supuesta , dados algunos datos observados. Esto se logra maximizando una función de verosimilitud de modo que, bajo el modelo estadístico supuesto , los datos observados sean los más probables. El punto en el espacio de parámetros que maximiza la función de verosimilitud se denomina estimación de máxima verosimilitud. ^[1] La lógica de máxima verosimilitud es intuitiva y flexible, y como tal, el método se ha convertido en un medio dominante de inferencia estadística . ^{[2] [3] [4]}

Si la función de verosimilitud es diferenciable , se puede aplicar la prueba de la derivada para hallar máximos. En algunos casos, las condiciones de primer orden de la función de verosimilitud se pueden resolver analíticamente; por ejemplo, el estimador de mínimos cuadrados ordinarios para un modelo de regresión lineal maximiza la verosimilitud cuando se supone que los errores aleatorios tienen distribuciones normales con la misma varianza. ^[5]

Desde la perspectiva de la inferencia bayesiana , la estimación máxima a posteriori (MAP) generalmente es equivalente a una estimación máxima a posteriori (MAP) con una distribución previa que es uniforme en la región de interés. En la inferencia frecuentista , la estimación máxima a posteriori (MLE) es un caso especial de un estimador de extremos , donde la función objetivo es la verosimilitud.

Modelamos un conjunto de observaciones como una muestra aleatoria de una distribución de probabilidad conjunta desconocida que se expresa en términos de un conjunto de parámetros . El objetivo de la estimación de máxima verosimilitud es determinar los parámetros para los cuales los datos observados tienen la probabilidad conjunta más alta. Escribimos los parámetros que gobiernan la distribución conjunta como un vector de modo que esta distribución caiga dentro de una familia paramétrica donde se denomina espacio de parámetros , un subconjunto de dimensión finita del espacio euclidiano . La evaluación de la densidad conjunta en la muestra de datos observados da una función de valor real,${\displaystyle \;\theta =\left[\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{k}\right]^{\mathsf {T}}\;}$ ${\displaystyle \;\{f(\cdot \,;\theta )\mid \theta \in \Theta \}\;,}$${\estilo de visualización \,\Theta \,}$${\displaystyle \;\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})\;}$

${\displaystyle {\mathcal {L}}_{n}(\theta )={\mathcal {L}}_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y } ;\theta )\;,}$

que se denomina función de verosimilitud . Para variables aleatorias independientes e idénticamente distribuidas , será el producto de funciones de densidad univariadas :${\displaystyle f_{n}(\mathbf {y};\theta)}$

${\displaystyle f_{n}(\mathbf {y} ;\theta )=\prod _{k=1}^{n}\,f_{k}^{\mathsf {univar}}(y_{k}; \theta )~.}$

El objetivo de la estimación de máxima verosimilitud es encontrar los valores de los parámetros del modelo que maximizan la función de verosimilitud en el espacio de parámetros, ^[6] es decir

${\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.}$

Intuitivamente, esto selecciona los valores de los parámetros que hacen que los datos observados sean más probables. El valor específico que maximiza la función de verosimilitud se denomina estimación de máxima verosimilitud. Además, si la función así definida es medible , entonces se denomina estimador de máxima verosimilitud . Generalmente es una función definida sobre el espacio muestral , es decir, tomando una muestra dada como su argumento. Una condición suficiente pero no necesaria para su existencia es que la función de verosimilitud sea continua sobre un espacio de parámetros que sea compacto . ^[7] Para un abierto, la función de verosimilitud puede aumentar sin alcanzar nunca un valor supremo.${\displaystyle ~{\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta ~}$${\displaystyle \,{\mathcal {L}}_{n}\,}$${\displaystyle \;{\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta \;}$${\estilo de visualización \,\Theta \,}$ ${\estilo de visualización \,\Theta \,}$

En la práctica, suele ser conveniente trabajar con el logaritmo natural de la función de verosimilitud, llamado log-verosimilitud :

${\displaystyle \ell (\theta \,;\mathbf {y} )=\ln {\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.}$

Como el logaritmo es una función monótona , el máximo de ocurre en el mismo valor de como lo hace el máximo de ^[8] Si es diferenciable en condiciones suficientes para la ocurrencia de un máximo (o un mínimo) son${\displaystyle \;\ell (\theta \,;\mathbf {y} )\;}$${\estilo de visualización \theta}$${\displaystyle \,{\mathcal {L}}_{n}~.}$${\displaystyle \ell (\theta \,;\mathbf {y} )}$${\estilo de visualización \,\Theta \,,}$

${\displaystyle {\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0~,}$

conocidas como ecuaciones de verosimilitud. Para algunos modelos, estas ecuaciones se pueden resolver explícitamente, pero en general no se conoce ni está disponible ninguna solución cerrada para el problema de maximización, y solo se puede encontrar una MLE mediante optimización numérica . Otro problema es que en muestras finitas, pueden existir múltiples raíces para las ecuaciones de verosimilitud. ^[9] Si la raíz identificada de las ecuaciones de verosimilitud es de hecho un máximo (local) depende de si la matriz de derivadas parciales y parciales cruzadas de segundo orden, la llamada matriz hessiana${\displaystyle \,{\widehat {\theta \,}}\,,}$${\displaystyle \,{\widehat {\theta \,}}\,}$

${\displaystyle \mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\derecha|_{\theta ={\widehat {\theta \,}}}&\izquierda.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\derecha|_{\theta ={\widehat {\theta \,}}}&\puntos &\izquierda.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\derecha|_{\theta ={\widehat {\theta \,}}}\\\vpuntos &\vpuntos &\dpuntos &\vpuntos \\\izquierda.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}}~,}$

es semidefinida negativa en , ya que esto indica concavidad local . Convenientemente, la mayoría de las distribuciones de probabilidad comunes , en particular la familia exponencial , son logarítmicamente cóncavas . ^{[10] [11]}${\displaystyle {\widehat {\theta \,}}}$

Si bien el dominio de la función de verosimilitud (el espacio de parámetros ) es generalmente un subconjunto finito-dimensional del espacio euclidiano , a veces es necesario incorporar restricciones adicionales al proceso de estimación. El espacio de parámetros se puede expresar como

${\displaystyle \Theta =\left\{\theta :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,}$

donde es una función de valor vectorial que se asigna a Estimar el parámetro verdadero que pertenece a entonces, como cuestión práctica, significa encontrar el máximo de la función de verosimilitud sujeta a la restricción${\displaystyle \;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;}$${\displaystyle \,\mathbb {R} ^{k}\,}$${\displaystyle \;\mathbb {R} ^{r}~.}$${\displaystyle \theta }$${\displaystyle \Theta }$ ${\displaystyle ~h(\theta )=0~.}$

En teoría, el enfoque más natural para este problema de optimización restringida es el método de sustitución, que consiste en "rellenar" las restricciones de un conjunto de tal manera que sea una función biunívoca de a sí mismo, y repararmetrizar la función de verosimilitud estableciendo ^[12] Debido a la equivariancia del estimador de máxima verosimilitud, las propiedades del MLE también se aplican a las estimaciones restringidas. ^[13] Por ejemplo, en una distribución normal multivariada , la matriz de covarianza debe ser definida positiva ; esta restricción se puede imponer reemplazando donde es una matriz triangular superior real y es su transpuesta . ^[14]${\displaystyle \;h_{1},h_{2},\ldots ,h_{r}\;}$${\displaystyle \;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;}$${\displaystyle \;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;}$${\displaystyle \mathbb {R} ^{k}}$${\displaystyle \;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.}$ ${\displaystyle \,\Sigma \,}$${\displaystyle \;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;,}$${\displaystyle \Gamma }$${\displaystyle \Gamma ^{\mathsf {T}}}$

En la práctica, las restricciones se imponen generalmente utilizando el método de Lagrange que, dadas las restricciones definidas anteriormente, conduce a las ecuaciones de probabilidad restringida.

${\displaystyle {\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0}$y${\displaystyle h(\theta )=0\;,}$

donde es un vector columna de multiplicadores de Lagrange y es la matriz jacobiana k × r de derivadas parciales. ^[12] Naturalmente, si las restricciones no son vinculantes en el máximo, los multiplicadores de Lagrange deberían ser cero. ^[15] Esto a su vez permite una prueba estadística de la "validez" de la restricción, conocida como la prueba del multiplicador de Lagrange .${\displaystyle ~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~}$${\displaystyle \;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;}$

La estimación de máxima verosimilitud no paramétrica se puede realizar utilizando la verosimilitud empírica .

Un estimador de máxima verosimilitud es un estimador de extremos que se obtiene maximizando, en función de θ , la función objetivo . Si los datos son independientes y se distribuyen de forma idéntica , entonces tenemos ${\displaystyle {\widehat {\ell \,}}(\theta \,;x)}$

${\displaystyle {\widehat {\ell \,}}(\theta \,;x)={\frac {1}{n}}\sum _{i=1}^{n}\ln f(x_{i}\mid \theta ),}$

siendo este el análogo de muestra de la log-verosimilitud esperada , donde esta expectativa se toma con respecto a la densidad real.${\displaystyle \ell (\theta )=\operatorname {\mathbb {E} } [\,\ln f(x_{i}\mid \theta )\,]}$

Los estimadores de máxima verosimilitud no tienen propiedades óptimas para muestras finitas, en el sentido de que (cuando se evalúan en muestras finitas) otros estimadores pueden tener una mayor concentración alrededor del valor verdadero del parámetro. ^[16] Sin embargo, al igual que otros métodos de estimación, la estimación de máxima verosimilitud posee una serie de propiedades limitantes atractivas : A medida que el tamaño de la muestra aumenta hasta el infinito, las secuencias de estimadores de máxima verosimilitud tienen estas propiedades:

• Consistencia : la secuencia de MLE converge en probabilidad al valor que se está estimando.
• Equivarianza : Si es el estimador de máxima verosimilitud para , y si es una transformada biyectiva de , entonces el estimador de máxima verosimilitud para es . La propiedad de equivarianza se puede generalizar a transformadas no biyectivas, aunque se aplica en ese caso al máximo de una función de verosimilitud inducida que no es la verosimilitud verdadera en general.${\displaystyle {\hat {\theta }}}$${\displaystyle \theta }$${\displaystyle g(\theta )}$${\displaystyle \theta }$${\displaystyle \alpha =g(\theta )}$${\displaystyle {\hat {\alpha }}=g({\hat {\theta }})}$
• Eficiencia , es decir, alcanza el límite inferior de Cramér–Rao cuando el tamaño de la muestra tiende a infinito. Esto significa que ningún estimador consistente tiene un error cuadrático medio asintótico menor que el MLE (u otros estimadores que alcancen este límite), lo que también significa que el MLE tiene normalidad asintótica .
• Eficiencia de segundo orden después de la corrección por sesgo.

En las condiciones que se describen a continuación, el estimador de máxima verosimilitud es consistente . La consistencia significa que si los datos fueron generados por y tenemos un número suficientemente grande de observaciones n , entonces es posible encontrar el valor de θ ₀ con precisión arbitraria. En términos matemáticos, esto significa que cuando n tiende a infinito, el estimador converge en probabilidad a su valor verdadero:${\displaystyle f(\cdot \,;\theta _{0})}$${\displaystyle {\widehat {\theta \,}}}$

${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.}$

En condiciones ligeramente más fuertes, el estimador converge casi con seguridad (o fuertemente ):

${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.}$

En aplicaciones prácticas, los datos nunca son generados por . Más bien, es un modelo, a menudo en forma idealizada, del proceso generado por los datos. Es un aforismo común en estadística que todos los modelos son incorrectos . Por lo tanto, la consistencia verdadera no ocurre en aplicaciones prácticas. Sin embargo, la consistencia a menudo se considera una propiedad deseable para un estimador.${\displaystyle f(\cdot \,;\theta _{0})}$${\displaystyle f(\cdot \,;\theta _{0})}$

Para establecer la coherencia son suficientes las siguientes condiciones: ^[17]

La condición de dominancia se puede emplear en el caso de observaciones iid . En el caso no iid, la convergencia uniforme en probabilidad se puede comprobar demostrando que la secuencia es estocásticamente equicontinua . Si se quiere demostrar que el estimador ML converge a θ ₀ casi con seguridad , entonces se debe imponer una condición más fuerte de convergencia uniforme casi con seguridad:${\displaystyle {\widehat {\ell \,}}(\theta \mid x)}$${\displaystyle {\widehat {\theta \,}}}$

${\displaystyle \sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.}$

Además, si (como se supuso anteriormente) los datos fueron generados por , entonces, bajo ciertas condiciones, también se puede demostrar que el estimador de máxima verosimilitud converge en distribución a una distribución normal. Específicamente, ^[18]${\displaystyle f(\cdot \,;\theta _{0})}$

${\displaystyle {\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)}$

donde I es la matriz de información de Fisher .

El estimador de máxima verosimilitud selecciona el valor del parámetro que da a los datos observados la mayor probabilidad posible (o densidad de probabilidad, en el caso continuo). Si el parámetro consta de varios componentes, entonces definimos sus estimadores de máxima verosimilitud separados, como el componente correspondiente de la VME del parámetro completo. En consonancia con esto, si es la VME para , y si es cualquier transformación de , entonces la VME para es por definición ^[19]${\displaystyle {\widehat {\theta \,}}}$${\displaystyle \theta }$${\displaystyle g(\theta )}$${\displaystyle \theta }$${\displaystyle \alpha =g(\theta )}$

${\displaystyle {\widehat {\alpha }}=g(\,{\widehat {\theta \,}}\,).\,}$

Maximiza la denominada verosimilitud del perfil :

${\displaystyle {\bar {L}}(\alpha )=\sup _{\theta :\alpha =g(\theta )}L(\theta ).\,}$

La MLE también es equivariante con respecto a ciertas transformaciones de los datos. Si donde es uno a uno y no depende de los parámetros a estimar, entonces las funciones de densidad satisfacen${\displaystyle y=g(x)}$${\displaystyle g}$

${\displaystyle f_{Y}(y)={\frac {f_{X}(x)}{|g'(x)|}}}$

y, por lo tanto, las funciones de probabilidad y difieren solo por un factor que no depende de los parámetros del modelo.${\displaystyle X}$${\displaystyle Y}$

Por ejemplo, los parámetros MLE de la distribución log-normal son los mismos que los de la distribución normal ajustada al logaritmo de los datos.

Como se supuso anteriormente, si los datos se generaron para entonces bajo ciertas condiciones, también se puede demostrar que el estimador de máxima verosimilitud converge en distribución a una distribución normal. Es √ n -consistente y asintóticamente eficiente, lo que significa que alcanza el límite de Cramér–Rao . Específicamente, ^[18]${\displaystyle ~f(\cdot \,;\theta _{0})~,}$ 

${\displaystyle {\sqrt {n\,}}\,\left({\widehat {\theta \,}}_{\text{mle}}-\theta _{0}\right)\ \ \xrightarrow {d} \ \ {\mathcal {N}}\left(0,\ {\mathcal {I}}^{-1}\right)~,}$

¿Dónde está la matriz de información de Fisher ?${\displaystyle ~{\mathcal {I}}~}$

${\displaystyle {\mathcal {I}}_{jk}=\operatorname {\mathbb {E} } \,{\biggl [}\;-{\frac {\partial ^{2}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{j}\,\partial \theta _{k}}}\;{\biggr ]}~.}$

En particular, significa que el sesgo del estimador de máxima verosimilitud es igual a cero hasta el orden ⁠1/√n​ ⁠ .

Sin embargo, cuando consideramos los términos de orden superior en la expansión de la distribución de este estimador, resulta que θ _mle tiene un sesgo de orden 1 ⁄ n . Este sesgo es igual a (componente por componente) ^[20]

${\displaystyle b_{h}\;\equiv \;\operatorname {\mathbb {E} } {\biggl [}\;\left({\widehat {\theta }}_{\mathrm {mle} }-\theta _{0}\right)_{h}\;{\biggr ]}\;=\;{\frac {1}{\,n\,}}\,\sum _{i,j,k=1}^{m}\;{\mathcal {I}}^{hi}\;{\mathcal {I}}^{jk}\left({\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\right)}$

donde (con superíndices) denota el componente ( j,k )-ésimo de la matriz de información de Fisher inversa , y${\displaystyle {\mathcal {I}}^{jk}}$${\displaystyle {\mathcal {I}}^{-1}}$

${\displaystyle {\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\;=\;\operatorname {\mathbb {E} } \,{\biggl [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{i}\;\partial \theta _{j}\;\partial \theta _{k}}}+{\frac {\;\partial \ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{j}}}\,{\frac {\;\partial ^{2}\ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\biggr ]}~.}$

Utilizando estas fórmulas es posible estimar el sesgo de segundo orden del estimador de máxima verosimilitud y corregir ese sesgo restándolo:

${\displaystyle {\widehat {\theta \,}}_{\text{mle}}^{*}={\widehat {\theta \,}}_{\text{mle}}-{\widehat {b\,}}~.}$

Este estimador es imparcial hasta los términos del pedido .1/ norte ⁠ , y se llama estimador de máxima verosimilitud corregido por sesgo .

Este estimador corregido por sesgo es eficiente en el segundo orden (al menos dentro de la familia exponencial curva), lo que significa que tiene un error cuadrático medio mínimo entre todos los estimadores corregidos por sesgo de segundo orden, hasta los términos del orden1/ número ²  Es posible continuar con este proceso, es decir, derivar el término de corrección de sesgo de tercer orden, y así sucesivamente. Sin embargo, el estimador de máxima verosimilitud no es eficiente en el tercer orden. ^[21]

Un estimador de máxima verosimilitud coincide con el estimador bayesiano más probable dada una distribución previa uniforme de los parámetros . En efecto, la estimación máxima a posteriori es el parámetro θ que maximiza la probabilidad de θ dados los datos, dada por el teorema de Bayes:

${\displaystyle \operatorname {\mathbb {P} } (\theta \mid x_{1},x_{2},\ldots ,x_{n})={\frac {f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}{\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}}}$

donde es la distribución previa para el parámetro θ y donde es la probabilidad de los datos promediados sobre todos los parámetros. Dado que el denominador es independiente de θ , el estimador bayesiano se obtiene maximizando con respecto a θ . Si suponemos además que la distribución previa es uniforme, el estimador bayesiano se obtiene maximizando la función de verosimilitud . Por lo tanto, el estimador bayesiano coincide con el estimador de máxima verosimilitud para una distribución previa uniforme .${\displaystyle \operatorname {\mathbb {P} } (\theta )}$${\displaystyle \operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}$${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}$${\displaystyle \operatorname {\mathbb {P} } (\theta )}$${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )}$${\displaystyle \operatorname {\mathbb {P} } (\theta )}$

En muchas aplicaciones prácticas del aprendizaje automático , la estimación de máxima verosimilitud se utiliza como modelo para la estimación de parámetros.

La teoría de la decisión bayesiana trata de diseñar un clasificador que minimice el riesgo total esperado, especialmente cuando los costos (la función de pérdida) asociados con diferentes decisiones son iguales, el clasificador minimiza el error en toda la distribución. ^[22]

Por lo tanto, la regla de decisión de Bayes se enuncia como

"decidir si de lo contrario decidir "${\displaystyle \;w_{1}\;}$${\displaystyle ~\operatorname {\mathbb {P} } (w_{1}|x)\;>\;\operatorname {\mathbb {P} } (w_{2}|x)~;~}$${\displaystyle \;w_{2}\;}$

donde son predicciones de diferentes clases. Desde una perspectiva de minimización de errores, también se puede expresar como${\displaystyle \;w_{1}\,,w_{2}\;}$

${\displaystyle w={\underset {w}{\operatorname {arg\;max} }}\;\int _{-\infty }^{\infty }\operatorname {\mathbb {P} } ({\text{ error}}\mid x)\operatorname {\mathbb {P} } (x)\,\operatorname {d} x~}$

dónde

${\displaystyle \operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{1}\mid x)~}$

si decidimos y si decidimos${\displaystyle \;w_{2}\;}$${\displaystyle \;\operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{2}\mid x)\;}$${\displaystyle \;w_{1}\;.}$

Aplicando el teorema de Bayes

${\displaystyle \operatorname {\mathbb {P} } (w_{i}\mid x)={\frac {\operatorname {\mathbb {P} } (x\mid w_{i})\operatorname {\mathbb {P} } (w_{i})}{\operatorname {\mathbb {P} } (x)}}}$,

y si asumimos además la función de pérdida cero o uno, que es la misma pérdida para todos los errores, la regla de decisión de Bayes se puede reformular como:

${\displaystyle h_{\text{Bayes}}={\underset {w}{\operatorname {arg\;max} }}\,{\bigl [}\,\operatorname {\mathbb {P} } (x\mid w)\,\operatorname {\mathbb {P} } (w)\,{\bigr ]}\;,}$

donde es la predicción y es la probabilidad previa .${\displaystyle h_{\text{Bayes}}}$${\displaystyle \;\operatorname {\mathbb {P} } (w)\;}$

Encontrar que maximiza la probabilidad es asintóticamente equivalente a encontrar que define una distribución de probabilidad ( ) que tiene una distancia mínima, en términos de divergencia de Kullback–Leibler , a la distribución de probabilidad real a partir de la cual se generaron nuestros datos (es decir, generada por ). ^[23] En un mundo ideal, P y Q son lo mismo (y lo único desconocido es que define P), pero incluso si no lo son y el modelo que usamos está mal especificado, aún así el MLE nos dará la distribución "más cercana" (dentro de la restricción de un modelo Q que depende de ) a la distribución real . ^[24]${\displaystyle {\hat {\theta }}}$${\displaystyle {\hat {\theta }}}$${\displaystyle Q_{\hat {\theta }}}$${\displaystyle P_{\theta _{0}}}$${\displaystyle \theta }$${\displaystyle {\hat {\theta }}}$${\displaystyle P_{\theta _{0}}}$

Consideremos un caso en el que n billetes numerados del 1 al n se colocan en una caja y se selecciona uno al azar ( véase distribución uniforme ); por tanto, el tamaño de la muestra es 1. Si n es desconocido, entonces el estimador de máxima verosimilitud de n es el número m del billete sorteado. (La verosimilitud es 0 para n  <  m , 1 ⁄ n para n  ≥  m , y es máxima cuando n  =  m . Nótese que la estimación de máxima verosimilitud de n se produce en el extremo inferior de los valores posibles { m ,  m  + 1, ...}, en lugar de en algún lugar en el "medio" del rango de valores posibles, lo que daría lugar a un sesgo menor). El valor esperado del número m del billete sorteado, y por tanto el valor esperado de , es ( n  + 1)/2. Como resultado, con un tamaño de muestra de 1, el estimador de máxima verosimilitud para n subestimará sistemáticamente n en ( n  − 1)/2.${\displaystyle {\widehat {n}}}$${\displaystyle {\widehat {n}}}$

Supongamos que se desea determinar qué tan sesgada es una moneda injusta . Llamemos p a la probabilidad de que salga cara . El objetivo entonces es determinar p .

Supongamos que la moneda se lanza 80 veces: es decir, la muestra podría ser algo como x ₁  = H, x ₂  = T, ..., x ₈₀ = T, y se observa  el recuento del número de caras "H".

La probabilidad de que salga cruz es 1 −  p (por lo que aquí p es θ arriba). Supongamos que el resultado es 49 caras y 31  cruces , y supongamos que la moneda fue sacada de una caja que contiene tres monedas: una que da cara con probabilidad p  =  1 ⁄ 3 , una que da cara con probabilidad p  =  1 ⁄ 2 y otra que da cara con probabilidad p  =  2 ⁄ 3 . Las monedas han perdido sus etiquetas, por lo que se desconoce cuál era. Usando la estimación de máxima verosimilitud, se puede encontrar la moneda que tiene la mayor probabilidad, dados los datos que se observaron. Al usar la función de masa de probabilidad de la distribución binomial con un tamaño de muestra igual a 80, un número de éxitos igual a 49 pero para diferentes valores de p (la "probabilidad de éxito"), la función de verosimilitud (definida a continuación) toma uno de tres valores:

${\displaystyle {\begin{aligned}\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054~.\end{aligned}}}$

La probabilidad se maximiza cuando p  =  2 ⁄ 3 , por lo que esta es la estimación de máxima probabilidad para  p .

Ahora supongamos que sólo había una moneda pero su p podría haber sido cualquier valor 0 ≤ p ≤ 1 . La función de probabilidad a maximizar es

${\displaystyle L(p)=f_{D}(\mathrm {H} =49\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}~,}$

y la maximización es sobre todos los valores posibles 0 ≤ p ≤ 1 .

Una forma de maximizar esta función es diferenciando con respecto a p y estableciendo en cero:

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}}$

Este es un producto de tres términos. El primer término es 0 cuando p  = 0. El segundo es 0 cuando p  = 1. El tercero es cero cuando p  =  49 ⁄ 80. La solución que maximiza la probabilidad es claramente p  =  49 ⁄ 80 (ya que p  = 0 y p  = 1 dan como resultado una probabilidad de 0). Por lo tanto, el estimador de máxima verosimilitud para p es 49 ⁄ 80 .

Este resultado se puede generalizar fácilmente sustituyendo una letra como s en lugar de 49 para representar el número observado de "éxitos" de nuestros ensayos de Bernoulli , y una letra como n en lugar de 80 para representar el número de ensayos de Bernoulli. Exactamente el mismo cálculo produce s ⁄ n , que es el estimador de máxima verosimilitud para cualquier secuencia de n ensayos de Bernoulli que resulte en s "éxitos".

Para la distribución normal que tiene función de densidad de probabilidad${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$

${\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),}$

La función de densidad de probabilidad correspondiente para una muestra de n variables aleatorias normales independientes distribuidas de forma idéntica (la probabilidad) es

${\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).}$

Esta familia de distribuciones tiene dos parámetros: θ  = ( μ ,  σ ) ; por lo que maximizamos la verosimilitud, , sobre ambos parámetros simultáneamente o, si es posible, individualmente.${\displaystyle {\mathcal {L}}(\mu ,\sigma ^{2})=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})}$

Dado que la función logarítmica es una función continua estrictamente creciente en el rango de probabilidad, los valores que maximizan la probabilidad también maximizarán su logaritmo (la log-verosimilitud en sí no es necesariamente estrictamente creciente). La log-verosimilitud se puede escribir de la siguiente manera:

${\displaystyle \log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}}$

(Nota: la verosimilitud logarítmica está estrechamente relacionada con la entropía de la información y la información de Fisher ).

Ahora calculamos las derivadas de esta log-verosimilitud de la siguiente manera.

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=0-{\frac {\;-2n({\bar {x}}-\mu )\;}{2\sigma ^{2}}}.\end{aligned}}}$

donde es la media de la muestra . Esto se resuelve mediante${\displaystyle {\bar {x}}}$

${\displaystyle {\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.}$

Este es en efecto el máximo de la función, ya que es el único punto de inflexión en μ y la segunda derivada es estrictamente menor que cero. Su valor esperado es igual al parámetro μ de la distribución dada,

${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,}$

lo que significa que el estimador de máxima verosimilitud es imparcial.${\displaystyle {\widehat {\mu }}}$

De manera similar diferenciamos la log-verosimilitud con respecto a σ y la igualamos a cero:

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}}$

Lo cual se resuelve mediante

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.}$

Insertando la estimación que obtenemos${\displaystyle \mu ={\widehat {\mu }}}$

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.}$

Para calcular su valor esperado, es conveniente reescribir la expresión en términos de variables aleatorias de media cero ( error estadístico ) . Expresando la estimación en estas variables se obtiene${\displaystyle \delta _{i}\equiv \mu -x_{i}}$

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).}$

Simplificando la expresión anterior, utilizando los hechos de que y , nos permite obtener${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0}$${\displaystyle \operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}}$

${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.}$

Esto significa que el estimador está sesgado para . También se puede demostrar que está sesgado para , pero que tanto como son consistentes.${\displaystyle {\widehat {\sigma }}^{2}}$${\displaystyle \sigma ^{2}}$${\displaystyle {\widehat {\sigma }}}$${\displaystyle \sigma }$${\displaystyle {\widehat {\sigma }}^{2}}$${\displaystyle {\widehat {\sigma }}}$

Formalmente decimos que el estimador de máxima verosimilitud para es${\displaystyle \theta =(\mu ,\sigma ^{2})}$

${\displaystyle {\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).}$

En este caso, los MLE podrían obtenerse individualmente. En general, esto puede no ser así y los MLE tendrían que obtenerse simultáneamente.

La verosimilitud logarítmica normal en su máximo adopta una forma particularmente simple:

${\displaystyle \log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}}$

Se puede demostrar que esta máxima verosimilitud logarítmica es la misma para mínimos cuadrados más generales , incluso para mínimos cuadrados no lineales . Esto se utiliza a menudo para determinar intervalos de confianza aproximados basados ​​en la verosimilitud y regiones de confianza , que generalmente son más precisos que los que utilizan la normalidad asintótica analizada anteriormente.

Puede darse el caso de que las variables estén correlacionadas, es decir, no sean independientes. Dos variables aleatorias y son independientes solo si su función de densidad de probabilidad conjunta es el producto de las funciones de densidad de probabilidad individuales, es decir${\displaystyle y_{1}}$${\displaystyle y_{2}}$

${\displaystyle f(y_{1},y_{2})=f(y_{1})f(y_{2})\,}$

Supongamos que se construye un vector gaussiano de orden n a partir de variables aleatorias , donde cada variable tiene medias dadas por . Además, sea la matriz de covarianza denotada por . La función de densidad de probabilidad conjunta de estas n variables aleatorias sigue entonces una distribución normal multivariada dada por:${\displaystyle (y_{1},\ldots ,y_{n})}$${\displaystyle (\mu _{1},\ldots ,\mu _{n})}$${\displaystyle {\mathit {\Sigma }}}$

${\displaystyle f(y_{1},\ldots ,y_{n})={\frac {1}{(2\pi )^{n/2}{\sqrt {\det({\mathit {\Sigma }})}}}}\exp \left(-{\frac {1}{2}}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]{\mathit {\Sigma }}^{-1}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]^{\mathrm {T} }\right)}$

En el caso bivariado , la función de densidad de probabilidad conjunta viene dada por:

${\displaystyle f(y_{1},y_{2})={\frac {1}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {(y_{1}-\mu _{1})^{2}}{\sigma _{1}^{2}}}-{\frac {2\rho (y_{1}-\mu _{1})(y_{2}-\mu _{2})}{\sigma _{1}\sigma _{2}}}+{\frac {(y_{2}-\mu _{2})^{2}}{\sigma _{2}^{2}}}\right)\right]}$

En este y otros casos donde existe una función de densidad conjunta, la función de verosimilitud se define como anteriormente, en la sección " principios ", utilizando esta densidad.

${\displaystyle X_{1},\ X_{2},\ldots ,\ X_{m}}$son los recuentos en celdas/casillas de 1 a m; cada casilla tiene una probabilidad diferente (piense en que las casillas son más grandes o más pequeñas) y fijamos la cantidad de bolas que caen en : . La probabilidad de cada casilla es , con una restricción: . Este es un caso en el que las s no son independientes, la probabilidad conjunta de un vector se llama multinomial y tiene la forma:${\displaystyle n}$${\displaystyle x_{1}+x_{2}+\cdots +x_{m}=n}$${\displaystyle p_{i}}$${\displaystyle p_{1}+p_{2}+\cdots +p_{m}=1}$${\displaystyle X_{i}}$ ${\displaystyle x_{1},\ x_{2},\ldots ,x_{m}}$

${\displaystyle f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\prod x_{i}!}}\prod p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}}$

Cada casilla tomada por separado contra todas las demás casillas es un binomio y este es una extensión del mismo.

La probabilidad logarítmica de esto es:

${\displaystyle \ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}}$

Hay que tener en cuenta la restricción y utilizar los multiplicadores de Lagrange:

${\displaystyle L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)}$

Al plantear que todas las derivadas son 0, se obtiene la estimación más natural

${\displaystyle {\hat {p}}_{i}={\frac {x_{i}}{n}}}$

Maximizar la verosimilitud logarítmica, con y sin restricciones, puede ser un problema irresoluble en forma cerrada, entonces tenemos que usar procedimientos iterativos.

Salvo casos especiales, las ecuaciones de probabilidad

${\displaystyle {\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}=0}$

no se pueden resolver explícitamente para un estimador . En cambio, deben resolverse iterativamente : a partir de una estimación inicial de (por ejemplo ), se busca obtener una secuencia convergente . Hay muchos métodos disponibles para este tipo de problema de optimización , ^{[26] [27]} pero los más utilizados son algoritmos basados ​​en una fórmula de actualización de la forma${\displaystyle {\widehat {\theta }}={\widehat {\theta }}(\mathbf {y} )}$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}_{1}}$${\displaystyle \left\{{\widehat {\theta }}_{r}\right\}}$

${\displaystyle {\widehat {\theta }}_{r+1}={\widehat {\theta }}_{r}+\eta _{r}\mathbf {d} _{r}\left({\widehat {\theta }}\right)}$

donde el vector indica la dirección de descenso del "paso" r ésimo, y el escalar captura la "longitud del paso", ^{[28] [29]} también conocida como tasa de aprendizaje . ^[30]${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)}$${\displaystyle \eta _{r}}$

(Nota: aquí se trata de un problema de maximización, por lo que el signo antes del gradiente está invertido)

${\displaystyle \eta _{r}\in \mathbb {R} ^{+}}$ que sea lo suficientemente pequeño para la convergencia y${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)}$

El método de descenso de gradiente requiere calcular el gradiente en la iteración r-ésima, pero no es necesario calcular la inversa de la derivada de segundo orden, es decir, la matriz hessiana. Por lo tanto, es computacionalmente más rápido que el método de Newton-Raphson.

${\displaystyle \eta _{r}=1}$y${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

donde es la puntuación y es la inversa de la matriz hessiana de la función de log-verosimilitud, ambas evaluaron la iteración r . ^{[31] [32]} Pero debido a que el cálculo de la matriz hessiana es computacionalmente costoso , se han propuesto numerosas alternativas. El popular algoritmo Berndt-Hall-Hall-Hausman aproxima la matriz hessiana con el producto externo del gradiente esperado, de modo que${\displaystyle \mathbf {s} _{r}({\widehat {\theta }})}$${\displaystyle \mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)}$

${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\left[{\frac {1}{n}}\sum _{t=1}^{n}{\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\left({\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\right)^{\mathsf {T}}\right]^{-1}\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

Otros métodos cuasi-Newton utilizan actualizaciones secantes más elaboradas para dar una aproximación de la matriz hessiana.

La fórmula DFP encuentra una solución que es simétrica, definida positiva y más cercana al valor aproximado actual de la derivada de segundo orden:

${\displaystyle \mathbf {H} _{k+1}=\left(I-\gamma _{k}y_{k}s_{k}^{\mathsf {T}}\right)\mathbf {H} _{k}\left(I-\gamma _{k}s_{k}y_{k}^{\mathsf {T}}\right)+\gamma _{k}y_{k}y_{k}^{\mathsf {T}},}$

dónde

${\displaystyle y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),}$

${\displaystyle \gamma _{k}={\frac {1}{y_{k}^{T}s_{k}}},}$

${\displaystyle s_{k}=x_{k+1}-x_{k}.}$

BFGS también proporciona una solución que es simétrica y definida positiva:

${\displaystyle B_{k+1}=B_{k}+{\frac {y_{k}y_{k}^{\mathsf {T}}}{y_{k}^{\mathsf {T}}s_{k}}}-{\frac {B_{k}s_{k}s_{k}^{\mathsf {T}}B_{k}^{\mathsf {T}}}{s_{k}^{\mathsf {T}}B_{k}s_{k}}}\ ,}$