Estimación de la densidad del núcleo

En estadística , la estimación de densidad de kernel ( KDE ) es la aplicación del suavizado de kernel para la estimación de densidad de probabilidad , es decir, un método no paramétrico para estimar la función de densidad de probabilidad de una variable aleatoria basada en kernels como pesos . KDE responde a un problema fundamental de suavizado de datos donde se realizan inferencias sobre la población en función de una muestra de datos finita . En algunos campos, como el procesamiento de señales y la econometría, también se denomina método de ventana de Parzen-Rosenblatt , en honor a Emanuel Parzen y Murray Rosenblatt , a quienes generalmente se les atribuye la creación independiente del método en su forma actual. ^{[1] [2] Una de las aplicaciones famosas de la estimación de densidad de kernel es la estimación de las} densidades marginales condicionales de clase de los datos cuando se utiliza un clasificador bayesiano ingenuo , que puede mejorar su precisión de predicción. ^[3]

Sean ( x ₁ , x ₂ , ..., x _n ) muestras independientes e idénticamente distribuidas extraídas de alguna distribución univariante con una densidad desconocida ƒ en cualquier punto dado x . Nos interesa estimar la forma de esta función ƒ . Su estimador de densidad kernel es

${\displaystyle {\widehat {f}}_{h}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})={\frac {1}{nh}}\sum _{i=1}^{n}K{\Big (}{\frac {x-x_{i}}{h}}{\Big )},}$

donde K es el kernel (una función no negativa) y h > 0 es un parámetro de suavizado llamado ancho de banda o simplemente ancho. ^[3] Un kernel con subíndice h se llama kernel escalado y se define como K _h ( x ) = K ( )${\displaystyle {\tfrac {1}{h}}}$ ${\displaystyle {\frac {x}{h}}}$ . Intuitivamente, uno quiere elegir h tan pequeño como lo permitan los datos; sin embargo, siempre hay una compensación entre el sesgo del estimador y su varianza. La elección del ancho de banda se analiza con más detalle a continuación.

Se utilizan comúnmente una variedad de funciones kernel : uniforme, triangular, biweight, triweight, Epanechnikov (parabólica), normal y otras. El kernel de Epanechnikov es óptimo en el sentido del error cuadrático medio, ^[4] aunque la pérdida de eficiencia es pequeña para los kernels enumerados anteriormente. ^[5] Debido a sus convenientes propiedades matemáticas, a menudo se utiliza el kernel normal, lo que significa K ( x ) = ϕ ( x ) , donde ϕ es la función de densidad normal estándar . El estimador de densidad kernel se convierte entonces en

${\displaystyle {\widehat {f}}_{h}(x)={\frac {1}{nh\sigma }}{\frac {1}{\sqrt {2\pi }}}\sum _{i=1}^{n}\exp {\Big (}{\frac {-(x-x_{i})^{2}}{2h^{2}\sigma ^{2}}}{\Big )},}$

donde es la desviación estándar de la muestra .${\estilo de visualización \sigma}$${\displaystyle {\vec {x}}}$

La construcción de una estimación de densidad de kernel encuentra interpretaciones en campos fuera de la estimación de densidad. ^[6] Por ejemplo, en termodinámica , esto es equivalente a la cantidad de calor generado cuando los kernels de calor (la solución fundamental a la ecuación de calor ) se colocan en cada ubicación de punto de datos x _i . Se utilizan métodos similares para construir operadores de Laplace discretos en nubes de puntos para el aprendizaje de variedades (por ejemplo, mapa de difusión ).

Las estimaciones de densidad de kernel están estrechamente relacionadas con los histogramas , pero se les pueden otorgar propiedades como suavidad o continuidad mediante el uso de un kernel adecuado. El diagrama a continuación, basado en estos 6 puntos de datos, ilustra esta relación:

Para el histograma, primero, el eje horizontal se divide en subintervalos o contenedores que cubren el rango de los datos: en este caso, seis contenedores, cada uno de ancho 2. Siempre que un punto de datos se encuentre dentro de este intervalo, se coloca allí un cuadro de altura 1/12. Si más de un punto de datos se encuentra dentro del mismo contenedor, los cuadros se apilan uno sobre el otro.

Para la estimación de la densidad de kernel, se colocan kernels normales con una desviación estándar de 1,5 (indicados por las líneas discontinuas rojas) en cada uno de los puntos de datos x _i . Los kernels se suman para hacer la estimación de la densidad de kernel (curva azul sólida). La suavidad de la estimación de la densidad de kernel (en comparación con la discreción del histograma) ilustra cómo las estimaciones de la densidad de kernel convergen más rápido a la densidad subyacente real para las variables aleatorias continuas. ^[7]

El ancho de banda del núcleo es un parámetro libre que exhibe una fuerte influencia en la estimación resultante. Para ilustrar su efecto, tomamos una muestra aleatoria simulada de la distribución normal estándar (graficada en los picos azules en el gráfico de alfombra en el eje horizontal). La curva gris es la densidad verdadera (una densidad normal con media 0 y varianza 1). En comparación, la curva roja está poco suavizada ya que contiene demasiados artefactos de datos espurios que surgen del uso de un ancho de banda h = 0,05, que es demasiado pequeño. La curva verde está sobre suavizada ya que el uso del ancho de banda h = 2 oscurece gran parte de la estructura subyacente. La curva negra con un ancho de banda de h = 0,337 se considera óptimamente suavizada ya que su estimación de densidad está cerca de la densidad verdadera. Se encuentra una situación extrema en el límite (sin suavizado), donde la estimación es una suma de n funciones delta centradas en las coordenadas de las muestras analizadas. En el otro extremo la estimación conserva la forma del kernel utilizado, centrado en la media de las muestras (completamente suave).${\displaystyle h\to 0}$ ${\displaystyle h\to \infty}$

El criterio de optimalidad más común utilizado para seleccionar este parámetro es la función de riesgo L ₂ esperada , también denominada error cuadrático medio integrado :

${\displaystyle \operatorname {MISE} (h)=\operatorname {E} \!\left[\,\int ({\hat {f}}_{h}(x)-f(x))^{2}\,dx\right]}$

Bajo supuestos débiles sobre ƒ y K , ( ƒ es la función de densidad real, generalmente desconocida), ^{[1] [2]}

${\displaystyle \operatorname {MISE} (h)=\operatorname {AMISE} (h)+{\mathcal {o}}((nh)^{-1}+h^{4})}$

donde o es la notación o minúscula y n el tamaño de la muestra (como se indica más arriba). El AMISE es el MISE asintótico, es decir, los dos términos principales,

${\displaystyle \operatorname {AMISE} (h)={\frac {R(K)}{nh}}+{\frac {1}{4}}m_{2}(K)^{2}h^{4}R(f'')}$

donde para una función g , y es la segunda derivada de y es el núcleo. El mínimo de esta AMISE es la solución de esta ecuación diferencial.${\displaystyle R(g)=\int g(x)^{2}\,dx}$${\displaystyle m_{2}(K)=\int x^{2}K(x)\,dx}$${\estilo de visualización f''}$${\estilo de visualización f}$${\estilo de visualización K}$

${\displaystyle {\frac {\partial }{\partial h}}\operatorname {AMISE} (h)=-{\frac {R(K)}{nh^{2}}}+m_{2}(K)^{2}h^{3}R(f'')=0}$

o

${\displaystyle h_{\operatorname {AMISE} }={\frac {R(K)^{1/5}}{m_{2}(K)^{2/5}R(f'')^{1/5}}}n^{-1/5}=Cn^{-1/5}}$

Ni las fórmulas AMISE ni las h _AMISE se pueden utilizar directamente ya que involucran la función de densidad desconocida o su segunda derivada . Para superar esa dificultad, se han desarrollado diversos métodos automáticos basados ​​en datos para seleccionar el ancho de banda. Se han realizado varios estudios de revisión para comparar su eficacia, ^{[8] [9] [10] [11] [12] [13] [14]} con el consenso general de que los selectores enchufables ^{[6] [15] [16]} y los selectores de validación cruzada ^{[17] [18] [19]} son ​​los más útiles en una amplia gama de conjuntos de datos.${\estilo de visualización f}$${\estilo de visualización f''}$

Sustituyendo cualquier ancho de banda h que tenga el mismo orden asintótico n ^−1/5 que h _AMISE en el AMISE se obtiene que AMISE( h ) = O ( n ^−4/5 ), donde O es la notación O grande . Se puede demostrar que, bajo supuestos débiles, no puede existir un estimador no paramétrico que converja a una tasa más rápida que el estimador kernel. ^[20] Nótese que la tasa n ^{−4/5 es más lenta que la tasa de convergencia} n ⁻¹ típica de los métodos paramétricos.

Si el ancho de banda no se mantiene fijo, sino que varía dependiendo de la ubicación de la estimación (estimador de globo) o de las muestras (estimador puntual), esto produce un método particularmente poderoso denominado estimación de densidad de núcleo de ancho de banda variable o adaptativo .

La selección del ancho de banda para la estimación de la densidad del núcleo de distribuciones de cola pesada es relativamente difícil. ^[21]

Si se utilizan funciones de base gaussianas para aproximar datos univariados y la densidad subyacente que se estima es gaussiana, la opción óptima para h (es decir, el ancho de banda que minimiza el error cuadrático medio integrado ) es: ^[22]

${\displaystyle h=\left({\frac {4{\hat {\sigma }}^{5}}{3n}}\right)^{\frac {1}{5}}\approx 1.06\,{\hat {\sigma }}\,n^{-1/5},}$

Se considera que un valor es más robusto cuando mejora el ajuste para distribuciones de cola larga y asimétricas o para distribuciones de mezcla bimodal. Esto se suele hacer de manera empírica reemplazando la desviación estándar por el parámetro siguiente:${\estilo de visualización h}$ ${\displaystyle {\sombrero {\sigma }}}$${\estilo de visualización A}$

${\displaystyle A=\min \left({\hat {\sigma }},{\frac {RIC}{1.34}}\right)}$donde IQR es el rango intercuartil.

Otra modificación que mejorará el modelo es reducir el factor de 1,06 a 0,9. La fórmula final quedaría así:

${\displaystyle h=0,9\,\min \left({\hat {\sigma }},{\frac {RIC}{1,34}}\right)\,n^{-{\frac {1}{5}}}}$

¿Dónde está el tamaño de la muestra?${\estilo de visualización n}$

Esta aproximación se denomina aproximación de distribución normal , aproximación gaussiana o regla de oro de Silverman . ^[22] Si bien esta regla de oro es fácil de calcular, debe usarse con precaución ya que puede producir estimaciones muy inexactas cuando la densidad no está cerca de ser normal. Por ejemplo, al estimar el modelo de mezcla gaussiana bimodal

${\displaystyle {\frac {1}{2{\sqrt {2\pi }}}}e^{-{\frac {1}{2}}(x-10)^{2}}+{\frac {1}{2{\sqrt {2\pi }}}}e^{-{\frac {1}{2}}(x+10)^{2}}}$

a partir de una muestra de 200 puntos, la figura de la derecha muestra la densidad real y dos estimaciones de densidad de kernel: una que utiliza el ancho de banda de la regla empírica y la otra que utiliza un ancho de banda de resolución de ecuaciones. ^{[6] [16]} La estimación basada en el ancho de banda de la regla empírica está significativamente sobresuavizada.

Dada la muestra ( x ₁ , x ₂ , ..., x _n ), es natural estimar la función característica φ ( t ) = E[ e ^itX ] como

${\displaystyle {\widehat {\varphi }}(t)={\frac {1}{n}}\sum _{j=1}^{n}e^{itx_{j}}}$

Conociendo la función característica, es posible encontrar la función de densidad de probabilidad correspondiente a través de la fórmula de la transformada de Fourier . Una dificultad con la aplicación de esta fórmula de inversión es que conduce a una integral divergente, ya que la estimación no es confiable para t grandes . Para evitar este problema, el estimador se multiplica por una función de amortiguamiento ψ _h ( t ) = ψ ( ht ) , que es igual a 1 en el origen y luego cae a 0 en el infinito. El "parámetro de ancho de banda" h controla qué tan rápido intentamos amortiguar la función . En particular, cuando h es pequeño, entonces ψ _h ( t ) será aproximadamente uno para un rango grande de t , lo que significa que permanece prácticamente inalterado en la región más importante de t .${\displaystyle \scriptstyle {\widehat {\varphi }}(t)}$${\displaystyle \scriptstyle {\widehat {\varphi }}(t)}$${\displaystyle \scriptstyle {\widehat {\varphi }}(t)}$${\displaystyle \scriptstyle {\widehat {\varphi }}(t)}$

La opción más común para la función ψ es la función uniforme ψ ( t ) = 1 {−1 ≤ t ≤ 1 }, lo que significa efectivamente truncar el intervalo de integración en la fórmula de inversión a [−1/ h , 1/ h ] , o la función gaussiana ψ ( t ) = e ^{− π t 2} . Una vez que se ha elegido la función ψ , se puede aplicar la fórmula de inversión y el estimador de densidad será

${\displaystyle {\begin{aligned}{\widehat {f}}(x)&={\frac {1}{2\pi }}\int _{-\infty }^{+\infty }{\widehat {\varphi }}(t)\psi _{h}(t)e^{-itx}\,dt={\frac {1}{2\pi }}\int _{-\infty }^{+\infty }{\frac {1}{n}}\sum _{j=1}^{n}e^{it(x_{j}-x)}\psi (ht)\,dt\\[5pt]&={\frac {1}{nh}}\sum _{j=1}^{n}{\frac {1}{2\pi }}\int _{-\infty }^{+\infty }e^{-i(ht){\frac {x-x_{j}}{h}}}\psi (ht)\,d(ht)={\frac {1}{nh}}\sum _{j=1}^{n}K{\Big (}{\frac {x-x_{j}}{h}}{\Big )},\end{aligned}}}$

donde K es la transformada de Fourier de la función de amortiguamiento ψ . Por lo tanto, el estimador de densidad de kernel coincide con el estimador de densidad de la función característica.

Podemos extender la definición del modo (global) a un sentido local y definir los modos locales:

${\displaystyle M=\{x:g(x)=0,\lambda _{1}(x)<0\}}$

Es decir, es la colección de puntos para los cuales la función de densidad se maximiza localmente. Un estimador natural de es un complemento de KDE, ^{[23] [24]} donde y son la versión de KDE de y . Bajo supuestos moderados, es un estimador consistente de . Nótese que se puede usar el algoritmo de cambio de media ^{[25] [26] [27]} para calcular numéricamente el estimador .${\displaystyle M}$${\displaystyle M}$${\displaystyle g(x)}$${\displaystyle \lambda _{1}(x)}$${\displaystyle g(x)}$${\displaystyle \lambda _{1}(x)}$${\displaystyle M_{c}}$${\displaystyle M}$${\displaystyle M_{c}}$

Una lista no exhaustiva de implementaciones de software de estimadores de densidad de kernel incluye:

• En la versión 4.4 de Analytica , la opción Suavizado para resultados PDF utiliza KDE y, a partir de expresiones, está disponible a través de la función incorporada Pdf.
• En C / C++ , FIGTree es una biblioteca que se puede utilizar para calcular estimaciones de densidad de kernel utilizando kernels normales. Interfaz MATLAB disponible.
• En C++ , libagf es una biblioteca para la estimación de la densidad del núcleo variable .
• En C++ , mlpack es una biblioteca que puede calcular KDE utilizando muchos kernels diferentes. Permite establecer una tolerancia de error para un cálculo más rápido. Hay interfaces disponibles para Python y R.
• En C# y F# , Math.NET Numerics es una biblioteca de código abierto para cálculos numéricos que incluye estimación de densidad de kernel.
• En CrimeStat , la estimación de densidad de kernel se implementa utilizando cinco funciones de kernel diferentes: normal, uniforme, cuártica, exponencial negativa y triangular. Están disponibles rutinas de estimación de densidad de kernel simple y dual. La estimación de densidad de kernel también se utiliza para interpolar una rutina Head Bang, para estimar una función de densidad de Journey-to-crime bidimensional y para estimar una estimación bayesiana de Journey-to-crime tridimensional.
• En ELKI , las funciones de densidad del kernel se pueden encontrar en el paquetede.lmu.ifi.dbs.elki.math.statistics.kernelfunctions
• En los productos ESRI , el mapeo de densidad del kernel se administra desde la caja de herramientas de Spatial Analyst y utiliza el kernel cuártico (biweight).
• En Excel , la Royal Society of Chemistry ha creado un complemento para ejecutar la estimación de densidad del kernel según su Informe técnico 4 del Comité de métodos analíticos.
• En gnuplot , la estimación de la densidad del núcleo se implementa mediante la smooth kdensityopción , el archivo de datos puede contener un peso y un ancho de banda para cada punto, o el ancho de banda se puede configurar automáticamente ^[28] de acuerdo con la "regla de oro de Silverman" (ver arriba).
• En Haskell , la densidad del kernel se implementa en el paquete de estadísticas.
• En IGOR Pro , la estimación de la densidad del núcleo se implementa mediante la StatsKDEoperación (añadida en Igor Pro 7.00). El ancho de banda puede ser especificado por el usuario o estimado mediante Silverman, Scott o Bowmann y Azzalini . Los tipos de núcleo son: Epanechnikov, Bi-weight, Tri-weight, Triangular, Gaussian y Rectangular.
• En Java , el paquete de aprendizaje automático Weka proporciona weka.estimators.KernelEstimator, entre otros.
• En JavaScript , el paquete de visualización D3.js ofrece un paquete KDE en su paquete science.stats.
• En JMP , la plataforma Graph Builder utiliza la estimación de densidad kernel para proporcionar gráficos de contorno y regiones de alta densidad (HDR) para densidades bivariadas, y gráficos de violín y HDR para densidades univariadas. Los controles deslizantes permiten al usuario variar el ancho de banda. Las plataformas Fit Y by X y Distribution también proporcionan estimaciones de densidad kernel bivariadas y univariadas, respectivamente.
• En Julia , la estimación de la densidad del kernel se implementa en el paquete KernelDensity.jl.
• En KNIME , se pueden generar y representar gráficamente distribuciones de densidad de kernel 1D y 2D utilizando nodos de la contribución de la comunidad Vernalis , por ejemplo, 1D Kernel Density Plot, entre otros. La implementación subyacente está escrita en Java .
• En MATLAB , la estimación de la densidad del núcleo se implementa a través de la ksdensityfunción (Statistics Toolbox). A partir de la versión 2018a de MATLAB, se pueden especificar tanto el ancho de banda como el suavizador del núcleo, incluidas otras opciones como la especificación del rango de la densidad del núcleo. ^[29] Alternativamente, un paquete de software MATLAB gratuito que implementa un método de selección automática del ancho de banda ^[6] está disponible en MATLAB Central File Exchange para
  • Datos unidimensionales
  • Datos bidimensionales
  • Datos n-dimensionales
    Una caja de herramientas MATLAB gratuita con implementación de regresión kernel, estimación de densidad kernel, estimación kernel de función de riesgo y muchas otras está disponible en estas páginas (esta caja de herramientas es parte del libro ^[30] ).
• En Mathematica , la estimación de densidad de kernel numérica se implementa mediante la función SmoothKernelDistribution^[31] y la estimación simbólica se implementa utilizando la función KernelMixtureDistribution^[32], las cuales proporcionan anchos de banda basados ​​en datos.
• En Minitab , la Royal Society of Chemistry ha creado una macro para ejecutar la estimación de densidad de kernel basándose en su Informe técnico 4 del Comité de métodos analíticos. ^[33]
• En la biblioteca NAG , la estimación de la densidad del kernel se implementa a través de la g10barutina (disponible tanto en la versión Fortran ^[34] como en la versión C ^[35] de la biblioteca).
• En Nuklei, los métodos de densidad del kernel de C++ se centran en datos del grupo euclidiano especial .${\displaystyle SE(3)}$
• En Octave , la estimación de la densidad del kernel se implementa mediante la kernel_densityopción (paquete econométrico).
• En Origin , se puede realizar un gráfico de densidad de kernel 2D desde su interfaz de usuario, y se pueden usar dos funciones, Ksdensity para 1D y Ks2density para 2D, desde su código LabTalk, Python o C.
• En Perl , se puede encontrar una implementación en el módulo Statistics-KernelEstimation
• En PHP , se puede encontrar una implementación en la biblioteca MathPHP
• En Python , existen muchas implementaciones: el módulo pyqt_fit.kde en el paquete PyQt-Fit, SciPy ( scipy.stats.gaussian_kde), Statsmodels ( KDEUnivariatey KDEMultivariate), y scikit-learn ( KernelDensity) (ver comparación ^[36] ). KDEpy admite datos ponderados y su implementación FFT es órdenes de magnitud más rápida que las otras implementaciones. La biblioteca pandas de uso común [1] ofrece soporte para gráficos de KDE a través del método plot ( df.plot(kind='kde')[2]). El paquete getdist para muestras MCMC ponderadas y correlacionadas admite ancho de banda optimizado, corrección de límites y métodos de orden superior para distribuciones 1D y 2D. Un paquete recientemente utilizado para la estimación de densidad de kernel es seaborn ( import seaborn as sns, sns.kdeplot()). ^[37] También existe una implementación de KDE en GPU. ^[38]
• En R , se implementa a través de densityen la distribución base, y bw.nrd0la función se utiliza en el paquete stats, esta función utiliza la fórmula optimizada en el libro de Silverman. bkdeen la biblioteca KernSmooth, ParetoDensityEstimationen la biblioteca DataVisualizations (para la estimación de la densidad de la distribución de Pareto), kdeen la biblioteca ks, dkdeny dbckdenen la biblioteca evmix (esta última para la estimación de la densidad del núcleo corregida por límites para el soporte acotado), npudensen la biblioteca np ( datos numéricos y categóricos ), sm.densityen la biblioteca sm. Para una implementación de la kde.Rfunción, que no requiere la instalación de ningún paquete o biblioteca, consulte kde.R. La biblioteca btb, dedicada al análisis urbano, implementa la estimación de la densidad del núcleo a través de kernel_smoothing.
• En SAS , proc kdese puede utilizar para estimar densidades de kernel univariadas y bivariadas.
• En Apache Spark , la KernelDensity()clase ^[39]
• En Stata , se implementa a través de kdensity[ ^40] , por ejemplo histogram x, kdensity. Alternativamente, está disponible un módulo gratuito de Stata, KDENS ^[41], que permite al usuario estimar funciones de densidad 1D o 2D.
• En Swift , se implementa a través SwiftStats.KernelDensityEstimationde la biblioteca de estadísticas de código abierto SwiftStats.

Wikimedia Commons tiene medios relacionados con Estimación de la densidad del núcleo .

• Kernel (estadísticas)
• Suavizado de kernel
• Regresión del núcleo
• Estimación de densidad (con presentación de otros ejemplos)
• Desplazamiento medio
• Espacio de escala : Los tripletes {( x , h , KDE con ancho de banda h evaluado en x : todos x , h > 0} forman una representación del espacio de escala de los datos.
• Estimación de densidad de kernel multivariante
• Estimación de densidad de kernel variable
• Roturas de cabeza y cola

• Härdle, Müller, Sperlich, Werwatz, Métodos no paramétricos y semiparamétricos , Springer-Verlag Berlin Heidelberg 2004, págs. 39–83

• Introducción a la estimación de densidad de kernel Un breve tutorial que motiva a los estimadores de densidad de kernel como una mejora con respecto a los histogramas.
• Optimización del ancho de banda del kernel Una herramienta en línea gratuita que genera una estimación optimizada de la densidad del kernel.
• El software gratuito en línea (calculadora) calcula la estimación de densidad de kernel para una serie de datos de acuerdo con los siguientes kernels: gaussiano, epanechnikov, rectangular, triangular, biweight, coseno y optcoseno.
• Subprograma de estimación de densidad de kernel Un ejemplo interactivo en línea de estimación de densidad de kernel. Requiere .NET 3.0 o posterior.