Limitación de la densidad de puntos discretos

Teoría de la información
Entropía Entropía diferencial Entropía condicional Entropía conjunta Información mutua Información dirigida Información mutua condicional Entropía relativa Tasa de entropía Limitación de la densidad de puntos discretos
Propiedad de equipartición asintótica Teoría de la tasa de distorsión
Teorema de codificación de fuentes de Shannon Capacidad del canal Teorema de codificación de canal ruidoso Teorema de Shannon-Hartley
en a mi

En la teoría de la información , la densidad límite de puntos discretos es un ajuste a la fórmula de Claude Shannon para la entropía diferencial .

Fue formulado por Edwin Thompson Jaynes para abordar defectos en la definición inicial de entropía diferencial.

Shannon escribió originalmente la siguiente fórmula para la entropía de una distribución continua, conocida como entropía diferencial :

${\displaystyle h(X)=-\int p(x)\log p(x)\,dx.}$

Sin embargo, a diferencia de la fórmula de Shannon para la entropía discreta, esta no es el resultado de ninguna derivación (Shannon simplemente reemplazó el símbolo de suma en la versión discreta con una integral), y carece de muchas de las propiedades que hacen de la entropía discreta una medida útil de incertidumbre. En particular, no es invariante bajo un cambio de variables y puede volverse negativa. Además, ni siquiera es dimensionalmente correcta. Dado que sería adimensional, debe tener unidades de , lo que significa que el argumento del logaritmo no es adimensional como se requiere.${\estilo de visualización h(X)}$${\estilo de visualización p(x)}$${\displaystyle {\frac {1}{dx}}}$

Jaynes argumentó que la fórmula para la entropía continua debería derivarse tomando el límite de distribuciones discretas cada vez más densas. ^{[1] [2]} Supongamos que tenemos un conjunto de puntos discretos , tales que en el límite su densidad se aproxima a una función llamada "medida invariante":${\estilo de visualización N}$${\displaystyle \{x_{i}\}}$${\displaystyle N\to \infty}$${\estilo de visualización m(x)}$

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\,({\mbox{número de puntos en }}a<x<b)=\int _{a}^{b}m(x)\,dx.}$

Jaynes derivó de esto la siguiente fórmula para la entropía continua, que según él debería tomarse como la fórmula correcta:

${\displaystyle \lim_{N\rightarrow \infty}H_{N}(X)=\log(N)-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

Normalmente, cuando se escribe así, se omite el término, ya que normalmente no sería finito. Por lo tanto, la definición común real es${\displaystyle \log(N)}$

${\displaystyle H(X)=-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

Cuando no esté claro si se debe omitir o no el término, se podría escribir${\displaystyle \log(N)}$

${\displaystyle H_{N}(X)\sim \log(N)+H(X).}$

Obsérvese que en la fórmula de Jaynes, es una densidad de probabilidad. Para cualquier número finito que ^{[ se necesita más explicación ]} es una densidad uniforme sobre la cuantificación del espacio continuo que se utiliza en la suma de Riemann. En el límite, es la densidad límite continua de puntos en la cuantificación utilizada para representar la variable continua .${\estilo de visualización m(x)}$${\estilo de visualización N}$${\estilo de visualización m(x)}$${\estilo de visualización m(x)}$${\estilo de visualización x}$

Supongamos que uno tuviera un formato de número que tomara valores posibles, distribuidos como . Entonces (si es lo suficientemente grande como para que la aproximación continua sea válida) es la entropía discreta de la variable en esta codificación. Esto es igual al número promedio de bits requeridos para transmitir esta información, y no es más que . Por lo tanto, puede considerarse como la cantidad de información obtenida al saber que la variable sigue la distribución , y no está distribuida uniformemente sobre los posibles valores cuantificados, como sería el caso si siguiera . es en realidad la divergencia de Kullback-Leibler (negativa) de a , que se considera como la información obtenida al saber que una variable que previamente se pensó que estaba distribuida como en realidad está distribuida como .${\estilo de visualización N}$${\estilo de visualización m(x)}$$Estilo de visualización H_{N}(X)}$${\estilo de visualización N}$${\estilo de visualización x}$${\displaystyle \log(N)}$${\estilo de visualización H(X)}$${\estilo de visualización x}$${\estilo de visualización p(x)}$${\estilo de visualización m(x)}$${\estilo de visualización H(X)}$${\estilo de visualización m(x)}$${\estilo de visualización p(x)}$${\estilo de visualización m(x)}$${\estilo de visualización p(x)}$

La fórmula de entropía continua de Jaynes tiene la propiedad de ser invariante ante un cambio de variables, siempre que y se transformen de la misma manera. (Esto motiva el nombre de "medida invariante" para m .) Esto resuelve muchas de las dificultades que surgen de la aplicación de la fórmula de entropía continua de Shannon. El propio Jaynes eliminó el término porque no era relevante para su trabajo (distribuciones de entropía máxima), y es algo extraño tener un término infinito en el cálculo. Desafortunadamente, esto no se puede evitar si la cuantificación se hace arbitrariamente fina, como sería el caso en el límite continuo. Tenga en cuenta que, como se define aquí (sin el término), siempre sería no positivo, porque una divergencia KL siempre sería no negativa.${\estilo de visualización m(x)}$${\estilo de visualización p(x)}$${\displaystyle \log(N)}$${\estilo de visualización H(X)}$${\displaystyle \log(N)}$

Si es el caso que es constante en algún intervalo de tamaño , y es esencialmente cero fuera de ese intervalo, entonces la densidad límite de puntos discretos (LDDP) está estrechamente relacionada con la entropía diferencial :${\estilo de visualización m(x)}$${\estilo de visualización r}$${\estilo de visualización p(x)}$${\estilo de visualización h(X)}$

${\displaystyle H_{N}(X)\approx \log(N)-\log(r)+h(X).}$

• Jaynes, ET (2003). Teoría de la probabilidad: la lógica de la ciencia . Cambridge University Press. ISBN 978-0521592710.