Limitar la densidad de puntos discretos - Limiting density of discrete points

Teoría de la información
Entropía Entropía diferencial Entropía condicional Entropía conjunta Información mutua Información mutua condicional Entropía relativa Tasa de entropía Limitar la densidad de puntos discretos
Propiedad de equipartición asintótica Teoría de la distorsión de la tasa
Teorema de codificación de fuente de Shannon Capacidad de canal Teorema de codificación de canal ruidoso Teorema de Shannon-Hartley
v t mi

En teoría de la información , la densidad límite de puntos discretos es un ajuste a la fórmula de Claude Shannon para la entropía diferencial .

Fue formulado por Edwin Thompson Jaynes para abordar los defectos en la definición inicial de entropía diferencial.

Definición

Shannon escribió originalmente la siguiente fórmula para la entropía de una distribución continua, conocida como entropía diferencial :

${\ Displaystyle h (X) = - \ int p (x) \ log p (x) \, dx.}$

Sin embargo, a diferencia de la fórmula de Shannon para la entropía discreta, este no es el resultado de ninguna derivación (Shannon simplemente reemplazó el símbolo de suma en la versión discreta con una integral), pero carece de muchas de las propiedades que hacen que la entropía discreta sea una medida útil de incertidumbre. En particular, no es invariante ante un cambio de variables y puede volverse negativo. Además, ni siquiera es dimensionalmente correcto. Dado que sería adimensional, debe tener unidades de , lo que significa que el argumento del logaritmo no es adimensional como se requiere. ${\ Displaystyle P (x)}$${\ Displaystyle p (x)}$${\ Displaystyle {\ frac {1} {dx}}}$

Jaynes argumentó que la fórmula para la entropía continua debería derivarse tomando el límite de distribuciones discretas cada vez más densas. Supongamos que tenemos un conjunto de puntos discretos , de manera que en el límite su densidad se aproxima a una función llamada "medida invariante". ${\ Displaystyle N}$${\ Displaystyle \ {x_ {i} \}}$${\ Displaystyle N \ to \ infty}$${\ Displaystyle m (x)}$

${\ Displaystyle \ lim _ {N \ to \ infty} {\ frac {1} {N}} \, ({\ mbox {número de puntos en}} a <x <b) = \ int _ {a} ^ {b} m (x) \, dx}$

Jaynes derivó de esto la siguiente fórmula para la entropía continua, que, según él, debería tomarse como la fórmula correcta:

${\ Displaystyle \ lim _ {N \ rightarrow \ infty} H_ {N} (X) = \ log (N) - \ int p (x) \ log {\ frac {p (x)} {m (x)} } \, dx.}$

Normalmente, cuando se escribe esto, se omite el término , ya que normalmente no sería finito. Entonces, la definición común real es ${\ Displaystyle \ log (N)}$

${\ Displaystyle H (X) = - \ int p (x) \ log {\ frac {p (x)} {m (x)}} \, dx.}$

Cuando no esté claro si el término debe omitirse o no , se podría escribir ${\ Displaystyle \ log (N)}$

${\ Displaystyle H_ {N} (X) \ sim \ log (N) + H (X)}$

Observe que en la fórmula de Jaynes, es una densidad de probabilidad. Para cualquier finito que sea ​​una densidad uniforme sobre la cuantificación del espacio continuo que se usa en la suma de Riemann. En el límite, está la densidad límite continua de puntos en la cuantificación utilizada para representar la variable continua . ${\ Displaystyle m (x)}$${\ Displaystyle N}$${\ Displaystyle m (x)}$${\ Displaystyle m (x)}$${\ Displaystyle x}$

Supongamos que uno tiene un formato numérico que toma valores posibles, distribuidos según . Entonces (si es lo suficientemente grande como para que la aproximación continua sea válida) es la entropía discreta de la variable en esta codificación. Esto es igual al número promedio de bits necesarios para transmitir esta información y no es más que . Por lo tanto, se puede considerar como la cantidad de información obtenida al saber que la variable sigue la distribución y no se distribuye uniformemente sobre los posibles valores cuantificados, como sería el caso si la siguiera . es en realidad la divergencia (negativa) de Kullback-Leibler de a , que se considera la información obtenida al saber que una variable que antes se pensaba que se distribuía como se distribuye realmente como . ${\ Displaystyle N}$${\ Displaystyle m (x)}$${\ Displaystyle H_ {N} (X)}$${\ Displaystyle N}$${\ Displaystyle x}$${\ Displaystyle \ log (N)}$${\ Displaystyle H (X)}$${\ Displaystyle x}$${\ Displaystyle p (x)}$${\ Displaystyle m (x)}$${\ Displaystyle H (X)}$${\ Displaystyle m (x)}$${\ Displaystyle p (x)}$${\ Displaystyle m (x)}$${\ Displaystyle p (x)}$

La fórmula de la entropía continua de Jaynes tiene la propiedad de ser invariante ante un cambio de variables, siempre que y se transformen de la misma forma. (Esto motiva el nombre "medida invariante" para m .) Esto resuelve muchas de las dificultades que surgen al aplicar la fórmula de entropía continua de Shannon. El propio Jaynes abandonó el término porque no era relevante para su trabajo (distribuciones máximas de entropía), y es algo incómodo tener un término infinito en el cálculo. Desafortunadamente, esto no puede evitarse si la cuantificación se hace arbitrariamente fina, como sería el caso en el límite continuo. Tenga en cuenta que, como se define aquí (sin el término), siempre sería no positivo, porque una divergencia de KL siempre sería no negativo. ${\ Displaystyle m (x)}$${\ Displaystyle p (x)}$${\ Displaystyle \ log (N)}$${\ Displaystyle H (X)}$${\ Displaystyle \ log (N)}$

Si es el caso que es constante en algún intervalo de tamaño , y es esencialmente cero fuera de ese intervalo, entonces la densidad límite de puntos discretos (LDDP) está estrechamente relacionada con la entropía diferencial. ${\ Displaystyle m (x)}$${\ Displaystyle r}$${\ Displaystyle p (x)}$${\ Displaystyle h (X)}$

${\ Displaystyle H_ {N} (X) \ approx \ log (N) - \ log (r) + h (X)}$

Referencias

Otras lecturas

• Jaynes, ET (2003). Teoría de la probabilidad: la lógica de la ciencia . Prensa de la Universidad de Cambridge. ISBN   978-0521592710 .