Medida de información relativa en la teoría de la probabilidad
En la teoría de la información , la entropía condicional cuantifica la cantidad de información necesaria para describir el resultado de una variable aleatoria dado que se conoce el valor de otra variable aleatoria . Aquí, la información se mide en shannons , nats o hartleys . La entropía de condicionado se escribe como .
Definición
La entropía condicional de dado se define como
|
|
( Ecuación 1 )
|
donde y denotan los conjuntos de soporte de y .
Nota: Está convenido que las expresiones y para fijo deben tratarse como iguales a cero. Esto es porque y
Explicación intuitiva de la definición: Según la definición, donde se asocia al contenido de información de dado , que es la cantidad de información necesaria para describir el evento dado . Según la ley de los grandes números, es la media aritmética de un gran número de realizaciones independientes de .
Motivación
Sea la entropía de la variable aleatoria discreta condicionada a que la variable aleatoria discreta tome un cierto valor . Denote los conjuntos de soporte de y por y . Vamos a tener la función de masa de probabilidad . La entropía incondicional de se calcula como , es decir
donde es el contenido de información del resultado de tomar el valor . La entropía de condicionado a tomar el valor se define de forma análoga por la expectativa condicional :
Tenga en cuenta que es el resultado de promediar todos los valores posibles que puede tomar. Además, si la suma anterior se toma sobre una muestra , el valor esperado se conoce en algunos dominios como equívoco .
Dadas las variables aleatorias discretas con imagen y con imagen , la entropía condicional de dado se define como la suma ponderada de para cada valor posible de , utilizando como pesos:
Propiedades
La entropía condicional es igual a cero
si y solo si el valor de está completamente determinado por el valor de .
Entropía condicional de variables aleatorias independientes
Por el contrario, si y solo si y son variables aleatorias independientes .
Cadena de reglas
Supongamos que el sistema combinado está determinado por dos variables aleatorias y tiene entropía conjunta , es decir, necesitamos bits de información en promedio para describir su estado exacto. Ahora bien, si primero aprendemos el valor de , hemos obtenido bits de información. Una vez que se conoce, solo necesitamos bits para describir el estado de todo el sistema. Esta cantidad es exactamente , lo que da la regla de la cadena de entropía condicional:
La regla de la cadena se deriva de la definición anterior de entropía condicional:
En general, una regla de cadena para múltiples variables aleatorias se cumple:
Tiene una forma similar a la regla de la cadena en la teoría de la probabilidad, excepto que se usa la suma en lugar de la multiplicación.
Regla de Bayes
Regla de Bayes para estados de entropía condicionales
Prueba. y . La simetría implica . Restar las dos ecuaciones implica la regla de Bayes.
Si es condicionalmente independiente de dado tenemos:
Otras propiedades
Para cualquiera y :
donde está la información mutua entre y .
Para independientes y :
-
y
Aunque la entropía condicional específica puede ser menor o mayor que para una variante aleatoria dada de , nunca puede exceder .
Entropía diferencial condicional
Definición
La definición anterior es para variables aleatorias discretas. La versión continua de la entropía condicional discreta se llama entropía diferencial condicional (o continua) . Sea y sea una variable aleatoria continua con una función de densidad de probabilidad conjunta . La entropía condicional diferencial se define como
|
|
( Ecuación 2 )
|
Propiedades
En contraste con la entropía condicional para variables aleatorias discretas, la entropía diferencial condicional puede ser negativa.
Como en el caso discreto, existe una regla de cadena para la entropía diferencial:
Sin embargo, observe que esta regla puede no ser cierta si las entropías diferenciales involucradas no existen o son infinitas.
La entropía diferencial conjunta también se utiliza en la definición de la información mutua entre variables aleatorias continuas:
con igualdad si y solo si y son independientes.
Relación con el error del estimador
La entropía diferencial condicional produce un límite inferior en el error al cuadrado esperado de un estimador . Para cualquier variable aleatoria , observación y estimador se cumple lo siguiente:
Esto está relacionado con el principio de incertidumbre de la mecánica cuántica .
Generalización a la teoría cuántica
En la teoría de la información cuántica , la entropía condicional se generaliza a la entropía cuántica condicional . Este último puede tomar valores negativos, a diferencia de su contraparte clásica.
Ver también
Referencias