Información dirigida - Directed information

Información dirigida , es una medida de la teoría de la información que mide la cantidad de información que fluye desde el proceso a , donde denota el vector y denota . El término información dirigida fue acuñado por James Massey y se define como ${\ Displaystyle I (X ^ {n} \ to Y ^ {n})}$${\ Displaystyle X ^ {n}}$${\ Displaystyle Y ^ {n}}$${\ Displaystyle X ^ {n}}$${\ Displaystyle X_ {1}, X_ {2}, ..., X_ {n}}$${\ Displaystyle Y ^ {n}}$${\ Displaystyle Y_ {1}, Y_ {2}, ..., Y_ {n}}$

${\ Displaystyle I (X ^ {n} \ to Y ^ {n}) \ triangleq \ sum _ {i = 1} ^ {n} I (X_ {i: 1}; Y_ {i} | Y_ {i- 1: 1})}$,

donde está la información mutua condicional . Una definición equivalente pero con una notación ligeramente diferente ${\ Displaystyle I (X_ {i: 1}; Y_ {i} | Y_ {i-1: 1})}$ ${\ Displaystyle I (X_ {1}, X_ {2}, ..., X_ {i}; Y_ {i} | Y_ {1}, Y_ {2}, ..., Y_ {i-1}) }$

${\ Displaystyle I (X ^ {n} \ to Y ^ {n}) \ triangleq \ sum _ {i = 1} ^ {n} I (X ^ {i}; Y_ {i} | Y ^ {i- 1})}$,

donde . ${\ Displaystyle X ^ {i} \ triangleq X_ {i: 1} \ triangleq (X_ {1}, X_ {2}, ..., X_ {i})}$

La información dirigida tiene muchas aplicaciones en problemas donde la causalidad juega un papel importante, como la capacidad del canal con retroalimentación, la capacidad de redes discretas sin memoria con retroalimentación, el juego con información lateral causal, la compresión con información lateral causal y en entornos de comunicación de control en tiempo real. , física estadística.

Estimación y optimización de información dirigida

Estimar y optimizar la información dirigida es un desafío porque tiene términos que pueden ser grandes. En muchos casos, uno está interesado en optimizar el promedio límite, es decir, cuando crece hasta el infinito, lo que se denomina expresión de varias letras. ${\ Displaystyle n}$${\ Displaystyle n}$${\ Displaystyle n}$

Mejoramiento

La maximización de la información dirigida es un problema fundamental en la teoría de la información. Para una secuencia fija de distribuciones de canal , el objetivo es optimizar las distribuciones de entrada de canal . ${\ Displaystyle \ {P (y_ {i} | x ^ {i}, y ^ {i-1} \} _ {i = 1} ^ {n})}$${\ Displaystyle I (X ^ {n} \ to Y ^ {n})}$${\ Displaystyle \ {P (x_ {i} | x ^ {i-1}, y ^ {i-1} \} _ {i = 1} ^ {n})}$

Existen algoritmos para optimizar la información dirigida basados ​​en Blahut-Arimoto , proceso de decisión de Markov , Red neuronal recurrente , Aprendizaje por refuerzo . y Merhods gráficos (los gráficos Q) . Para el caso de Blahut-Arimoto , la idea principal es comenzar con el último elemento de la información dirigida y retroceder. Para el caso del proceso de decisión de Markov , la idea principal es transformar la optimización en un proceso de decisión de Markov de recompensa promedio de horizonte infinito . Para la red neuronal recurrente, la idea principal es modelar la distribución de entrada usando la red neuronal recurrente y optimizar los parámetros usando el descenso de gradiente . Para el aprendizaje por refuerzo, la idea principal es resolver la formulación del proceso de decisión de Markov de la capacidad utilizando herramientas de aprendizaje por refuerzo que nos permiten tratar con un alfabeto grande o incluso continuo.

Estimacion

La estimación de información dirigida a partir de muestras dadas es un problema muy difícil ya que la expresión de información dirigida no depende de muestras sino de la distribución conjunta que se desconoce. Existen varios algoritmos basados ​​en el peso del árbol de contexto y en distribuciones paramétricas empíricas y que utilizan la memoria a corto plazo . ${\ Displaystyle \ {P (x_ {i}, y_ {i} | x ^ {i-1}, y ^ {i-1} \} _ {i = 1} ^ {n})}$

Referencias