Entropía cruzada - Cross entropy

Teoría de la información
Entropía Entropía diferencial Entropía condicional Entropía conjunta Información mutua Información mutua condicional Entropía relativa Tasa de entropía Limitar la densidad de puntos discretos Teoría de la información de longitud de bloque finita
Propiedad de equipartición asintótica Teoría de la distorsión de la tasa
Teorema de codificación de fuente de Shannon Capacidad de canal Teorema de codificación de canal ruidoso Teorema de Shannon-Hartley
v t mi

En la teoría de la información , la entropía cruzada entre dos distribuciones de probabilidad y sobre el mismo conjunto subyacente de eventos mide el número promedio de bits necesarios para identificar un evento extraído del conjunto si un esquema de codificación utilizado para el conjunto está optimizado para una distribución de probabilidad estimada. , en lugar de la verdadera distribución . ${\ Displaystyle p}$${\ Displaystyle q}$${\ Displaystyle q}$${\ Displaystyle p}$

Definición

La entropía cruzada de la distribución relativa a una distribución sobre un conjunto dado se define de la siguiente manera: ${\ Displaystyle q}$${\ Displaystyle p}$

${\ Displaystyle H (p, q) = - \ operatorname {E} _ {p} [\ log q]}$,

donde es el operador de valor esperado con respecto a la distribución . ${\ Displaystyle E_ {p} [\ cdot]}$${\ Displaystyle p}$

La definición se puede formular utilizando la divergencia de Kullback-Leibler , la divergencia de desde (también conocida como la entropía relativa de con respecto a ). ${\ Displaystyle D _ {\ mathrm {KL}} (p \ | q)}$${\ Displaystyle p}$${\ Displaystyle q}$${\ Displaystyle p}$${\ Displaystyle q}$

${\ Displaystyle H (p, q) = H (p) + D _ {\ mathrm {KL}} (p \ | q)}$,

donde está la entropía de . ${\ Displaystyle H (p)}$${\ Displaystyle p}$

Para distribuciones de probabilidad discretas y con el mismo soporte, esto significa ${\ Displaystyle p}$${\ Displaystyle q}$ ${\ Displaystyle {\ mathcal {X}}}$

La situación de las distribuciones continuas es análoga. Tenemos que asumir que y son absolutamente continuos con respecto a alguna medida de referencia (normalmente es una medida de Lebesgue en un σ-álgebra de Borel ). Sean y sean funciones de densidad de probabilidad de y con respecto a . Luego ${\ Displaystyle p}$${\ Displaystyle q}$ ${\ Displaystyle r}$${\ Displaystyle r}$ ${\ Displaystyle P}$${\ displaystyle Q}$${\ Displaystyle p}$${\ Displaystyle q}$${\ Displaystyle r}$

${\ Displaystyle - \ int _ {\ mathcal {X}} P (x) \, \ log Q (x) \, dr (x) = \ operatorname {E} _ {p} [- \ log Q]}$

y por lo tanto

NB: La notación también se usa para un concepto diferente, la entropía conjunta de y . ${\ Displaystyle H (p, q)}$${\ Displaystyle p}$${\ Displaystyle q}$

Motivación

En teoría de la información , el teorema de Kraft-McMillan establece que cualquier esquema de codificación directamente decodificable para codificar un mensaje para identificar un valor de un conjunto de posibilidades puede verse como una representación de una distribución de probabilidad implícita sobre , donde es la longitud del código para en bits. Por lo tanto, la entropía cruzada se puede interpretar como la longitud esperada del mensaje por dato cuando se asume una distribución incorrecta mientras que los datos realmente siguen una distribución . Es por eso que la expectativa se toma sobre la verdadera distribución de probabilidad y no . De hecho, la longitud esperada del mensaje bajo la distribución verdadera es, ${\ Displaystyle x_ {i}}$${\ Displaystyle \ {x_ {1}, ..., x_ {n} \}}$${\ Displaystyle q (x_ {i}) = \ left ({\ frac {1} {2}} \ right) ^ {l_ {i}}}$${\ Displaystyle \ {x_ {1}, ..., x_ {n} \}}$${\ Displaystyle l_ {i}}$${\ Displaystyle x_ {i}}$${\ Displaystyle q}$${\ Displaystyle p}$${\ Displaystyle p}$${\ Displaystyle q}$${\ Displaystyle p}$

${\ Displaystyle \ operatorname {E} _ {p} [l] = - \ operatorname {E} _ {p} \ left [{\ frac {\ ln {q (x)}} {\ ln (2)}} \ right] = - \ operatorname {E} _ {p} \ left [\ log _ {2} {q (x)} \ right] = - \ sum _ {x_ {i}} p (x_ {i}) \, \ log _ {2} {q (x_ {i})} = - \ sum _ {x} p (x) \, \ log _ {2} q (x) = H (p, q)}$

Estimacion

Hay muchas situaciones en las que es necesario medir la entropía cruzada, pero se desconoce la distribución de . Un ejemplo es el modelado de lenguaje , donde se crea un modelo basado en un conjunto de entrenamiento , y luego se mide su entropía cruzada en un conjunto de prueba para evaluar qué tan preciso es el modelo en la predicción de los datos de prueba. En este ejemplo, es la verdadera distribución de palabras en cualquier corpus, y es la distribución de palabras como predice el modelo. Dado que se desconoce la distribución real, la entropía cruzada no se puede calcular directamente. En estos casos, se calcula una estimación de la entropía cruzada mediante la siguiente fórmula: ${\ Displaystyle p}$${\ Displaystyle T}$${\ Displaystyle p}$${\ Displaystyle q}$

${\ Displaystyle H (T, q) = - \ sum _ {i = 1} ^ {N} {\ frac {1} {N}} \ log _ {2} q (x_ {i})}$

donde es el tamaño del conjunto de prueba y es la probabilidad de evento estimada a partir del conjunto de entrenamiento. En otras palabras, es la estimación de probabilidad del modelo que es la i-ésima palabra del texto . La suma se promedia sobre las palabras de la prueba. Esta es una estimación de Monte Carlo de la verdadera entropía cruzada, donde el conjunto de prueba se trata como muestras de . ${\ Displaystyle N}$${\ Displaystyle q (x)}$${\ Displaystyle x}$${\ Displaystyle q (x_ {i})}$${\ Displaystyle x_ {i}}$${\ Displaystyle N}$${\ Displaystyle p (x)}$

Relación con la probabilidad logarítmica

En los problemas de clasificación queremos estimar la probabilidad de diferentes resultados. Deje que la probabilidad estimada de que el resultado sea con parámetros optimizados para ser-- y dejar que la frecuencia (probabilidad empírica) del resultado en el conjunto de entrenamiento sea . Dadas N muestras condicionalmente independientes en el conjunto de entrenamiento, entonces la probabilidad de los parámetros del modelo en el conjunto de entrenamiento es ${\ Displaystyle i}$${\ Displaystyle q _ {\ theta} (X = i)}$${\ Displaystyle \ theta}$${\ Displaystyle i}$${\ Displaystyle p (X = i)}$${\ Displaystyle \ theta}$${\ Displaystyle q _ {\ theta} (X = x)}$

${\ displaystyle {\ mathcal {L}} (\ theta) = \ prod _ {i \ in X} ({\ mbox {probabilidad est. de}} i) ^ {{\ mbox {número de apariciones de}} i } = \ prod _ {i} q _ {\ theta} (X = i) ^ {Np (X = i)}}$

por lo que la probabilidad logarítmica, dividida por es ${\ Displaystyle N}$

${\ Displaystyle {\ frac {1} {N}} \ log ({\ mathcal {L}} (\ theta)) = {\ frac {1} {N}} \ log \ prod _ {i} q _ {\ theta} (X = i) ^ {Np (X = i)} = \ sum _ {i} p (X = i) \ log q _ {\ theta} (X = i) = - H (p, q)}$

de modo que maximizar la probabilidad con respecto a los parámetros es lo mismo que minimizar la entropía cruzada. ${\ Displaystyle \ theta}$

Minimización de entropía cruzada

La minimización de entropía cruzada se utiliza con frecuencia en la optimización y la estimación de probabilidad de eventos raros. Al comparar una distribución con una distribución de referencia fija , la entropía cruzada y la divergencia KL son idénticas hasta una constante aditiva (ya que es fija): ambas toman sus valores mínimos cuando , que es para la divergencia KL y para la entropía cruzada. En la literatura de ingeniería, el principio de minimizar la divergencia de KL (" Principio de información mínima de discriminación " de Kullback ) se denomina a menudo Principio de entropía cruzada mínima (MCE) o Minxent . ${\ Displaystyle q}$${\ Displaystyle p}$${\ Displaystyle p}$${\ Displaystyle p = q}$${\ displaystyle 0}$${\ Displaystyle \ mathrm {H} (p)}$

Sin embargo, como se discutió en el artículo Divergencia de Kullback-Leibler , a veces la distribución es la distribución de referencia previa fija, y la distribución se optimiza para ser lo más cercana posible, sujeta a alguna restricción. En este caso, las dos minimizaciones no son equivalentes. Esto ha llevado a cierta ambigüedad en la literatura, con algunos autores intentando resolver la inconsistencia redefiniendo la entropía cruzada como ser , en lugar de . ${\ Displaystyle q}$${\ Displaystyle p}$${\ Displaystyle q}$${\ Displaystyle D _ {\ mathrm {KL}} (p \ | q)}$${\ Displaystyle H (p, q)}$

Función de pérdida de entropía cruzada y regresión logística

La entropía cruzada se puede utilizar para definir una función de pérdida en el aprendizaje automático y la optimización . La probabilidad verdadera es la etiqueta verdadera y la distribución dada es el valor predicho del modelo actual. ${\ Displaystyle p_ {i}}$${\ Displaystyle q_ {i}}$

Más específicamente, considere la regresión logística , que (entre otras cosas) se puede utilizar para clasificar las observaciones en dos clases posibles (a menudo simplemente etiquetadas y ). La salida del modelo para una observación dada, dado un vector de características de entrada , se puede interpretar como una probabilidad, que sirve como base para clasificar la observación. La probabilidad se modela usando la función logística donde es alguna función del vector de entrada , comúnmente solo una función lineal. La probabilidad de la salida viene dada por ${\ displaystyle 0}$${\ Displaystyle 1}$${\ Displaystyle x}$ ${\ Displaystyle g (z) = 1 / (1 + e ^ {- z})}$${\ Displaystyle z}$${\ Displaystyle x}$${\ Displaystyle y = 1}$

${\ Displaystyle q_ {y = 1} \ = \ {\ hat {y}} \ \ equiv \ g (\ mathbf {w} \ cdot \ mathbf {x}) \ = 1 / (1 + e ^ {- \ mathbf {w} \ cdot \ mathbf {x}}),}$

donde el vector de pesos se optimiza mediante algún algoritmo apropiado, como el descenso de gradiente . De manera similar, la probabilidad complementaria de encontrar la salida viene dada simplemente por ${\ Displaystyle \ mathbf {w}}$${\ Displaystyle y = 0}$

${\ Displaystyle q_ {y = 0} \ = \ 1 - {\ hat {y}}}$

Habiendo configurado nuestra notación, y , podemos usar la entropía cruzada para obtener una medida de disimilitud entre y : ${\ Displaystyle p \ in \ {y, 1-y \}}$${\ Displaystyle q \ in \ {{\ hat {y}}, 1 - {\ hat {y}} \}}$${\ Displaystyle p}$${\ Displaystyle q}$

${\ Displaystyle H (p, q) \ = \ - \ sum _ {i} p_ {i} \ log q_ {i} \ = \ -y \ log {\ hat {y}} - (1-y) \ log (1 - {\ hat {y}})}$

La regresión logística generalmente optimiza la pérdida de registro para todas las observaciones en las que se entrena, que es lo mismo que optimizar la entropía cruzada promedio en la muestra. Por ejemplo, suponga que tenemos muestras con cada muestra indexada por . El promedio de la función de pérdida viene dado por: ${\ Displaystyle N}$${\ Displaystyle n = 1, \ dots, N}$

${\ Displaystyle {\ begin {alineado} J (\ mathbf {w}) \ & = \ {\ frac {1} {N}} \ sum _ {n = 1} ^ {N} H (p_ {n}, q_ {n}) \ = \ - {\ frac {1} {N}} \ sum _ {n = 1} ^ {N} \ {\ bigg [} y_ {n} \ log {\ hat {y}} _ {n} + (1-y_ {n}) \ log (1 - {\ hat {y}} _ {n}) {\ bigg]} \ ,, \ end {alineado}}}$

donde , con la función logística como antes. ${\ Displaystyle {\ hat {y}} _ {n} \ equiv g (\ mathbf {w} \ cdot \ mathbf {x} _ {n}) = 1 / (1 + e ^ {- \ mathbf {w} \ cdot \ mathbf {x} _ {n}})}$${\ Displaystyle g (z)}$

La pérdida logística a veces se denomina pérdida de entropía cruzada. También se conoce como pérdida de registro (en este caso, la etiqueta binaria a menudo se indica con {-1, + 1}).

Observación: El gradiente de la pérdida de entropía cruzada para la regresión logística es el mismo que el gradiente de la pérdida de error al cuadrado para la regresión lineal . Es decir, definir

${\ displaystyle X ^ {T} = {\ begin {pmatrix} 1 & x_ {11} & \ dots & x_ {1p} \\ 1 & x_ {21} & \ dots & x_ {2p} \\ && \ dots \\ 1 & x_ {n1} & \ dots & x_ {np} \\\ end {pmatrix}} \ in \ mathbb {R} ^ {n \ times (p + 1)}}$

${\ Displaystyle {\ hat {y_ {i}}} = {\ hat {f}} (x_ {i1}, \ dots, x_ {ip}) = {\ frac {1} {1 + exp (- \ beta _ {0} - \ beta _ {1} x_ {i1} - \ dots - \ beta _ {p} x_ {ip})}}}$

${\ Displaystyle L ({\ overrightarrow {\ beta}}) = - \ sum _ {i = 1} ^ {N} [y ^ {i} \ log {\ hat {y}} ^ {i} + (1 -y ^ {i}) \ log (1 - {\ hat {y}} ^ {i})]}$

Entonces tenemos el resultado

${\ displaystyle {\ frac {\ partial} {\ partial {\ overrightarrow {\ beta}}}} L ({\ overrightarrow {\ beta}}) = X ({\ hat {Y}} - Y)}$

La prueba es como sigue. Para cualquiera , tenemos ${\ Displaystyle {\ hat {y}} ^ {i}}$

${\ estilo de visualización {\ frac {\ parcial} {\ parcial \ beta _ {0}}} \ ln {\ frac {1} {1 + e ^ {- \ beta _ {0} + k_ {0}}}} = {\ frac {e ^ {- \ beta _ {0} + k_ {0}}} {1 + e ^ {- \ beta _ {0} + k_ {0}}}}}$

${\ displaystyle {\ frac {\ parcial} {\ parcial \ beta _ {0}}} \ ln \ left (1 - {\ frac {1} {1 + e ^ {- \ beta _ {0} + k_ { 0}}}} \ right) = {\ frac {-1} {1 + e ^ {- \ beta _ {0} + k_ {0}}}}}$

${\ Displaystyle {\ begin {alineado} {\ frac {\ parcial} {\ parcial \ beta _ {0}}} L ({\ overrightarrow {\ beta}}) & = - \ sum _ {i = 1} ^ {N} \ left [{\ frac {y ^ {i} \ cdot e ^ {- \ beta _ {0} + k_ {0}}} {1 + e ^ {- \ beta _ {0} + k_ { 0}}}} - (1-y ^ {i}) {\ frac {1} {1 + e ^ {- \ beta _ {0} + k_ {0}}}} \ right] \\ & = - \ sum _ {i = 1} ^ {N} [y ^ {i} - {\ hat {y}} ^ {i}] = \ sum _ {i = 1} ^ {N} ({\ hat {y }} ^ {i} -y ^ {i}) \ end {alineado}}}$

${\ estilo de visualización {\ frac {\ parcial} {\ parcial \ beta _ {1}}} \ ln {\ frac {1} {1 + e ^ {- \ beta _ {1} x_ {i1} + k_ {1 }}}} = {\ frac {x_ {i1} e ^ {k_ {1}}} {e ^ {\ beta _ {1} x_ {i1}} + e ^ {k_ {1}}}}}$

${\ Displaystyle {\ frac {\ parcial} {\ parcial \ beta _ {1}}} \ ln \ left [1 - {\ frac {1} {1 + e ^ {- \ beta _ {1} x_ {i1 } + k_ {1}}}} \ right] = {\ frac {-x_ {i1} e ^ {\ beta _ {1} x_ {i1}}} {e ^ {\ beta _ {1} x_ {i1 }} + e ^ {k_ {1}}}}}$

${\ displaystyle {\ frac {\ parcial} {\ parcial \ beta _ {1}}} L ({\ overrightarrow {\ beta}}) = - \ sum _ {i = 1} ^ {N} x_ {i1} (y ^ {i} - {\ hat {y}} ^ {i}) = \ sum _ {i = 1} ^ {N} x_ {i1} ({\ hat {y}} ^ {i} -y ^ {i})}$

De manera similar, eventualmente obtenemos el resultado deseado.

Ver también

• Método de entropía cruzada
• Regresión logística
• Entropía condicional
• Estimación de máxima verosimilitud
• Información mutua

Referencias

enlaces externos

• Entropía cruzada