Entropía en termodinámica y teoría de la información - Entropy in thermodynamics and information theory

Las expresiones matemáticas para la entropía termodinámica en la formulación de la termodinámica estadística establecida por Ludwig Boltzmann y J. Willard Gibbs en la década de 1870 son similares a la entropía de información de Claude Shannon y Ralph Hartley , desarrollada en la década de 1940.

Equivalencia de forma de las expresiones definitorias

La expresión que define la entropía en la teoría de la mecánica estadística establecida por Ludwig Boltzmann y J. Willard Gibbs en la década de 1870 es de la forma:

${\ Displaystyle S = -k _ {\ text {B}} \ sum _ {i} p_ {i} \ ln p_ {i},}$

donde es la probabilidad del microestado i tomada de un conjunto de equilibrio. ${\ Displaystyle p_ {i}}$

La expresión que define la entropía en la teoría de la información establecida por Claude E. Shannon en 1948 tiene la forma:

${\ Displaystyle H = - \ sum _ {i} p_ {i} \ log _ {b} p_ {i},}$

donde es la probabilidad de que el mensaje se tome del espacio de mensajes M , yb es la base del logaritmo utilizado. Los valores comunes de b son 2, el número de Euler e y 10, y la unidad de entropía es shannon (o bit ) para b  = 2, nat para b  =  e y hartley para b  = 10. ${\ Displaystyle p_ {i}}$${\ Displaystyle m_ {i}}$

Matemáticamente, H también puede verse como una información promedio, tomada sobre el espacio de mensajes, porque cuando un determinado mensaje ocurre con probabilidad p _i , se obtendrá la cantidad de información −log ( p _i ) (llamada contenido de información o autoinformación).

Si todos los microestados son equiprobables (un conjunto microcanónico ), la entropía termodinámica estadística se reduce a la forma, dada por Boltzmann,

${\ Displaystyle S = k _ {\ text {B}} \ ln W,}$

donde W es el número de microestados que corresponde al estado termodinámico macroscópico . Por tanto, S depende de la temperatura.

Si todos los mensajes son equiprobables, la entropía de la información se reduce a la entropía de Hartley.

${\ Displaystyle H = \ log _ {b} | M | \,}$

donde es la cardinalidad del espacio de mensaje M . ${\ Displaystyle | M |}$

El logaritmo en la definición termodinámica es el logaritmo natural . Se puede demostrar que la fórmula de la entropía de Gibbs , con el logaritmo natural, reproduce todas las propiedades de la termodinámica clásica macroscópica de Rudolf Clausius . (Ver artículo: Entropía (vistas estadísticas) ).

El logaritmo también se puede llevar a la base natural en el caso de la entropía de la información. Esto es equivalente a elegir medir la información en nats en lugar de los bits habituales (o más formalmente, shannons). En la práctica, la entropía de la información casi siempre se calcula utilizando logaritmos de base 2, pero esta distinción no equivale a otra cosa que a un cambio de unidades. Un nat equivale aproximadamente a 1,44 vástagos.

Para un sistema compresible simple que solo puede realizar trabajo de volumen, la primera ley de la termodinámica se convierte en

${\ Displaystyle dE = -pdV + TdS.}$

Pero también se puede escribir esta ecuación en términos de lo que los físicos y químicos a veces llaman la entropía 'reducida' o adimensional, σ = S / k , de modo que

${\ Displaystyle dE = -pdV + k _ {\ text {B}} Td \ sigma.}$

Así como S está conjugado con T , entonces σ está conjugado con k _B T (la energía que es característica de T en una escala molecular).

Así, las definiciones de entropía en mecánica estadística (La fórmula de entropía de Gibbs ) y en termodinámica clásica ( y la relación termodinámica fundamental ) son equivalentes para conjunto microcanónico y conjuntos estadísticos que describen un sistema termodinámico en equilibrio con un depósito, como el conjunto canónico. , gran conjunto canónico , conjunto isotérmico-isobárico . Esta equivalencia se muestra comúnmente en los libros de texto. Sin embargo, la equivalencia entre la definición termodinámica de entropía y la entropía de Gibbs no es general, sino una propiedad exclusiva de la distribución de Boltzmann generalizada . ${\ Displaystyle S = -k _ {\ mathrm {B}} \ sum _ {i} p_ {i} \ log p_ {i}}$${\ Displaystyle dS = {\ frac {\ delta Q _ {\ text {rev}}} {T}}}$

Relación teórica

A pesar de lo anterior, existe una diferencia entre las dos cantidades. La entropía de información Η se puede calcular para cualquier distribución de probabilidad (si el "mensaje" se toma como que el evento i que tenía probabilidad p _i ocurrió, fuera del espacio de los eventos posibles), mientras que la entropía termodinámica S se refiere a la termodinámica probabilidades p _i específicamente. Sin embargo, la diferencia es más teórica que real, porque cualquier distribución de probabilidad puede aproximarse arbitrariamente de cerca mediante algún sistema termodinámico.

Además, se puede establecer una conexión directa entre los dos. Si las probabilidades en cuestión son las probabilidades termodinámicas p _i : la entropía de Gibbs (reducida) σ puede verse simplemente como la cantidad de información de Shannon necesaria para definir el estado microscópico detallado del sistema, dada su descripción macroscópica. O, en palabras de GN Lewis escribiendo sobre la entropía química en 1930, "Ganar entropía siempre significa pérdida de información, y nada más". Para ser más concretos, en el caso discreto que usa logaritmos en base dos, la entropía de Gibbs reducida es igual al promedio del número mínimo de preguntas sí-no que se deben responder para especificar completamente el microestado , dado que conocemos el macroestado .

Además, la prescripción para encontrar las distribuciones de equilibrio de la mecánica estadística, como la distribución de Boltzmann, maximizando la entropía de Gibbs sujeta a restricciones apropiadas (el algoritmo de Gibbs ) puede verse como algo no exclusivo de la termodinámica, sino como un principio de relevancia general. en inferencia estadística, si se desea encontrar una distribución de probabilidad no informativa máxima , sujeta a ciertas restricciones sobre sus promedios. (Estas perspectivas se exploran con más detalle en el artículo Termodinámica de máxima entropía ).

La entropía de Shannon en la teoría de la información a veces se expresa en unidades de bits por símbolo. La entropía física puede estar en una base "por cantidad" ( h ) que se llama entropía " intensiva " en lugar de la entropía total habitual que se llama entropía "extensa". Los "shannons" de un mensaje ( Η ) son su entropía de información "extensa" total y es h multiplicado por el número de bits del mensaje.

Se puede encontrar una relación directa y físicamente real entre h y S asignando un símbolo a cada microestado que ocurre por mol, kilogramo, volumen o partícula de una sustancia homogénea, luego calculando la 'h' de estos símbolos. Por teoría o por observación, los símbolos (microestados) ocurrirán con diferentes probabilidades y esto determinará h . Si hay N moles, kilogramos, volúmenes o partículas de la sustancia unitaria, la relación entre h (en bits por sustancia unitaria) y la entropía física extensa en nats es:

${\ Displaystyle S = k _ {\ mathrm {B}} \ ln (2) Nh}$

donde ln (2) es el factor de conversión de la base 2 de la entropía de Shannon a la base natural e de la entropía física. N h es la cantidad de información en bits necesarios para describir el estado de un sistema físico con la entropía S . El principio de Landauer demuestra la realidad de esto al establecer la energía mínima E requerida (y por lo tanto el calor Q generado) mediante un cambio de memoria idealmente eficiente o una operación lógica al borrar o fusionar irreversiblemente N h bits de información serán S veces la temperatura que es

${\ Displaystyle E = Q = Tk _ {\ mathrm {B}} \ ln (2) Nh,}$

donde h está en bits informativos y E y Q están en julios físicos. Esto se ha confirmado experimentalmente.

La temperatura es una medida de la energía cinética promedio por partícula en un gas ideal (kelvins = 2/3joules / k _B ) por lo que las unidades J / K de k _B son adimensionales (joule / joule). k _b es el factor de conversión de energía en3/2 kelvin a julios para un gas ideal. Si las medidas de energía cinética por partícula de un gas ideal se expresaran en julios en lugar de kelvin, k _b en las ecuaciones anteriores se reemplazaría por 3/2. Esto muestra que S es una verdadera medida estadística de microestados que no tiene una unidad física fundamental distinta de las unidades de información, en este caso nats, que es solo un enunciado de qué base de logaritmos se eligió por convención.

La información es física

El motor de Szilard

Leó Szilárd estableció en 1929 un experimento mental físico que demuestra cómo la simple posesión de información podría tener, en principio, consecuencias termodinámicas , en un refinamiento del famoso escenario demoníaco de Maxwell .

Considere la configuración de Maxwell, pero con una sola partícula de gas en una caja. Si el demonio sobrenatural sabe en qué mitad de la caja se encuentra la partícula (equivalente a un solo bit de información), puede cerrar un obturador entre las dos mitades de la caja, cerrar un pistón sin oposición en la mitad vacía de la caja y luego extraiga julios de trabajo útil si se vuelve a abrir la persiana. A continuación, se puede dejar que la partícula se expanda isotérmicamente de nuevo a su volumen original de equilibrio ocupado. Por lo tanto, en las circunstancias adecuadas, la posesión de un solo bit de información de Shannon (un solo bit de negentropía en el término de Brillouin) realmente corresponde a una reducción en la entropía del sistema físico. La entropía global no disminuye, pero es posible obtener información para la conversión de energía libre. ${\ Displaystyle k _ {\ text {B}} T \ ln 2}$

Usando un microscopio de contraste de fase equipado con una cámara de alta velocidad conectada a una computadora, como demonio , el principio se ha demostrado realmente. En este experimento, la conversión de información a energía se realiza en una partícula browniana mediante control de retroalimentación ; es decir, sincronizar el trabajo dado a la partícula con la información obtenida sobre su posición. Al calcular los balances de energía para diferentes protocolos de retroalimentación, se ha confirmado que la igualdad de Jarzynski requiere una generalización que dé cuenta de la cantidad de información involucrada en la retroalimentación.

Principio de Landauer

De hecho, se puede generalizar: cualquier información que tenga una representación física debe integrarse de alguna manera en los grados de libertad mecánicos estadísticos de un sistema físico.

Por lo tanto, Rolf Landauer argumentó en 1961, si uno imaginara comenzar con esos grados de libertad en un estado termalizado, habría una reducción real en la entropía termodinámica si luego se restablecieran a un estado conocido. Esto solo se puede lograr bajo una dinámica microscópicamente determinista que preserva la información si la incertidumbre se vierte de alguna manera en otro lugar, es decir, si la entropía del entorno (o los grados de libertad que no contienen información) aumenta en al menos una cantidad equivalente, según sea necesario. según la Segunda Ley, obteniendo una cantidad apropiada de calor: específicamente kT  ln 2 de calor por cada bit de aleatoriedad borrado.

Por otro lado, argumentó Landauer, no hay objeción termodinámica a que una operación lógicamente reversible se logre potencialmente de una manera físicamente reversible en el sistema. Son solo operaciones lógicamente irreversibles, por ejemplo, el borrado de un bit a un estado conocido o la fusión de dos rutas de cálculo, que deben ir acompañadas de un aumento de entropía correspondiente. Cuando la información es física, todo el procesamiento de sus representaciones, es decir, la generación, codificación, transmisión, decodificación e interpretación, son procesos naturales donde la entropía aumenta por el consumo de energía libre.

Aplicado al escenario del motor demonio / Szilard de Maxwell, esto sugiere que podría ser posible "leer" el estado de la partícula en un aparato informático sin costo de entropía; pero solo si el aparato ya ha sido AJUSTADO en un estado conocido, en lugar de estar en un estado termolizado de incertidumbre. Para AJUSTAR (o REINICIAR ) el aparato en este estado costará toda la entropía que se puede salvar al conocer el estado de la partícula de Szilard.

Negentropía

La entropía de Shannon ha sido relacionada por el físico Léon Brillouin con un concepto a veces llamado negentropía . En 1953, Brillouin derivó una ecuación general que indica que el cambio de un valor de bit de información requiere al menos kT  ln (2) energía. Esta es la misma energía que el trabajo que produce el motor de Leo Szilard en el caso idealista, que a su vez equivale a la misma cantidad encontrada por Landauer . En su libro, exploró más a fondo este problema y concluyó que cualquier causa de un cambio de valor de bit (medición, decisión sobre una pregunta de sí / no, borrado, visualización, etc.) requerirá la misma cantidad, kT  ln (2), de energía. . En consecuencia, adquirir información sobre los microestados de un sistema se asocia con una producción de entropía, mientras que el borrado produce la producción de entropía solo cuando el valor del bit está cambiando. Configurar un poco de información en un subsistema originalmente en equilibrio térmico da como resultado una reducción de la entropía local. Sin embargo, no hay violación de la segunda ley de la termodinámica, según Brillouin, ya que una reducción en la entropía termodinámica de cualquier sistema local da como resultado un aumento de la entropía termodinámica en otros lugares. De esta manera, Brillouin aclaró el significado de negentropía que se consideró controvertido porque su comprensión anterior puede producir una eficiencia de Carnot superior a uno. Además, la relación entre energía e información formulada por Brillouin se ha propuesto como una conexión entre la cantidad de bits que procesa el cerebro y la energía que consume: Collell y Fauquet argumentaron que De Castro encontró analíticamente el límite de Landauer como el límite inferior termodinámico para cálculos cerebrales. Sin embargo, aunque se supone que la evolución ha "seleccionado" los procesos energéticamente más eficientes, los límites físicos inferiores no son cantidades realistas en el cerebro. En primer lugar, porque la unidad mínima de procesamiento considerada en física es el átomo / molécula, que está distante de la forma real en que opera el cerebro; y, en segundo lugar, porque las redes neuronales incorporan importantes factores de redundancia y ruido que reducen enormemente su eficiencia. Laughlin y col. fue el primero en proporcionar cantidades explícitas para el costo energético de procesar información sensorial. Sus hallazgos en moscas azules revelaron que para los datos sensoriales visuales, el costo de transmitir un bit de información es de alrededor de 5 x 10 ^-14 Joules, o equivalente 10 ⁴ moléculas de ATP. Por lo tanto, la eficiencia del procesamiento neuronal aún está lejos del límite de Landauer de kTln (2) J, pero como dato curioso, sigue siendo mucho más eficiente que las computadoras modernas.

En 2009, Mahulikar & Herwig redefinieron la negentropía termodinámica como el déficit de entropía específico del subsistema ordenado dinámicamente en relación con su entorno. Esta definición permitió la formulación del Principio de Negentropía , que se muestra matemáticamente que se sigue de la Segunda Ley de la Termodinámica, durante la existencia del orden.

Agujeros negros

Stephen Hawking habló a menudo de la entropía termodinámica de los agujeros negros en términos de su contenido de información. ¿Los agujeros negros destruyen la información? Parece que existen profundas relaciones entre la entropía de un agujero negro y la pérdida de información. Consulte Termodinámica de los agujeros negros y Paradoja de la información de los agujeros negros .

Teoría cuántica

Hirschman mostró, cf. Incertidumbre de Hirschman , que el principio de incertidumbre de Heisenberg se puede expresar como un límite inferior particular en la suma de las entropías de distribución clásicas de las distribuciones de probabilidad observables cuánticas de un estado mecánico cuántico, el cuadrado de la función de onda, en coordenadas, y también en el espacio de momento. , cuando se expresa en unidades Planck . Las desigualdades resultantes proporcionan un límite más estricto a las relaciones de incertidumbre de Heisenberg.

Es significativo asignar una " entropía conjunta ", porque las posiciones y los momentos son variables conjugadas cuánticas y, por lo tanto, no son observables de forma conjunta. Matemáticamente, deben tratarse como distribución conjunta . Tenga en cuenta que esta entropía conjunta no es equivalente a la entropía de Von Neumann , -Tr ρ ln ρ = -⟨ln ρ ⟩. Se dice que la entropía de Hirschman explica todo el contenido de información de una mezcla de estados cuánticos .

(La insatisfacción con la entropía de Von Neumann desde el punto de vista de la información cuántica ha sido expresada por Stotland, Pomeransky, Bachmat y Cohen, quienes han introducido una definición aún diferente de entropía que refleja la incertidumbre inherente de los estados de la mecánica cuántica. Esta definición permite distinguir entre los estados de la mecánica cuántica. la entropía mínima de incertidumbre de los estados puros y el exceso de entropía estadística de las mezclas).

El teorema de la fluctuación

El teorema de la fluctuación proporciona una justificación matemática de la segunda ley de la termodinámica bajo estos principios, y define con precisión las limitaciones de la aplicabilidad de esa ley para sistemas fuera del equilibrio termodinámico.

Crítica

Existen críticas al vínculo entre la entropía termodinámica y la entropía de la información.

La crítica más común es que la entropía de la información no puede relacionarse con la entropía termodinámica porque no existe un concepto de temperatura, energía o la segunda ley en la disciplina de la entropía de la información. Esto se puede discutir mejor considerando la ecuación fundamental de la termodinámica :

${\ Displaystyle dU = \ sum F_ {i} \, dx_ {i}}$

donde las F _i son "fuerzas generalizadas" y las dx _i son "desplazamientos generalizados". Esto es análogo a la ecuación mecánica dE = F dx donde dE es el cambio en la energía cinética de un objeto que tiene sido desplazado por la distancia dx bajo la influencia de la fuerza F . Por ejemplo, para un gas simple, tenemos:

${\ Displaystyle dU = TdS-PdV + \ mu dN}$

donde la temperatura ( T ), la presión ( P ) y el potencial químico ( μ ) son fuerzas generalizadas que, cuando están desequilibradas, dan como resultado un desplazamiento generalizado en la entropía ( S ), el volumen ( -V ) y la cantidad ( N ) respectivamente, y los productos de las fuerzas y los desplazamientos producen el cambio en la energía interna ( dU ) del gas.

En el ejemplo mecánico, declarar que dx no es un desplazamiento geométrico porque ignora la relación dinámica entre desplazamiento, fuerza y ​​energía no es correcto. El desplazamiento, como concepto en geometría, no requiere los conceptos de energía y fuerza para su definición, por lo que uno podría esperar que la entropía no requiera los conceptos de energía y temperatura para su definición. Sin embargo, la situación no es tan simple. En la termodinámica clásica, que es el estudio de la termodinámica desde un punto de vista puramente empírico o de medición, la entropía termodinámica solo se puede medir considerando la energía y la temperatura. El enunciado de Clausius dS = δQ / T o, de manera equivalente, cuando todos los demás desplazamientos efectivos son cero, dS = dU / T , es la única forma de medir realmente la entropía termodinámica. Solo con la introducción de la mecánica estadística , el punto de vista de que un sistema termodinámico consiste en una colección de partículas y que explica la termodinámica clásica en términos de distribuciones de probabilidad, la entropía puede considerarse por separado de la temperatura y la energía. Esto se expresa en la famosa fórmula de entropía de Boltzmann S = k _B ln (W) . Aquí k _B es la constante de Boltzmann y W es el número de microestados igualmente probables que producen un estado termodinámico particular, o macroestado.

Se supone que la ecuación de Boltzmann proporciona un vínculo entre la entropía termodinámica S y la entropía de información H = −Σi pi ln pi = ln (W) donde p _i = 1 / W son las probabilidades iguales de un microestado dado. Esta interpretación también ha sido criticada. Si bien algunos dicen que la ecuación es simplemente una ecuación de conversión de unidades entre termodinámica y entropía de información, esto no es completamente correcto. Una ecuación de conversión de unidades, por ejemplo, cambiará pulgadas a centímetros y producirá dos medidas en diferentes unidades de la misma cantidad física (longitud). Dado que la termodinámica y la entropía de la información son dimensionalmente desiguales (energía / unidad de temperatura frente a unidades de información), la ecuación de Boltzmann es más parecida a x = ct donde x es la distancia recorrida por un haz de luz en el tiempo t , siendo c la velocidad de la luz. Si bien no podemos decir que la longitud x y el tiempo t representen la misma cantidad física, podemos decir que, en el caso de un haz de luz, dado que c es una constante universal, proporcionarán medidas perfectamente precisas entre sí. (Por ejemplo, el año luz se utiliza como medida de distancia). Asimismo, en el caso de la ecuación de Boltzmann, si bien no podemos decir que la entropía termodinámica S y la entropía de información H representan la misma cantidad física, podemos decir que, en el caso de un sistema termodinámico, dado que k _B es una constante universal, serán proporcionan medidas perfectamente precisas entre sí.

Por tanto, queda la cuestión de si ln (W) es una cantidad de teoría de la información. Si se mide en bits, se puede decir que, dado el macroestado, representa el promedio del número mínimo de preguntas sí / no que se deben hacer para determinar el microestado, un concepto claramente teórico de la información. Los objetantes señalan que tal proceso es puramente conceptual y no tiene nada que ver con la medición de la entropía. Por otra parte, toda la mecánica estadística es puramente conceptual y sólo sirve para proporcionar una explicación de la ciencia "pura" de la termodinámica.

En última instancia, la crítica al vínculo entre la entropía termodinámica y la entropía de la información es una cuestión de terminología, más que de sustancia. Ninguna de las partes de la controversia estará en desacuerdo sobre la solución a un problema termodinámico o teórico de la información en particular.

Temas de investigación reciente

¿Se cuantifica la información?

En 1995, Tim Palmer señaló dos suposiciones no escritas sobre la definición de información de Shannon que pueden hacerla inaplicable como tal a la mecánica cuántica :

• La suposición de que existe un estado observable (por ejemplo, la cara superior de un dado o una moneda) antes de que comience la observación
• El hecho de que conocer este estado no depende del orden en que se hagan las observaciones ( conmutatividad )

El artículo de Anton Zeilinger y Caslav Brukner sintetizó y desarrolló estas observaciones. El llamado principio de Zeilinger sugiere que la cuantificación observada en QM podría estar ligada a la cuantificación de la información (no se puede observar menos de un bit, y lo que no se observa es, por definición, "aleatorio"). Sin embargo, estas afirmaciones siguen siendo bastante controvertidas. Se han publicado discusiones detalladas sobre la aplicabilidad de la información de Shannon en mecánica cuántica y un argumento de que el principio de Zeilinger no puede explicar la cuantificación, que muestran que Brukner y Zeilinger cambian, en medio del cálculo en su artículo, los valores numéricos de las probabilidades necesarias. para calcular la entropía de Shannon, por lo que el cálculo tiene poco sentido.

Extrayendo trabajo de información cuántica en un motor Szilárd

En 2013, se publicó una descripción de una versión de dos átomos de un motor Szilárd que utiliza la discordia cuántica para generar trabajo a partir de información puramente cuántica. Se sugirieron refinamientos en el límite inferior de temperatura.

Enfriamiento algorítmico

El enfriamiento algorítmico es un método algorítmico para transferir calor (o entropía) de algunos qubits a otros o fuera del sistema y al medio ambiente, lo que resulta en un efecto de enfriamiento. Este efecto de enfriamiento puede tener usos en la inicialización de qubits fríos (muy puros) para la computación cuántica y en el aumento de la polarización de ciertos espines en resonancia magnética nuclear .

Ver también

Referencias

Referencias adicionales

enlaces externos

• Procesamiento de información y entropía termodinámica Stanford Encyclopedia of Philosophy.
• Una guía intuitiva sobre el concepto de entropía que surge en varios sectores de la ciencia : un wikilibro sobre la interpretación del concepto de entropía.