Independencia (teoría de la probabilidad) - Independence (probability theory)

La independencia es una noción fundamental en la teoría de la probabilidad , como en la estadística y la teoría de procesos estocásticos .

Dos eventos son independientes , estadísticamente independientes o estocásticamente independientes si la ocurrencia de uno no afecta la probabilidad de ocurrencia del otro (de manera equivalente, no afecta las probabilidades ). De manera similar, dos variables aleatorias son independientes si la realización de una no afecta la distribución de probabilidad de la otra.

Cuando se trata de colecciones de más de dos eventos, es necesario distinguir una noción de independencia débil y una fuerte. Los eventos se denominan independientes por pares si dos eventos de la colección son independientes entre sí, mientras que decir que los eventos son mutuamente independientes (o colectivamente independientes ) significa intuitivamente que cada evento es independiente de cualquier combinación de otros eventos de la colección. Existe una noción similar para las colecciones de variables aleatorias.

El nombre "independencia mutua" (lo mismo que "independencia colectiva") parece el resultado de una elección educativa, simplemente para distinguir la noción más fuerte de la "independencia por parejas", que es una noción más débil. En la literatura avanzada de la teoría de la probabilidad, la estadística y los procesos estocásticos, la noción más fuerte se llama simplemente independencia sin modificador. Es más fuerte ya que la independencia implica independencia por pares, pero no al revés.

Definición

Para eventos

Dos eventos

Dos eventos y son independientes (a menudo escritos como o ) si y solo si su probabilidad conjunta es igual al producto de sus probabilidades:

 

 

 

 

( Ecuación 1 )

Por qué esto define la independencia se aclara reescribiendo con probabilidades condicionales :

y de manera similar

Por lo tanto, la ocurrencia de no afecta la probabilidad de y viceversa. Aunque las expresiones derivadas pueden parecer más intuitivas, no son la definición preferida, ya que las probabilidades condicionales pueden no estar definidas si o son 0. Además, la definición preferida deja claro por simetría que cuando es independiente de , también es independiente de .

Contenido de información y probabilidad de registro

Expresado en términos de probabilidad logarítmica , dos eventos son independientes si y solo si la probabilidad logarítmica del evento conjunto es la suma de la probabilidad logarítmica de los eventos individuales:

En la teoría de la información , la probabilidad logarítmica negativa se interpreta como contenido de información y, por lo tanto, dos eventos son independientes si y solo si el contenido de información del evento combinado es igual a la suma del contenido de información de los eventos individuales:

Consulte Contenido de la información § Aditividad de eventos independientes para obtener más detalles.

Impares

Expresado en términos de probabilidades , dos eventos son independientes si y solo si la razón de probabilidades de y es la unidad (1). De manera análoga a la probabilidad, esto equivale a que las probabilidades condicionales sean iguales a las probabilidades incondicionales:

o que las probabilidades de un evento, dado el otro evento, sean las mismas que las probabilidades del evento, dado que el otro evento no ocurre:

La razón de posibilidades se puede definir como

o simétricamente para probabilidades de dadas , y por lo tanto es 1 si y solo si los eventos son independientes.

Más de dos eventos

Un conjunto finito de eventos es independiente por pares si cada par de eventos es independiente, es decir, si y solo si para todos los pares distintos de índices ,

 

 

 

 

( Ecuación 2 )

Un conjunto finito de eventos es mutuamente independiente si cada evento es independiente de cualquier intersección de los otros eventos, es decir, si y solo si para todos y para cada subconjunto de eventos de elementos de ,

 

 

 

 

( Ecuación 3 )

Esto se llama regla de multiplicación para eventos independientes. Tenga en cuenta que no es una condición única que involucra solo el producto de todas las probabilidades de todos los eventos individuales; debe ser cierto para todos los subconjuntos de eventos.

Para más de dos eventos, un conjunto de eventos mutuamente independientes es (por definición) independiente por pares; pero lo contrario no es necesariamente cierto .

Para variables aleatorias de valor real

Dos variables aleatorias

Dos variables aleatorias y son independientes si y solo si (sif) los elementos del sistema π generados por ellas son independientes; es decir, para todos y , los eventos y son eventos independientes (como se definió anteriormente en la Ec . 1). Es decir, y con funciones de distribución acumulativas y , son independientes si la variable aleatoria combinada tiene una función de distribución acumulada conjunta

 

 

 

 

( Ecuación 4 )

o de manera equivalente, si las densidades de probabilidad y y la densidad de probabilidad conjunta existir,

Más de dos variables aleatorias

Un conjunto finito de variables aleatorias es independiente por pares si y solo si cada par de variables aleatorias es independiente. Incluso si el conjunto de variables aleatorias es independiente por pares, no es necesariamente independiente entre sí como se define a continuación.

Un conjunto finito de variables aleatorias es mutuamente independiente si y solo si para cualquier secuencia de números , los eventos son eventos mutuamente independientes (como se definió anteriormente en la ecuación 3 ). Esto es equivalente a la siguiente condición en la función de distribución acumulativa conjunta . Un conjunto finito de variables aleatorias es mutuamente independiente si y solo si

 

 

 

 

( Ecuación 5 )

Tenga en cuenta que no es necesario aquí para exigir que la distribución de probabilidad se factoriza para todos los posibles -elemento subconjuntos como en el caso de eventos. Esto no es necesario porque, por ejemplo, implica .

Los inclinados a la teoría de la medida pueden preferir sustituir eventos por eventos en la definición anterior, donde es cualquier conjunto de Borel . Esa definición es exactamente equivalente a la anterior cuando los valores de las variables aleatorias son números reales . Tiene la ventaja de trabajar también para variables aleatorias de valor complejo o para variables aleatorias que toman valores en cualquier espacio medible (que incluye espacios topológicos dotados de σ-álgebras apropiadas).

Para vectores aleatorios de valor real

Dos vectores aleatorios y se llaman independientes si

 

 

 

 

( Ecuación 6 )

donde y denota las funciones de distribución acumulativa de y y denota su función de distribución acumulada conjunta. Independencia de ya menudo se denota por . Escrito por componentes, y se llaman independientes si

Para procesos estocásticos

Para un proceso estocástico

La definición de independencia puede extenderse de vectores aleatorios a un proceso estocástico . Por lo tanto, para un proceso estocástico independiente se requiere que las variables aleatorias obtenidas al muestrear el proceso en cualquier momento sean variables aleatorias independientes para cualquier .

Formalmente, un proceso estocástico se llama independiente, si y solo si para todos y para todos

 

 

 

 

( Ecuación 7 )

donde . La independencia de un proceso estocástico es una propiedad dentro de un proceso estocástico, no entre dos procesos estocásticos.

Para dos procesos estocásticos

La independencia de dos procesos estocásticos es una propiedad entre dos procesos estocásticos y que se definen en el mismo espacio de probabilidad . Formalmente, dos procesos estocásticos y se dice que son independientes si para todos y para todos , los vectores aleatorios y son independientes, es decir, si

 

 

 

 

( Ecuación 8 )

Σ-álgebras independientes

Las definiciones anteriores ( ecuación 1 y ecuación 2 ) están generalizadas por la siguiente definición de independencia para σ-álgebras . Sea un espacio de probabilidad y sean y dos sub-σ-álgebras de . y se dice que son independientes si, siempre que y ,

Asimismo, una familia finita de σ-álgebras , donde es un conjunto de índices , se dice que es independiente si y solo si

y se dice que una familia infinita de σ-álgebras es independiente si todas sus subfamilias finitas son independientes.

La nueva definición se relaciona con las anteriores de manera muy directa:

  • Dos eventos son independientes (en el sentido antiguo) si y solo si las σ-álgebras que generan son independientes (en el nuevo sentido). La σ-álgebra generada por un evento es, por definición,
  • Dos variables aleatorias y definidas sobre son independientes (en el sentido antiguo) si y solo si las σ-álgebras que generan son independientes (en el nuevo sentido). La σ-álgebra generada por una variable aleatoria que toma valores en algún espacio medible consiste, por definición, en todos los subconjuntos de de la forma , donde es cualquier subconjunto medible de .

Usando esta definición, es fácil mostrar que si y son variables aleatorias y es constante, entonces y son independientes, ya que el σ-álgebra generada por una variable aleatoria constante es el σ-álgebra trivial . Los eventos de probabilidad cero no pueden afectar la independencia, por lo que la independencia también es válida si solo Pr- es casi seguro constante.

Propiedades

Autoindependencia

Tenga en cuenta que un evento es independiente de sí mismo si y solo si

Así, un evento es independiente de sí mismo si y sólo si ocurre casi con seguridad o su complemento ocurre casi con certeza; este hecho es útil para probar leyes cero-uno .

Expectativa y covarianza

Si y son variables aleatorias independientes, entonces el operador de expectativa tiene la propiedad

y la covarianza es cero, como se sigue de

No ocurre lo contrario: si dos variables aleatorias tienen una covarianza de 0, es posible que aún no sean independientes. Ver no correlacionado .

De manera similar para dos procesos estocásticos y : Si son independientes, entonces no están correlacionados.

Función característica

Dos variables aleatorias y son independientes si y solo si la función característica del vector aleatorio satisface

En particular, la función característica de su suma es el producto de sus funciones características marginales:

aunque la implicación inversa no es cierta. Las variables aleatorias que satisfacen la última condición se denominan subindependientes .

Ejemplos de

Dados rodantes

El evento de obtener un 6 la primera vez que se lanza un dado y el evento de obtener un 6 la segunda vez son independientes . Por el contrario, el evento de obtener un 6 la primera vez que se lanza un dado y el evento de que la suma de los números vistos en la primera y segunda prueba sea 8 no son independientes.

Tarjetas de dibujo

Si se sacan dos cartas con reemplazo de una baraja de cartas, el evento de sacar una tarjeta roja en el primer intento y el de sacar una tarjeta roja en el segundo intento son independientes . Por el contrario, si se sacan dos cartas sin reemplazo de una baraja de cartas, el evento de sacar una tarjeta roja en el primer intento y el de sacar una tarjeta roja en el segundo intento no son independientes, porque una baraja que ha tenido una roja la tarjeta eliminada tiene proporcionalmente menos tarjetas rojas.

Independencia mutua y por parejas

Eventos independientes por pares, pero no mutuamente independientes.
Eventos mutuamente independientes.

Considere los dos espacios de probabilidad que se muestran. En ambos casos, y . Las variables aleatorias en el primer espacio son independientes dos a dos, porque , y ; pero las tres variables aleatorias no son mutuamente independientes. Las variables aleatorias en el segundo espacio son independientes por pares y mutuamente independientes. Para ilustrar la diferencia, considere el condicionamiento en dos eventos. En el caso independiente por pares, aunque cualquier evento es independiente de cada uno de los otros dos individualmente, no es independiente de la intersección de los otros dos:

En el caso mutuamente independiente, sin embargo,

Independencia mutua

Es posible crear un ejemplo de tres eventos en el que

y, sin embargo, no hay dos de los tres eventos independientes por pares (y, por tanto, el conjunto de eventos no son mutuamente independientes). Este ejemplo muestra que la independencia mutua implica requisitos sobre los productos de las probabilidades de todas las combinaciones de eventos, no solo los eventos individuales como en este ejemplo.

Independencia condicional

Para eventos

Los eventos y son condicionalmente independientes dado un evento cuando

.

Para variables aleatorias

Intuitivamente, dos variables aleatorias y condicionalmente independientes son dadas si, una vez que se conoce, el valor de no agrega ninguna información adicional sobre . Por ejemplo, dos mediciones y de la misma cantidad subyacente no son independientes, pero son condicionalmente independientes dadas (a menos que los errores en las dos mediciones estén conectados de alguna manera).

La definición formal de independencia condicional se basa en la idea de distribuciones condicionales . Si , y son variables aleatorias discretas , entonces definimos y para ser condicionalmente independientes dado si

para todos , y tal que . Por otro lado, si las variables aleatorias son continuas y tienen una función de densidad de probabilidad conjunta , entonces y son condicionalmente independientes dado si

para todos los números reales , y cosas por el estilo .

Si son discretos y condicionalmente independientes dados , entonces

para cualquier , y con . Es decir, la distribución condicional para dado y es la misma que dada sola. Una ecuación similar es válida para las funciones de densidad de probabilidad condicional en el caso continuo.

La independencia puede verse como un tipo especial de independencia condicional, ya que la probabilidad puede verse como un tipo de probabilidad condicional dado que no hay eventos.

Ver también

Referencias

enlaces externos