Modelo gráfico - Graphical model

Parte de una serie sobre
Aprendizaje automático y minería de datos
Problemas Clasificación Agrupación Regresión Detección de anomalías Limpieza de datos AutoML reglas de asociación Aprendizaje reforzado Predicción estructurada Ingeniería de características Aprendizaje de funciones Aprender en línea Aprendizaje semi-supervisado Aprendizaje sin supervisión Aprendiendo a clasificar Inducción gramatical
Aprendizaje supervisado ( clasificación  • regresión ) Árboles de decisión Conjuntos Harpillera Impulso Bosque aleatorio k -NN Regresión lineal Bayes ingenuo Redes neuronales artificiales Regresión logística Perceptrón Máquina de vectores de relevancia (RVM) Máquina de vectores de soporte (SVM)
Agrupación ABEDUL CURA Jerárquico k -significa Expectativa-maximización (EM) DBSCAN ÓPTICA Cambio medio
Reducción de dimensionalidad Análisis factorial CCA ICA LDA NMF PCA PGD t-SNE
Predicción estructurada Modelos graficos Red de Bayes Campo aleatorio condicional Markov oculto
Detección de anomalías k -NN Factor de valor atípico local
Red neuronal artificial Autoencoder Computación cognitiva Aprendizaje profundo DeepDream Perceptrón multicapa RNN LSTM GRU ESN Máquina de Boltzmann restringida GAN SOM Red neuronal convolucional U-Net Transformador Red neuronal en aumento Memtransistor RAM electroquímica (ECRAM)
Aprendizaje reforzado Q-aprendizaje SARSA Diferencia temporal (TD)
Teoría Compensación entre sesgo y varianza Teoría del aprendizaje computacional Minimización de riesgos empíricos Aprendizaje de Occam Aprendizaje PAC Aprendizaje estadístico Teoría de VC
Lugares de aprendizaje automático NeurIPS ICML ML JMLR ArXiv: cs.LG
Artículos relacionados Glosario de inteligencia artificial Lista de conjuntos de datos para la investigación de aprendizaje automático Esquema del aprendizaje automático
v t mi

Un modelo gráfico o modelo gráfico probabilístico ( PGM ) o modelo probabilístico estructurado es un modelo probabilístico para el cual un gráfico expresa la estructura de dependencia condicional entre variables aleatorias . Se utilizan comúnmente en la teoría de la probabilidad , la estadística , en particular la estadística bayesiana, y el aprendizaje automático .

Tipos de modelos gráficos

Generalmente, los modelos gráficos probabilísticos utilizan una representación basada en gráficos como base para codificar una distribución en un espacio multidimensional y un gráfico que es una representación compacta o factorizada de un conjunto de independientes que se mantienen en la distribución específica. Se utilizan comúnmente dos ramas de representaciones gráficas de distribuciones, a saber, redes bayesianas y campos aleatorios de Markov . Ambas familias engloban las propiedades de factorización e independencia, pero se diferencian en el conjunto de independencia que pueden codificar y la factorización de la distribución que inducen.

Modelo gráfico no dirigido

Un gráfico no dirigido con cuatro vértices.

El gráfico no dirigido que se muestra puede tener una de varias interpretaciones; la característica común es que la presencia de un borde implica algún tipo de dependencia entre las correspondientes variables aleatorias. De este gráfico podríamos deducir que todos son mutuamente independientes, una vez que se conoce, o (de manera equivalente en este caso) que ${\ Displaystyle B, C, D}$${\ Displaystyle A}$

${\ Displaystyle P [A, B, C, D] = f_ {AB} [A, B] \ cdot f_ {AC} [A, C] \ cdot f_ {AD} [A, D]}$

para algunas funciones no negativas . ${\ Displaystyle f_ {AB}, f_ {AC}, f_ {AD}}$

Red bayesiana

Ejemplo de grafo acíclico dirigido sobre cuatro vértices.

Si la estructura de red del modelo es un gráfico acíclico dirigido , el modelo representa una factorización de la probabilidad conjunta de todas las variables aleatorias. Más precisamente, si los eventos son, entonces la probabilidad conjunta satisface ${\ Displaystyle X_ {1}, \ ldots, X_ {n}}$

${\ Displaystyle P [X_ {1}, \ ldots, X_ {n}] = \ prod _ {i = 1} ^ {n} P [X_ {i} | {\ text {pa}} (X_ {i} )]}$

donde es el conjunto de padres del nodo (nodos con bordes dirigidos hacia ). En otras palabras, la distribución conjunta se convierte en un producto de distribuciones condicionales. Por ejemplo, en el gráfico acíclico dirigido que se muestra en la Figura, esta factorización sería ${\ Displaystyle {\ text {pa}} (X_ {i})}$${\ Displaystyle X_ {i}}$${\ Displaystyle X_ {i}}$

${\ Displaystyle P [A, B, C, D] = P [A] \ cdot P [B | A] \ cdot P [C | A] \ cdot P [D | A, C]}$.

Dos nodos cualesquiera son condicionalmente independientes dados los valores de sus padres. En general, cualesquiera dos conjuntos de nodos son condicionalmente independientes dado un tercer conjunto si se cumple un criterio llamado d -separación en el gráfico. Las independientes locales y las independientes globales son equivalentes en las redes bayesianas.

Este tipo de modelo gráfico se conoce como modelo gráfico dirigido, red bayesiana o red de creencias. Los modelos clásicos de aprendizaje automático como los modelos ocultos de Markov , las redes neuronales y los modelos más nuevos, como los modelos de Markov de orden variable, pueden considerarse casos especiales de redes bayesianas.

Modelos gráficos cíclicos dirigidos

Un ejemplo de modelo gráfico cíclico dirigido. Cada flecha indica una dependencia. En este ejemplo: D depende de A, B y C; y C depende de B y D; mientras que A y B son independientes.

La siguiente figura muestra un modelo gráfico con un ciclo. Esto puede interpretarse en términos de cada variable "dependiendo" de los valores de sus padres de alguna manera. El gráfico particular que se muestra sugiere una densidad de probabilidad conjunta que se factoriza como

${\ Displaystyle P [A, B, C, D] = P [A] \ cdot P [B] \ cdot P [C, D | A, B]}$,

pero son posibles otras interpretaciones.

Otros tipos

• Clasificador Naive Bayes donde usamos un árbol con una sola raíz
• Red de dependencia donde se permiten ciclos
• Clasificador de árbol aumentado o modelo TAN
• Un gráfico de factores es un gráfico bipartito no dirigido que conecta variables y factores. Cada factor representa una función sobre las variables a las que está conectado. Esta es una representación útil para comprender e implementar la propagación de creencias .
• Un árbol de camarillas o árbol de unión es un árbol de camarillas , que se utiliza en el algoritmo del árbol de unión .
• Un gráfico de cadena es un gráfico que puede tener bordes tanto dirigidos como no dirigidos, pero sin ciclos dirigidos (es decir, si comenzamos en cualquier vértice y nos movemos a lo largo del gráfico respetando las direcciones de las flechas, no podemos regresar al vértice desde el que comenzamos si hemos pasado una flecha). Tanto los gráficos acíclicos dirigidos como los gráficos no dirigidos son casos especiales de gráficos de cadena, que por lo tanto pueden proporcionar una forma de unificar y generalizar las redes bayesianas y de Markov.
• Un gráfico ancestral es una extensión adicional, que tiene bordes dirigidos, bidireccionales y no dirigidos.
• Técnicas de campo aleatorio
  • Un campo aleatorio de Markov , también conocido como red de Markov, es un modelo sobre un gráfico no dirigido . Un modelo gráfico con muchas subunidades repetidas se puede representar con notación de placa .
  • Un campo aleatorio condicional es un modelo discriminativo especificado sobre un gráfico no dirigido.
• Una máquina de Boltzmann restringida es un modelo generativo bipartito especificado sobre un gráfico no dirigido.

Aplicaciones

El marco de los modelos, que proporciona algoritmos para descubrir y analizar la estructura en distribuciones complejas para describirlas de manera sucinta y extraer la información no estructurada, permite que se construyan y utilicen de manera efectiva. Las aplicaciones de modelos gráficos incluyen inferencia causal , extracción de información , reconocimiento de voz , visión por computadora , decodificación de códigos de verificación de paridad de baja densidad , modelado de redes reguladoras de genes , detección de genes y diagnóstico de enfermedades y modelos gráficos para la estructura de proteínas .

Ver también

• Propagación de la creencia
• Modelo de ecuación estructural

Notas

Otras lecturas

Libros y capítulos de libros

• Barbero, David (2012). Razonamiento bayesiano y aprendizaje automático . Prensa de la Universidad de Cambridge. ISBN 978-0-521-51814-7.

• Obispo, Christopher M. (2006). "Capítulo 8. Modelos gráficos" (PDF) . Reconocimiento de patrones y aprendizaje automático . Saltador. págs. 359–422. ISBN 978-0-387-31073-2. Señor  2247587 .
• Cowell, Robert G .; Dawid, A. Philip ; Lauritzen, Steffen L .; Spiegelhalter, David J. (1999). Redes probabilísticas y sistemas expertos . Berlín: Springer. ISBN 978-0-387-98767-5. Señor  1697175 . Un libro más avanzado y con orientación estadística
• Jensen, Finn (1996). Introducción a las redes bayesianas . Berlín: Springer. ISBN 978-0-387-91502-9.
• Pearl, Judea (1988). Razonamiento probabilístico en sistemas inteligentes (2ª ed. Revisada). San Mateo, CA: Morgan Kaufmann . ISBN 978-1-55860-479-7. Señor  0965765 . Un enfoque de razonamiento computacional, donde se introdujeron formalmente las relaciones entre gráficos y probabilidades.

artículos periodísticos

• Edoardo M. Airoldi (2007). "Introducción a los modelos gráficos probabilísticos" . PLOS Biología Computacional . 3 (12): e252. arXiv : 0706.2040 . Código Bibliográfico : 2007PLSCB ... 3..252A . doi : 10.1371 / journal.pcbi.0030252 . PMC  2134967 . PMID  18069887 .
• Jordan, MI (2004). "Modelos gráficos" . Ciencia estadística . 19 : 140-155. doi : 10.1214 / 088342304000000026 .
• Ghahramani, Zoubin (mayo de 2015). "Aprendizaje probabilístico de máquina e inteligencia artificial" . Naturaleza . 521 (7553): 452–459. Código Bib : 2015Natur.521..452G . doi : 10.1038 / nature14541 . PMID  26017444 . S2CID  216356 .

Otro

• Tutorial de aprendizaje de Bayes Net de Heckerman
• Una breve introducción a los modelos gráficos y las redes bayesianas
• La conferencia de Sargur Srihari se desliza sobre modelos gráficos probabilísticos

enlaces externos

• Modelos gráficos y campos aleatorios condicionales
• Modelos gráficos probabilísticos impartidos por Eric Xing en CMU