Máquina de vectores de relevancia - Relevance vector machine

Parte de una serie sobre
Aprendizaje automático y minería de datos
Problemas Clasificación Agrupación Regresión Detección de anomalías AutoML reglas de asociación Aprendizaje reforzado Predicción estructurada Ingeniería de características Aprendizaje de funciones Aprender en línea Aprendizaje semi-supervisado Aprendizaje sin supervisión Aprendiendo a clasificar Inducción gramatical
Aprendizaje supervisado ( clasificación  • regresión ) Árboles de decisión Conjuntos Harpillera Impulsando Bosque aleatorio k -NN Regresión lineal Bayes ingenuo Redes neuronales artificiales Regresión logística Perceptrón Máquina de vectores de relevancia (RVM) Máquina de vectores de soporte (SVM)
Agrupación ABEDUL CURA Jerárquico k -significa Expectativa-maximización (EM) DBSCAN ÓPTICA Cambio medio
Reducción de dimensionalidad Análisis factorial CCA ICA LDA NMF PCA PGD t-SNE
Predicción estructurada Modelos graficos Red de Bayes Campo aleatorio condicional Markov oculto
Detección de anomalías k -NN Factor de valor atípico local
Red neuronal artificial Autoencoder Computación cognitiva Aprendizaje profundo DeepDream Perceptrón multicapa RNN LSTM GRU ESN Máquina de Boltzmann restringida GAN SOM Red neuronal convolucional U-Net Transformador Red neuronal en aumento Memtransistor RAM electroquímica (ECRAM)
Aprendizaje reforzado Q-aprendizaje SARSA Diferencia temporal (TD)
Teoría Compensación entre sesgo y varianza Teoría del aprendizaje computacional Minimización de riesgos empíricos Aprendizaje de Occam Aprendizaje PAC Aprendizaje estadístico Teoría de VC
Lugares de aprendizaje automático NeurIPS ICML ML JMLR ArXiv: cs.LG
Artículos relacionados Glosario de inteligencia artificial Lista de conjuntos de datos para la investigación de aprendizaje automático Esquema del aprendizaje automático
v t mi

En matemáticas , una máquina de vectores de relevancia (RVM) es una técnica de aprendizaje automático que utiliza la inferencia bayesiana para obtener soluciones parsimoniosas para la regresión y la clasificación probabilística . El RVM tiene una forma funcional idéntica a la máquina de vectores de soporte , pero proporciona una clasificación probabilística.

En realidad, es equivalente a un modelo de proceso gaussiano con función de covarianza :

${\ Displaystyle k (\ mathbf {x}, \ mathbf {x '}) = \ sum _ {j = 1} ^ {N} {\ frac {1} {\ alpha _ {j}}} \ varphi (\ mathbf {x}, \ mathbf {x} _ {j}) \ varphi (\ mathbf {x} ', \ mathbf {x} _ {j})}$

donde es la función del núcleo (generalmente gaussiana), son las varianzas de la anterior en el vector de peso y son los vectores de entrada del conjunto de entrenamiento . ${\ Displaystyle \ varphi}$${\ Displaystyle \ alpha _ {j}}$${\ Displaystyle w \ sim N (0, \ alpha ^ {- 1} I)}$${\ Displaystyle \ mathbf {x} _ {1}, \ ldots, \ mathbf {x} _ {N}}$

En comparación con la de las máquinas de vectores de soporte (SVM), la formulación bayesiana de la RVM evita el conjunto de parámetros libres de la SVM (que generalmente requieren postoptimizaciones basadas en validación cruzada). Sin embargo, los RVM utilizan un método de aprendizaje similar a la maximización de expectativas (EM) y, por lo tanto, están en riesgo de mínimos locales. Esto es diferente a los algoritmos basados ​​en optimización secuencial mínima estándar (SMO) empleados por SVM , que están garantizados para encontrar un óptimo global (del problema convexo).

La máquina de vectores de relevancia está patentada en los Estados Unidos por Microsoft (patente vencida el 4 de septiembre de 2019).

Ver también

• Truco de kernel
• Escala de Platt : convierte una SVM en un modelo de probabilidad

Referencias

Software

• Biblioteca dlib C ++
• La biblioteca de Kernel-Machine
• rvmbinary : paquete R para clasificación binaria
• scikit-rvm
• tutorial rápido de scikit-rvm , rvm

enlaces externos

• Página web de Tipping sobre modelos bayesianos dispersos y RVM
• Un tutorial sobre RVM por Tristan Fletcher
• Tutorial aplicado sobre RVM
• Comparación de RVM y SVM