Aprendizaje multitarea - Multi-task learning

El aprendizaje multitarea (MTL) es un subcampo del aprendizaje automático en el que se resuelven varias tareas de aprendizaje al mismo tiempo, mientras se explotan los puntos en común y las diferencias entre las tareas. Esto puede resultar en una mayor eficiencia de aprendizaje y precisión de predicción para los modelos específicos de la tarea, en comparación con el entrenamiento de los modelos por separado. Las primeras versiones de MTL se llamaban "sugerencias".

En un artículo de 1997 ampliamente citado, Rich Caruana dio la siguiente caracterización:

El aprendizaje multitarea es un enfoque de la transferencia inductiva que mejora la generalización mediante el uso de la información de dominio contenida en las señales de entrenamiento de las tareas relacionadas como un sesgo inductivo . Lo hace aprendiendo tareas en paralelo mientras usa una representación compartida ; lo que se aprende para cada tarea puede ayudar a que otras tareas se aprendan mejor.

En el contexto de la clasificación, MTL tiene como objetivo mejorar el desempeño de múltiples tareas de clasificación aprendiéndolas conjuntamente. Un ejemplo es un filtro de spam, que puede tratarse como tareas de clasificación distintas pero relacionadas entre diferentes usuarios. Para hacer esto más concreto, considere que diferentes personas tienen diferentes distribuciones de características que distinguen los correos electrónicos no deseados de los legítimos, por ejemplo, un hablante de inglés puede encontrar que todos los correos electrónicos en ruso son spam, no así para los hablantes de ruso. Sin embargo, existe una similitud definida en esta tarea de clasificación entre los usuarios, por ejemplo, una característica común podría ser el texto relacionado con la transferencia de dinero. Resolver el problema de clasificación de spam de cada usuario de forma conjunta a través de MTL puede permitir que las soluciones se informen entre sí y mejoren el rendimiento. Otros ejemplos de configuraciones para MTL incluyen clasificación multiclase y clasificación multi-etiqueta .

El aprendizaje multitarea funciona porque la regularización inducida al requerir que un algoritmo funcione bien en una tarea relacionada puede ser superior a la regularización que evita el sobreajuste al penalizar toda la complejidad de manera uniforme. Una situación en la que MTL puede ser particularmente útil es si las tareas comparten puntos en común importantes y, por lo general, están ligeramente submuestreadas. Sin embargo, como se analiza a continuación, MTL también ha demostrado ser beneficioso para el aprendizaje de tareas no relacionadas.

Métodos

Agrupación y superposición de tareas

Dentro del paradigma MTL, la información se puede compartir entre algunas o todas las tareas. Dependiendo de la estructura de la relación de tareas, es posible que desee compartir información de forma selectiva entre las tareas. Por ejemplo, las tareas pueden estar agrupadas o existir en una jerarquía, o estar relacionadas de acuerdo con alguna métrica general. Supongamos, como se desarrolla más formalmente a continuación, que el vector de parámetros que modela cada tarea es una combinación lineal de alguna base subyacente. La similitud en términos de esta base puede indicar la relación de las tareas. Por ejemplo, con escasez , la superposición de coeficientes distintos de cero en las tareas indica similitudes. Una agrupación de tareas corresponde entonces a aquellas tareas que se encuentran en un subespacio generado por algún subconjunto de elementos básicos, donde las tareas de diferentes grupos pueden estar disjuntas o superponerse arbitrariamente en términos de sus bases. La relación de tareas se puede imponer a priori o aprender de los datos. La relación jerárquica de tareas también puede explotarse implícitamente sin asumir a priori conocimientos o relaciones de aprendizaje explícitamente. Por ejemplo, el aprendizaje explícito de la relevancia de la muestra en todas las tareas se puede realizar para garantizar la eficacia del aprendizaje conjunto en múltiples dominios.

Explotación de tareas no relacionadas

Se puede intentar aprender un grupo de tareas principales utilizando un grupo de tareas auxiliares, no relacionadas con las principales. En muchas aplicaciones, el aprendizaje conjunto de tareas no relacionadas que utilizan los mismos datos de entrada puede resultar beneficioso. La razón es que el conocimiento previo sobre la relación de tareas puede conducir a representaciones más dispersas y más informativas para cada grupo de tareas, esencialmente al descartar idiosincrasias de la distribución de datos. Se han propuesto métodos novedosos que se basan en una metodología multitarea previa al favorecer una representación compartida de baja dimensión dentro de cada grupo de tareas. El programador puede imponer una penalización a las tareas de diferentes grupos que fomenta que las dos representaciones sean ortogonales . Los experimentos con datos sintéticos y reales han indicado que la incorporación de tareas no relacionadas puede resultar en mejoras significativas sobre los métodos estándar de aprendizaje multitarea.

Transferencia de conocimiento

Relacionado con el aprendizaje multitarea está el concepto de transferencia de conocimientos. Mientras que el aprendizaje tradicional de múltiples tareas implica que una representación compartida se desarrolla simultáneamente entre las tareas, la transferencia de conocimiento implica una representación compartida secuencialmente. Los proyectos de aprendizaje automático a gran escala, como la red neuronal convolucional profunda GoogLeNet , un clasificador de objetos basado en imágenes, pueden desarrollar representaciones sólidas que pueden ser útiles para desarrollar más algoritmos en tareas relacionadas con el aprendizaje. Por ejemplo, el modelo previamente entrenado se puede utilizar como un extractor de características para realizar el preprocesamiento de otro algoritmo de aprendizaje. O el modelo previamente entrenado se puede utilizar para inicializar un modelo con una arquitectura similar que luego se ajusta para aprender una tarea de clasificación diferente.

Aprendizaje adaptativo en línea grupal

Tradicionalmente, el aprendizaje multitarea y la transferencia de conocimientos se aplican a entornos de aprendizaje estacionarios. Su extensión a entornos no estacionarios se denomina aprendizaje adaptativo en línea grupal (GOAL). Compartir información podría ser particularmente útil si los alumnos operan en entornos que cambian continuamente, porque un alumno podría beneficiarse de la experiencia previa de otro alumno para adaptarse rápidamente a su nuevo entorno. Este aprendizaje adaptativo en grupo tiene numerosas aplicaciones, desde la predicción de series de tiempo financieras, pasando por sistemas de recomendación de contenido, hasta la comprensión visual para agentes autónomos adaptativos.

Matemáticas

Reproducir el espacio de Hilbert de funciones con valores vectoriales (RKHSvv)

El problema de MTL puede plantearse dentro del contexto de RKHSvv (un espacio de producto interno completo de funciones con valores vectoriales equipado con un núcleo de reproducción ). En particular, la atención se ha centrado recientemente en casos en los que la estructura de la tarea se puede identificar mediante un núcleo separable, que se describe a continuación. La presentación aquí se deriva de Ciliberto et al., 2015.

Conceptos de RKHSvv

Supongamos que el conjunto de datos de entrenamiento es , con , donde $t$ tarea índices, y . Deja . En esta configuración hay un espacio de entrada y salida consistente y la misma función de pérdida para cada tarea:. Esto da como resultado el problema de aprendizaje automático regularizado: ${\ Displaystyle {\ mathcal {S}} _ {t} = \ {(x_ {i} ^ {t}, y_ {i} ^ {t}) \} _ {i = 1} ^ {n_ {t} }}$ ${\ Displaystyle x_ {i} ^ {t} \ in {\ mathcal {X}}}$ ${\ Displaystyle y_ {i} ^ {t} \ in {\ mathcal {Y}}}$ ${\ Displaystyle t \ en 1, ..., T}$ ${\ Displaystyle n = \ sum _ {t = 1} ^ {T} n_ {t}}$ ${\ Displaystyle {\ mathcal {L}}: \ mathbb {R} \ times \ mathbb {R} \ rightarrow \ mathbb {R} _ {+}}$

{\ Displaystyle \ min _ {f \ in {\ mathcal {H}}} \ sum _ {t = 1} ^ {T} {\ frac {1} {n_ {t}}} \ sum _ {i = 1 } ^ {n_ {t}} {\ mathcal {L}} (y_ {i} ^ {t}, f_ {t} (x_ {i} ^ {t})) + \ lambda || f || _ { \ mathcal {H}} ^ {2}}

( 1 )

donde es un vector valorado que reproduce el espacio de Hilbert del núcleo con funciones que tienen componentes . ${\ Displaystyle {\ mathcal {H}}}$ ${\ Displaystyle f: {\ mathcal {X}} \ rightarrow {\ mathcal {Y}} ^ {T}}$ ${\ Displaystyle f_ {t}: {\ mathcal {X}} \ rightarrow {\ mathcal {Y}}}$

El núcleo de reproducción para el espacio de funciones es una función simétrica con valores de matriz , de modo que se cumple la siguiente propiedad de reproducción: ${\ Displaystyle {\ mathcal {H}}}$ ${\ Displaystyle f: {\ mathcal {X}} \ rightarrow \ mathbb {R} ^ {T}}$ ${\ Displaystyle \ Gamma: {\ mathcal {X}} \ times {\ mathcal {X}} \ rightarrow \ mathbb {R} ^ {T \ times T}}$ ${\ Displaystyle \ Gamma (\ cdot, x) c \ in {\ mathcal {H}}}$

{\ Displaystyle \ langle f (x), c \ rangle _ {\ mathbb {R} ^ {T}} = \ langle f, \ Gamma (x, \ cdot) c \ rangle _ {\ mathcal {H}}}

( 2 )

El núcleo que se reproduce da lugar a un teorema del representador que muestra que cualquier solución a la ecuación 1 tiene la forma:

{\ Displaystyle f (x) = \ sum _ {t = 1} ^ {T} \ sum _ {i = 1} ^ {n_ {t}} \ Gamma (x, x_ {i} ^ {t}) c_ {i} ^ {t}}

( 3 )

Granos separables

La forma del kernel $Γ$ induce tanto la representación del espacio de características como estructura la salida a través de las tareas. Una simplificación natural es elegir un kernel separable, que se factoriza en kernels separados en el espacio de entrada X y en las tareas . En este caso el kernel relaciona componentes escalares y viene dado por . Para funciones con valores vectoriales , podemos escribir , donde $k$ es un núcleo de reproducción escalar y $A$ es una matriz semidefinida positiva simétrica . De ahora en adelante denotar . ${\ Displaystyle \ {1, ..., T \}}$ ${\ Displaystyle f_ {t}}$ ${\ Displaystyle f_ {s}}$ ${\ estilo de texto \ gamma ((x_ {i}, t), (x_ {j}, s)) = k (x_ {i}, x_ {j}) k_ {T} (s, t) = k (x_ {i}, x_ {j}) A_ {s, t}}$ ${\ Displaystyle f \ in {\ mathcal {H}}}$ ${\ Displaystyle \ Gamma (x_ {i}, x_ {j}) = k (x_ {i}, x_ {j}) A}$ ${\ Displaystyle T \ times T}$ ${\ Displaystyle S _ {+} ^ {T} = \ {{\ text {matrices PSD}} \} \ subset \ mathbb {R} ^ {T \ times T}}$

Esta propiedad de factorización, la separabilidad, implica que la representación del espacio de características de entrada no varía según la tarea. Es decir, no hay interacción entre el kernel de entrada y el kernel de tareas. La estructura de las tareas está representado únicamente por $una$ . Métodos para granos no separables $Γ$ es un campo de investigación actual.

Para el caso separable, el teorema de representación se reduce a . El resultado del modelo en los datos de entrenamiento es entonces $KCA$ , donde $K$ es la matriz de núcleo empírica con entradas y $C$ es la matriz de filas . ${\ textstyle f (x) = \ sum _ {i = 1} ^ {N} k (x, x_ {i}) Ac_ {i}}$ ${\ Displaystyle n \ times n}$ ${\ textstyle K_ {i, j} = k (x_ {i}, x_ {j})}$ ${\ Displaystyle n \ times T}$ ${\ Displaystyle c_ {i}}$

Con el núcleo separable, la ecuación 1 se puede reescribir como

{\ Displaystyle \ min _ {C \ in \ mathbb {R} ^ {n \ times T}} V (Y, KCA) + \ lambda tr (KCAC ^ {\ top})}

( P )

donde $V$ es un promedio (ponderado) de L aplicado a la entrada a $Y$ y $KCA$ . (El peso es cero si falta una observación). ${\ Displaystyle Y_ {i} ^ {t}}$

Tenga en cuenta que el segundo término en P se puede derivar de la siguiente manera:

{\ Displaystyle {\ begin {alineado} \ | f \ | _ {\ mathcal {H}} ^ {2} & = \ left \ langle \ sum _ {i = 1} ^ {n} k (\ cdot, x_ {i}) Ac_ {i}, \ sum _ {j = 1} ^ {n} k (\ cdot, x_ {j}) Ac_ {j} \ right \ rangle _ {\ mathcal {H}} \\ & = \ sum _ {i, j = 1} ^ {n} \ langle k (\ cdot, x_ {i}) Ac_ {i}, k (\ cdot, x_ {j}) Ac_ {j} \ rangle _ { \ mathcal {H}} & {\ text {(bilinealidad)}} \\ & = \ sum _ {i, j = 1} ^ {n} \ langle k (x_ {i}, x_ {j}) Ac_ { i}, c_ {j} \ rangle _ {\ mathbb {R} ^ {T}} & {\ text {(propiedad de reproducción)}} \\ & = \ sum _ {i, j = 1} ^ {n} k (x_ {i}, x_ {j}) c_ {i} ^ {\ top} Ac_ {j} = tr (KCAC ^ {\ top}) \ end {alineado}}}

Estructura de tareas conocida

Representaciones de estructura de tareas

Hay tres formas en gran parte equivalentes de representar la estructura de la tarea: mediante un regularizador; mediante una métrica de salida y mediante una asignación de salida.

Regularizador : con el kernel separable, se puede mostrar (a continuación) que , donde es el elemento del pseudoinverso de y es el RKHS basado en el kernel escalar , y . Esta formulación muestra que controla el peso de la penalización asociada . (Tenga en cuenta que surge de .) ${\ textstyle || f || _ {\ mathcal {H}} ^ {2} = \ sum _ {s, t = 1} ^ {T} A_ {t, s} ^ {\ dagger} \ langle f_ { s}, f_ {t} \ rangle _ {{\ mathcal {H}} _ {k}}}$ ${\ Displaystyle A_ {t, s} ^ {\ dagger}}$ ${\ Displaystyle t, s}$ ${\ Displaystyle A}$ ${\ Displaystyle {\ mathcal {H}} _ {k}}$ ${\ Displaystyle k}$ ${\ textstyle f_ {t} (x) = \ sum _ {i = 1} ^ {n} k (x, x_ {i}) A_ {t} ^ {\ top} c_ {i}}$ ${\ Displaystyle A_ {t, s} ^ {\ dagger}}$ ${\ textstyle \ langle f_ {s}, f_ {t} \ rangle _ {{\ mathcal {H}} _ {k}}}$ ${\ textstyle \ langle f_ {s}, f_ {t} \ rangle _ {{\ mathcal {H}} _ {k}}}$ ${\ textstyle || f_ {t} || _ {{\ mathcal {H}} _ {k}} = \ langle f_ {t}, f_ {t} \ rangle _ {{\ mathcal {H}} _ { k}}}$

Prueba -

${\ Displaystyle {\ begin {alineado} \ | f \ | _ {\ mathcal {H}} ^ {2} & = \ left \ langle \ sum _ {i = 1} ^ {n} \ gamma ((x_ { i}, t_ {i}), \ cdot) c_ {i} ^ {t_ {i}}, \ sum _ {j = 1} ^ {n} \ gamma ((x_ {j}, t_ {j}) , \ cdot) c_ {j} ^ {t_ {j}} \ right \ rangle _ {\ mathcal {H}} \\ & = \ sum _ {i, j = 1} ^ {n} c_ {i} ^ {t_ {i}} c_ {j} ^ {t_ {j}} \ gamma ((x_ {i}, t_ {i}), (x_ {j}, t_ {j})) \\ & = \ sum _ {i, j = 1} ^ {n} \ sum _ {s, t = 1} ^ {T} c_ {i} ^ {t} c_ {j} ^ {s} k (x_ {i}, x_ {j}) A_ {s, t} \\ & = \ sum _ {i, j = 1} ^ {n} k (x_ {i}, x_ {j}) \ langle c_ {i}, Ac_ {j } \ rangle _ {\ mathbb {R} ^ {T}} \\ & = \ sum _ {i, j = 1} ^ {n} k (x_ {i}, x_ {j}) \ langle c_ {i }, AA ^ {\ dagger} Ac_ {j} \ rangle _ {\ mathbb {R} ^ {T}} \\ & = \ sum _ {i, j = 1} ^ {n} k (x_ {i} , x_ {j}) \ langle Ac_ {i}, A ^ {\ dagger} Ac_ {j} \ rangle _ {\ mathbb {R} ^ {T}} \\ & = \ sum _ {i, j = 1 } ^ {n} \ sum _ {s, t = 1} ^ {T} (Ac_ {i}) ^ {t} (Ac_ {j}) ^ {s} k (x_ {i}, x_ {j} ) A_ {s, t} ^ {\ dagger} \\ & = \ sum _ {s, t = 1} ^ {T} A_ {s, t} ^ {\ dagger} \ langle \ sum _ {i = 1 } ^ {n} k (x_ {i}, \ cdot) (Ac_ {i}) ^ {t}, \ sum _ {j = 1} ^ {n} k (x_ {j}, \ cdot) (Ac_ {j}) ^ {s} \ rangle _ {{\ mathcal {H}} _ {k}} \\ & = \ sum _ {s, t = 1} ^ {T} A_ {s, t} ^ { \ dagger} \ langle f_ {t}, f_ {s} \ rangle _ {{\ mathcal {H}} _ {k}} \ end {alineado }}}$

Métrica de salida : el producto interno puede inducir una métrica de salida alternativa . Con la pérdida al cuadrado hay una equivalencia entre los granos separables bajo la métrica alternativa y , bajo la métrica canónica. ${\ Displaystyle {\ mathcal {Y}} ^ {T}}$ ${\ Displaystyle \ langle y_ {1}, y_ {2} \ rangle _ {\ Theta} = \ langle y_ {1}, \ Theta y_ {2} \ rangle _ {\ mathbb {R} ^ {T}}}$ ${\ Displaystyle k (\ cdot, \ cdot) I_ {T}}$ ${\ Displaystyle k (\ cdot, \ cdot) \ Theta}$

Mapeo de salida : las salidas se pueden mapear en un espacio dimensional más alto para codificar estructuras complejas como árboles, gráficos y cadenas. Para mapas lineales $L$ , con la elección adecuada de kernel separable, se puede demostrar que . ${\ displaystyle L: {\ mathcal {Y}} ^ {T} \ rightarrow {\ mathcal {\ tilde {Y}}}}$ ${\ Displaystyle A = L ^ {\ top} L}$

Ejemplos de estructura de tareas

A través de la formulación del regularizador, se pueden representar fácilmente una variedad de estructuras de tareas.

Dejar (donde es la matriz identidad T x T y es la matriz T x T de unos) es equivalente a dejar que $Γ$ controle la varianza de las tareas a partir de su media . Por ejemplo, los niveles sanguíneos de algún biomarcador pueden tomarse en pacientes $T$ en puntos de tiempo durante el transcurso de un día y el interés puede radicar en regularizar la variación de las predicciones entre pacientes. ${\ textstyle A ^ {\ dagger} = \ gamma I_ {T} + (\ gamma - \ lambda) {\ frac {1} {T}} \ mathbf {1} \ mathbf {1} ^ {\ top}}$ ${\ Displaystyle I_ {T}}$ ${\ textstyle \ mathbf {1} \ mathbf {1} ^ {\ top}}$ ${\ textstyle \ sum _ {t} || f_ {t} - {\ bar {f}} || _ {{\ mathcal {H}} _ {k}}}$ ${\ textstyle {\ frac {1} {T}} \ sum _ {t} f_ {t}}$ ${\ Displaystyle n_ {t}}$
Dejar que , donde es equivalente a dejar que el control de la varianza medido con respecto a una media del grupo: . (Aquí la cardinalidad del grupo r, y es la función indicadora). Por ejemplo, las personas de diferentes partidos políticos (grupos) podrían regularizarse juntas con respecto a la predicción de la calificación de favorabilidad de un político. Tenga en cuenta que esta penalización se reduce a la primera cuando todas las tareas están en el mismo grupo. ${\ Displaystyle A ^ {\ dagger} = \ alpha I_ {T} + (\ alpha - \ lambda) M}$ ${\ Displaystyle M_ {t, s} = {\ frac {1} {| G_ {r} |}} \ mathbb {I} (t, s \ in G_ {r})}$ ${\ Displaystyle \ alpha}$ ${\ Displaystyle \ sum _ {r} \ sum _ {t \ in G_ {r}} || f_ {t} - {\ frac {1} {| G_ {r} |}} \ sum _ {s \ in G_ {r})} f_ {s} ||}$ ${\ Displaystyle | G_ {r} |}$ ${\ Displaystyle \ mathbb {I}}$
Dejando , donde es el laplaciano para el gráfico con matriz de adyacencia M que da similitudes de tareas por pares. Esto equivale a dar una penalización mayor a la distancia que separa las tareas t y s cuando son más similares (según el peso ), es decir, regulariza . ${\ Displaystyle A ^ {\ dagger} = \ delta I_ {T} + (\ delta - \ lambda) L}$ ${\ Displaystyle L = DM}$ ${\ Displaystyle M_ {t, s}}$ ${\ Displaystyle \ delta}$ ${\ Displaystyle \ sum _ {t, s} || f_ {t} -f_ {s} || _ {{\ mathcal {H}} _ {k}} ^ {2} M_ {t, s}}$
Todas las opciones anteriores de A también inducen el término de regularización adicional que penaliza la complejidad en f de manera más amplia. ${\ estilo de texto \ lambda \ sum _ {t} || f || _ {{\ mathcal {H}} _ {k}} ^ {2}}$

Tareas de aprendizaje junto con su estructura

El problema de aprendizaje P puede generalizarse para admitir la matriz de tareas de aprendizaje A de la siguiente manera:

{\ Displaystyle \ min _ {C \ in \ mathbb {R} ^ {n \ times T}, A \ in S _ {+} ^ {T}} V (Y, KCA) + \ lambda tr (KCAC ^ {\ arriba}) + F (A)}

( Q )

La elección de debe diseñarse para aprender matrices A de un tipo determinado. Consulte "Casos especiales" a continuación. ${\ Displaystyle F: S _ {+} ^ {T} \ flecha derecha \ mathbb {R} _ {+}}$

Optimización de Q

Restringiendo al caso de pérdidas convexas y sanciones coercitivas Ciliberto et al. han demostrado que aunque Q no es convexo conjuntamente en C y A, un problema relacionado es convexo conjuntamente.

Específicamente en el conjunto convexo , el problema equivalente ${\ Displaystyle {\ mathcal {C}} = \ {(C, A) \ in \ mathbb {R} ^ {n \ times T} \ times S _ {+} ^ {T} | Rango (C ^ {\ top } KC) \ subseteq Rango (A) \}}$

{\ Displaystyle \ min _ {C, A \ in {\ mathcal {C}}} V (Y, KC) + \ lambda tr (A ^ {\ dagger} C ^ {\ top} KC) + F (A) }

( R )

es convexo con el mismo valor mínimo. Y si es un minimizador de R a continuación, es un minimizador de Q . ${\ Displaystyle (C_ {R}, A_ {R})}$ ${\ Displaystyle (C_ {R} A_ {R} ^ {\ dagger}, A_ {R})}$

R puede resolverse mediante un método de barrera en un conjunto cerrado introduciendo la siguiente perturbación:

{\ Displaystyle \ min _ {C \ in \ mathbb {R} ^ {n \ times T}, A \ in S _ {+} ^ {T}} V (Y, KC) + \ lambda tr (A ^ {\ daga} (C ^ {\ top} KC + \ delta ^ {2} I_ {T})) + F (A)}

( S )

La perturbación a través de la barrera obliga a las funciones objetivo a ser iguales a en el límite de . ${\ Displaystyle \ delta ^ {2} tr (A ^ {\ dagger})}$ ${\ Displaystyle + \ infty}$ ${\ Displaystyle R ^ {n \ times T} \ times S _ {+} ^ {T}}$

S puede ser resuelto con un bloque de forma de descenso, alterna en coordenadas C y A. Esto resulta en una secuencia de minimizersen S que converge a la solución en R como, y por lo tanto da la solución a Q . ${\ Displaystyle (C_ {m}, A_ {m})}$ ${\ Displaystyle \ delta _ {m} \ rightarrow 0}$

Casos especiales

Penalizaciones espectrales : Dinnuzo et al sugirieron establecer F como la norma de Frobenius. Optimizaron Q directamente utilizando el descenso de coordenadas de bloque, sin tener en cuenta las dificultades en el límite de. ${\ Displaystyle {\ sqrt {tr (A ^ {\ top} A)}}}$ ${\ Displaystyle \ mathbb {R} ^ {n \ times T} \ times S _ {+} ^ {T}}$

Aprendizaje de tareas agrupadas : Jacob et al sugirieron aprender A en el entorno en el que las tareas T están organizadas en grupos separados de R. En este caso sea la matriz con . La configuración , y , la matriz de tareas se puede parametrizar en función de :, con términos que penalizan el promedio, la varianza entre grupos y la varianza dentro de los grupos, respectivamente, de las predicciones de la tarea. M no es convexo, pero hay una relajación convexa . En esta formulación, . ${\ Displaystyle E \ in \ {0,1 \} ^ {T \ times R}}$ ${\ Displaystyle E_ {t, r} = \ mathbb {I} ({\ text {tarea}} t \ in {\ text {grupo}} r)}$ ${\ Displaystyle M = IE ^ {\ dagger} E ^ {T}}$ ${\ Displaystyle U = {\ frac {1} {T}} \ mathbf {11} ^ {\ top}}$ ${\ Displaystyle A ^ {\ dagger}}$ ${\ Displaystyle M}$ ${\ Displaystyle A ^ {\ dagger} (M) = \ epsilon _ {M} U + \ epsilon _ {B} (MU) + \ epsilon (IM)}$ ${\ Displaystyle {\ mathcal {S}} _ {c} = \ {M \ in S _ {+} ^ {T}: IM \ in S _ {+} ^ {T} \ land tr (M) = r \} }$ ${\ Displaystyle F (A) = \ mathbb {I} (A (M) \ in \ {A: M \ in {\ mathcal {S}} _ {C} \})}$

Generalizaciones

Penalizaciones no convexas : las penalizaciones se pueden construir de manera que A esté restringido a ser un gráfico laplaciano, o que A tenga factorización de rango bajo. Sin embargo, estas penalizaciones no son convexas y el análisis del método de barrera propuesto por Ciliberto et al. no pasa en estos casos.

Núcleos no separables: los núcleos separables son limitados, en particular, no tienen en cuenta las estructuras en el espacio de interacción entre los dominios de entrada y salida de forma conjunta. Se necesita trabajo futuro para desarrollar modelos para estos núcleos.

Aplicaciones

Filtrado de spam

Utilizando los principios de MTL, se han propuesto técnicas de filtrado colaborativo de spam que facilitan la personalización. En los sistemas de correo electrónico de membresía abierta a gran escala, la mayoría de los usuarios no etiquetan suficientes mensajes para que un clasificador local individual sea efectivo, mientras que los datos son demasiado ruidosos para ser utilizados para un filtro global en todos los usuarios. Un clasificador híbrido global / individual puede ser eficaz para absorber la influencia de los usuarios que etiquetan con mucha diligencia los correos electrónicos del público en general. Esto se puede lograr sin dejar de ofrecer suficiente calidad a los usuarios con pocas instancias etiquetadas.

búsqueda Web

Al utilizar árboles de decisión mejorados , se puede permitir el intercambio y la regularización de datos implícitos. Este método de aprendizaje se puede utilizar en conjuntos de datos de clasificación de búsqueda web. Un ejemplo es utilizar conjuntos de datos de clasificación de varios países. Aquí, el aprendizaje multitarea es particularmente útil ya que los conjuntos de datos de diferentes países varían en gran medida en tamaño debido al costo de los juicios editoriales. Se ha demostrado que el aprendizaje conjunto de varias tareas puede conducir a mejoras significativas en el rendimiento con una fiabilidad sorprendente.

Paquete de software

El paquete Matlab de aprendizaje multitarea mediante regularización estructural (MALSAR) implementa los siguientes algoritmos de aprendizaje multitarea:

Aprendizaje multitarea con regularización media
Aprendizaje multitarea con selección de funciones conjuntas
Aprendizaje robusto de funciones multitarea
Aprendizaje multitarea regularizado de Trace-Norm
Optimización estructural alterna
Aprendizaje escaso y de bajo rango incoherente
Aprendizaje robusto de múltiples tareas de bajo rango
Aprendizaje multitarea agrupado
Aprendizaje multitarea con estructuras gráficas

Ver también

Referencias

enlaces externos

Software

El aprendizaje multitarea mediante el paquete de regularización estructural
Kit de herramientas de aprendizaje multitarea en línea (OMT) Un kit de herramientas de aprendizaje multitarea en línea de uso general basado en modelos de campo aleatorio condicional y entrenamiento de descenso de gradiente estocástico ( C # , .NET )

Languages

In other projects