Mezcla de expertos

La mezcla de expertos ( MoE ) es una técnica de aprendizaje automático en la que se utilizan múltiples redes de expertos (aprendices) para dividir un espacio de problemas en regiones homogéneas. ^[1] Se diferencia de las técnicas de conjunto en que para MoE, normalmente solo se ejecutan uno o unos pocos modelos expertos para cada entrada, mientras que en las técnicas de conjunto, todos los modelos se ejecutan en cada entrada.

MoE siempre tiene los siguientes componentes, pero se implementan y combinan de forma diferente según el problema a resolver:

• Expertos , cada uno tomando la misma información y produciendo resultados .${\displaystyle f_{1},...,f_{n}}$${\displaystyle x}$${\displaystyle f_{1}(x),...,f_{n}(x)}$
• Una función de ponderación (también conocida como función de compuerta) , que toma una entrada y produce un vector de salidas .${\displaystyle w}$${\displaystyle x}$${\displaystyle (w(x)_{1},...,w(x)_{n})}$
• ${\displaystyle \theta =(\theta _{0},\theta _{1},...,\theta _{n})}$es el conjunto de parámetros. El parámetro es para la función de ponderación.${\displaystyle \theta _{0}}$
• Dada una entrada , la mezcla de expertos produce una única salida al combinarse de acuerdo con los pesos de alguna manera.${\displaystyle x}$${\displaystyle f_{1}(x),...,f_{n}(x)}$${\displaystyle w(x)_{1},...,w(x)_{n}}$

Tanto los expertos como la función de ponderación se entrenan minimizando alguna función de pérdida , generalmente mediante un descenso de gradiente . Existe mucha libertad para elegir la forma precisa de los expertos, la función de ponderación y la función de pérdida.

La red meta-pi , descrita por Hampshire y Waibel, ^[2] utiliza como salida . El modelo se entrena realizando un descenso de gradiente sobre la pérdida de error cuadrático medio . Los expertos pueden ser funciones arbitrarias.${\displaystyle f(x)=\sum _{i}w(x)_{i}f_{i}(x)}$${\displaystyle L:={\frac {1}{N}}\sum _{k}\|y_{k}-f(x_{k})\|^{2}}$

En su publicación original, resolvieron el problema de clasificar fonemas en la señal del habla de 6 hablantes japoneses diferentes, 2 mujeres y 4 hombres. Entrenaron a 6 expertos, cada uno de los cuales era una "red neuronal con retardo temporal" ^{[3] (esencialmente una} red de convolución multicapa sobre el espectrograma mel ). Descubrieron que la mezcla resultante de expertos dedicaba 5 expertos para 5 de los hablantes, pero el sexto hablante (hombre) no tenía un experto dedicado, sino que su voz se clasificó mediante una combinación lineal de los expertos para los otros 3 hablantes hombres.

Las mezclas adaptativas de expertos locales ^{[4] [5]} utilizan un modelo de mezcla gaussiana . Cada experto simplemente predice una distribución gaussiana e ignora por completo la entrada. Específicamente, el experto -ésimo predice que la salida es , donde es un parámetro que se puede aprender. La función de ponderación es una función lineal-softmax: La mezcla de expertos predice que la salida se distribuye de acuerdo con la función de densidad de probabilidad: Se entrena mediante estimación de máxima verosimilitud, es decir, ascenso de gradiente en . El gradiente para el experto -ésimo es${\displaystyle i}$${\displaystyle y\sim N(\mu _{i},I)}$${\displaystyle \mu _{i}}$$${\displaystyle w(x)_{i}={\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}}$$$${\displaystyle f_{\theta }(y|x)=\ln \left[\sum _{i}{\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}N(y|\mu _{i},I)\right]=\ln \left[(2\pi )^{-d/2}\sum _{i}{\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}e^{-{\frac {1}{2}}\|y-\mu _{i}\|^{2}}\right]}$$${\displaystyle f(y|x)}$${\displaystyle i}$

$${\displaystyle \nabla _{\mu _{i}}f_{\theta }(y|x)={\frac {w(x)_{i}N(y|\mu _{i},I)}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}\;(y-\mu _{i})}$$

y el gradiente para la función de ponderación es$${\displaystyle \nabla _{[k_{i},b_{i}]}f_{\theta }(y|x)={\begin{bmatrix}x\\1\end{bmatrix}}{\frac {w(x)_{i}}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}(f_{i}(x)-f_{\theta }(y|x))}$$

Para cada par de entrada-salida , la función de ponderación se modifica para aumentar el peso de todos los expertos que tuvieron un rendimiento superior al promedio y disminuir el peso de todos los expertos que tuvieron un rendimiento inferior al promedio. Esto estimula a la función de ponderación a aprender a seleccionar solo a los expertos que hacen las predicciones correctas para cada entrada.${\displaystyle (x,y)}$

El experto -ésimo se modifica para que su predicción se acerque más a , pero la cantidad de cambio es proporcional a . Esto tiene una interpretación bayesiana. Dado el valor de entrada , la probabilidad previa de que el experto esté en lo cierto es , y es la probabilidad de evidencia . Por lo tanto, es la probabilidad posterior para el experto , y por lo tanto la tasa de cambio para el experto -ésimo es proporcional a su probabilidad posterior.${\displaystyle i}$${\displaystyle y}$${\displaystyle w(x)_{i}N(y|\mu _{i},I)}$${\displaystyle x}$${\displaystyle i}$${\displaystyle w(x)_{i}}$${\displaystyle N(y|\mu _{i},I)}$${\displaystyle y}$${\displaystyle {\frac {w(x)_{i}N(y|\mu _{i},I)}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}}$${\displaystyle i}$${\displaystyle i}$

En otras palabras, se pide a los expertos que, en retrospectiva, parecían los mejores expertos a los que consultar, que aprendan del ejemplo. A los expertos que, en retrospectiva, no lo eran, se los deja tranquilos.

El efecto combinado es que los expertos se especializan: supongamos que dos expertos son buenos en predecir un cierto tipo de entrada, pero uno es ligeramente mejor, entonces la función de ponderación eventualmente aprenderá a favorecer al mejor. Después de que eso sucede, el experto menos experto es incapaz de obtener una señal de gradiente alto y se vuelve aún peor en predecir ese tipo de entrada. Por el contrario, el experto menos experto puede volverse mejor en predecir otros tipos de entrada y cada vez más alejado hacia otra región. Esto tiene un efecto de retroalimentación positivo, haciendo que cada experto se aleje del resto y se ocupe solo de una región local (de ahí el nombre de " expertos locales ").

Las mezclas jerárquicas de expertos ^{[6] [7]} utilizan múltiples niveles de selección en un árbol. Cada selección es una distribución de probabilidad sobre el siguiente nivel de selección, y los expertos se encuentran en los nodos de hoja del árbol. Son similares a los árboles de decisión .

Por ejemplo, un MoE jerárquico de dos niveles tendría una función de control de primer orden y funciones de control de segundo orden y expertos . La predicción total es entonces .${\displaystyle w_{i}}$${\displaystyle w_{j|i}}$${\displaystyle f_{j|i}}$${\displaystyle \sum _{i}w_{i}(x)\sum _{j}w_{j|i}(x)f_{j|i}(x)}$

La mezcla de expertos, al ser similar al modelo de mezcla gaussiana, también puede ser entrenada por el algoritmo de maximización de expectativas, al igual que los modelos de mezcla gaussiana . Específicamente, durante el paso de expectativa, la "carga" para explicar cada punto de datos se asigna a los expertos, y durante el paso de maximización, los expertos son entrenados para mejorar las explicaciones para las que obtuvieron una carga alta, mientras que la puerta es entrenada para mejorar su asignación de carga. Esto puede converger más rápido que el ascenso del gradiente en el log-verosimilitud. ^{[7] [8]}

La elección de la función de compuerta suele ser softmax. Además de eso, la compuerta puede utilizar distribuciones gaussianas ^[9] y familias exponenciales ^[8] .

En lugar de realizar una suma ponderada de todos los expertos, en el modelo de MoE duro, ^[10] solo se elige al experto con la clasificación más alta. Es decir, . Esto puede acelerar el tiempo de entrenamiento e inferencia. ^[11]${\displaystyle f(x)=f_{\arg \max _{i}w_{i}(x)}(x)}$

Los expertos pueden utilizar formas más generales de distribuciones gaussianas multivariantes. Por ejemplo, ^[6] propuso , donde son parámetros que se pueden aprender. En palabras, cada experto aprende a hacer regresión lineal, con una estimación de incertidumbre que se puede aprender.${\displaystyle f_{i}(y|x)=N(y|A_{i}x+b_{i},\Sigma _{i})}$${\displaystyle A_{i},b_{i},\Sigma _{i}}$

Se pueden utilizar diferentes expertos además de las distribuciones gaussianas. Por ejemplo, se puede utilizar la distribución de Laplace ^[12] o la distribución t de Student ^[13] . Para la clasificación binaria, también se proponen expertos de regresión logística , con donde son parámetros que se pueden aprender. Esto se generaliza más tarde para la clasificación de múltiples clases, con expertos de regresión logística multinomial ^[14] .$${\displaystyle f_{i}(y|x)={\begin{cases}{\frac {1}{1+e^{\beta _{i}^{T}x+\beta _{i,0}}}},&y=0\\1-{\frac {1}{1+e^{\beta _{i}^{T}x+\beta _{i,0}}}},&y=1\end{cases}}}$$${\displaystyle \beta _{i},\beta _{i,0}}$

Un artículo propuso una mezcla de softmaxes para el modelado autorregresivo del lenguaje. ^[15] Específicamente, considere un modelo de lenguaje que dado un texto anterior , predice la siguiente palabra . La red codifica el texto en un vector , y predice la distribución de probabilidad de la siguiente palabra como para una matriz de incrustación . En la mezcla de softmaxes, el modelo genera múltiples vectores , y predice la siguiente palabra como , donde es una distribución de probabilidad mediante una operación lineal-softmax sobre las activaciones de las neuronas ocultas dentro del modelo. El artículo original demostró su eficacia para redes neuronales recurrentes . Más tarde se descubrió que esto también funcionaba para Transformers. ^[16]${\displaystyle c}$${\displaystyle x}$${\displaystyle v_{c}}$${\displaystyle \mathrm {Softmax} (v_{c}W)}$${\displaystyle W}$${\displaystyle v_{c,1},\dots ,v_{c,n}}$${\displaystyle \sum _{i=1}^{n}p_{i}\;\mathrm {Softmax} (v_{c,i}W_{i})}$${\displaystyle p_{i}}$

La sección anterior describió el MoE tal como se utilizaba antes de la era del aprendizaje profundo . Después del aprendizaje profundo, el MoE encontró aplicaciones en la ejecución de los modelos más grandes, como una forma sencilla de realizar cálculos condicionales : solo se utilizan partes del modelo, las partes se eligen de acuerdo con lo que es la entrada. ^[17]

El primer artículo que aplica MoE al aprendizaje profundo se remonta a 2013, ^[18] en el que se proponía utilizar una red de compuertas diferente en cada capa de una red neuronal profunda. Específicamente, cada compuerta es una red lineal-ReLU-lineal-softmax, y cada experto es una red lineal-ReLU. Dado que la salida de la compuerta no es dispersa , se necesitan todas las salidas de los expertos y no se realiza ningún cálculo condicional.

El desideratum de diseño clave para MoE en aprendizaje profundo es reducir el costo computacional. En consecuencia, para cada consulta, solo se debe consultar a un pequeño subconjunto de los expertos. Esto hace que MoE en aprendizaje profundo sea diferente de MoE clásico. En MoE clásico, el resultado de cada consulta es una suma ponderada de los resultados de todos los expertos. En MoE de aprendizaje profundo, el resultado de cada consulta solo puede involucrar los resultados de unos pocos expertos. En consecuencia, la elección de diseño clave en MoE es el enrutamiento: dado un lote de consultas, cómo enrutar las consultas a los mejores expertos.

La capa MoE escasamente controlada , ^[19] publicada por investigadores de Google Brain , utiliza redes de propagación hacia adelante como expertos y una activación lineal-softmax. De manera similar al MoE duro propuesto anteriormente, logran la dispersión mediante una suma ponderada de solo los mejores k expertos, en lugar de la suma ponderada de todos ellos. Específicamente, en una capa MoE, hay redes de propagación hacia adelante y una red de activación . La red de activación se define por , donde es una función que mantiene las mejores k entradas de un vector iguales, pero establece todas las demás entradas en . La adición de ruido ayuda con el equilibrio de carga.${\displaystyle f_{1},...,f_{n}}$${\displaystyle w}$${\displaystyle w(x)=\mathrm {softmax} (\mathrm {top} _{k}(Wx+{\text{noise}}))}$${\displaystyle \mathrm {top} _{k}}$${\displaystyle -\infty }$

La elección de es un hiperparámetro que se elige según la aplicación. Los valores típicos son . La versión también se denomina Switch Transformer. El Switch Transformer original se aplicó a un modelo de lenguaje T5 . ^[20]${\displaystyle k}$${\displaystyle k=1,2}$${\displaystyle k=1}$

Como demostración, entrenaron una serie de modelos para traducción automática con capas alternas de MoE y LSTM , y los compararon con modelos LSTM profundos. ^[21] La Tabla 3 muestra que los modelos MoE utilizaron menos tiempo de inferencia computacional, a pesar de tener 30 veces más parámetros.

Los MoE vainilla tienden a tener problemas de equilibrio de carga: algunos expertos son consultados a menudo, mientras que otros rara vez o nunca. Para alentar a la puerta a seleccionar a cada experto con la misma frecuencia (equilibrio de carga adecuado) dentro de cada lote, cada capa de MoE tiene dos funciones de pérdida auxiliares. Esto se mejora en ^[20] en una sola función de pérdida auxiliar. Específicamente, sea el número de expertos, luego para un lote dado de consultas , la pérdida auxiliar para el lote es Aquí, es la fracción de tiempo en la que el experto tiene la clasificación más alta y es la fracción de peso en el experto . Esta pérdida se minimiza en , precisamente cuando cada experto tiene el mismo peso en todas las situaciones.${\displaystyle n}$${\displaystyle \{x_{1},x_{2},...,x_{T}\}}$$${\displaystyle n\sum _{i=1}^{n}f_{i}P_{i}}$$${\displaystyle f_{i}={\frac {1}{T}}\#({\text{queries sent to expert }}i)}$${\displaystyle i}$${\displaystyle P_{i}={\frac {1}{T}}\sum _{j=1}^{T}w_{i}(x_{j})}$${\displaystyle i}$${\displaystyle 1}$${\displaystyle 1/n}$

En los métodos de MoE con puertas dispersas, solo se consulta a los mejores expertos y se realiza una suma ponderada de sus resultados. Existen otros métodos. ^[22]

En Hash MoE, ^[23] el enrutamiento se realiza de manera determinista mediante una función hash, fijada antes de que comience el aprendizaje. Por ejemplo, si el modelo es un Transformer de 4 capas, y la entrada es un token para la palabra "eat", y el hash de "eat" es , entonces el token se enrutaría al primer experto en la capa 1, al cuarto experto en la capa 2, etc. A pesar de su simplicidad, logra un rendimiento competitivo como MoE escasamente controlado con .${\displaystyle (1,4,2,3)}$${\displaystyle k=1}$

En el caso de Soft MoE, supongamos que en cada lote, cada experto puede procesar consultas, luego hay consultas que se pueden asignar por lote. Ahora, para cada lote de consultas , la capa Soft MoE calcula una matriz , de modo que es una distribución de probabilidad sobre las consultas, y la consulta -ésima del experto es . ^[24] Sin embargo, esto no funciona con el modelado autorregresivo, ya que los pesos sobre un token dependen de los de todos los demás tokens. ^[25]${\displaystyle p}$${\displaystyle n\times p}$${\displaystyle \{x_{1},x_{2},...,x_{T}\}}$${\displaystyle w_{i,j,k}}$${\displaystyle (w_{i,j,1},...,w_{i,j,T})}$${\displaystyle i}$${\displaystyle j}$${\displaystyle \sum _{k}w_{i,j,k}x_{k}}$${\displaystyle w_{i,j,k}}$

Otros enfoques incluyen resolverlo como un problema de programación lineal restringida , ^[26] hacer que cada experto elija las k consultas principales que desea (en lugar de que cada consulta elija a los k expertos principales para ella), ^[27] usar aprendizaje de refuerzo para entrenar el algoritmo de enrutamiento (ya que elegir un experto es una acción discreta, como en RL), ^[28] etc.

Supongamos que hay expertos en una capa. Para un lote determinado de consultas , cada consulta se enruta a uno o más expertos. Por ejemplo, si cada consulta se enruta a un experto como en Switch Transformers, y si los expertos están equilibrados en carga, entonces cada experto debería esperar, en promedio, consultas en un lote. En la práctica, los expertos no pueden esperar un equilibrio de carga perfecto: en algunos lotes, un experto podría tener poco trabajo, mientras que en otros lotes, tendría exceso de trabajo.${\displaystyle n}$${\displaystyle \{x_{1},x_{2},...,x_{T}\}}$${\displaystyle T/n}$

Dado que las entradas no pueden moverse a través de la capa hasta que cada experto en la capa haya finalizado las consultas que se le asignaron, el equilibrio de carga es importante. Como una restricción estricta del equilibrio de carga, existe el factor de capacidad : cada experto solo puede procesar hasta consultas en un lote. ^[22] Se ha comprobado que esto funciona en la práctica.${\displaystyle c\cdot T/n}$${\displaystyle c\in [1.25,2]}$

Las capas MoE se utilizan en los modelos de transformadores más grandes , para los cuales el aprendizaje y la inferencia sobre el modelo completo son demasiado costosos. Por lo general, tienen puertas dispersas, con escasez de 1 o 2. En los modelos de transformadores, las capas MoE se utilizan a menudo para seleccionar las capas de avance (normalmente una red lineal-ReLU-lineal), que aparecen en cada bloque de transformador después de la atención multicabezal. Esto se debe a que las capas de avance ocupan una parte cada vez mayor del coste informático a medida que los modelos se hacen más grandes. Por ejemplo, en el modelo Palm-540B, el 90% de los parámetros están en sus capas de avance. ^[29]

Un transformador entrenado se puede convertir en un MoE duplicando sus capas de avance, con una compuerta inicializada aleatoriamente y luego entrenándolo más. Esta es una técnica llamada "reciclado disperso". ^[30]

Hay una gran cantidad de opciones de diseño involucradas en el MoE del transformador que afectan la estabilidad del entrenamiento y el rendimiento final. El informe OLMoE las describe con cierto detalle. ^[31]

A partir de 2023 ^[update], los modelos lo suficientemente grandes como para usar MoE tienden a ser modelos de lenguaje grandes , donde cada experto tiene del orden de 10 mil millones de parámetros. Además de los modelos de lenguaje, Vision MoE ^[32] es un modelo Transformer con capas MoE. Lo demostraron entrenando un modelo con 15 mil millones de parámetros. MoE Transformer también se ha aplicado para modelos de difusión . ^[33]

Una serie de grandes modelos de lenguaje de Google utilizaron MoE. GShard ^[34] utiliza MoE con hasta 2 expertos principales por capa. Específicamente, siempre se selecciona al experto principal, y el experto principal 2 se selecciona con una probabilidad proporcional al peso de ese experto de acuerdo con la función de control. Más tarde, GLaM ^[35] demostró un modelo de lenguaje con 1,2 billones de parámetros, cada capa de MoE utiliza los 2 mejores de 64 expertos. Switch Transformers ^[20] utiliza el experto principal 1 en todas las capas de MoE.

El NLLB-200 de Meta AI es un modelo de traducción automática para 200 idiomas. ^[36] Cada capa de MoE utiliza un MoE jerárquico con dos niveles. En el primer nivel, la función de selección elige si se utiliza una capa de retroalimentación "compartida" o si se utilizan los expertos. Si se utilizan los expertos, otra función de selección calcula los pesos y elige a los dos mejores expertos. ^[37]

Los modelos de lenguaje grandes de MoE se pueden adaptar para tareas posteriores mediante el ajuste de instrucciones . ^[38]

En diciembre de 2023, Mistral AI lanzó Mixtral 8x7B bajo licencia Apache 2.0. Es un modelo de lenguaje MoE con 46,7 mil millones de parámetros, 8 expertos y una escasez de 2. También lanzaron una versión optimizada para el seguimiento de instrucciones. ^{[39] [40]}

En marzo de 2024, Databricks lanzó DBRX . Es un modelo de lenguaje MoE con parámetros 132B, 16 expertos y una escasez de 4. También lanzaron una versión optimizada para el seguimiento de instrucciones. ^{[41] [42]}

• Antes de la era del aprendizaje profundo
  • McLachlan, Geoffrey J.; Peel, David (2000). Modelos de mezcla finita . Sección de probabilidad y estadística aplicada a series de Wiley. Nueva York, Chichester, Weinheim, Brisbane, Singapur, Toronto: John Wiley & Sons, Inc. ISBN 978-0-471-00626-8.
  • Yuksel, SE; Wilson, JN; Gader, PD (agosto de 2012). "Veinte años de mezcla de expertos". IEEE Transactions on Neural Networks and Learning Systems . 23 (8): 1177–1193. doi :10.1109/TNNLS.2012.2200299. ISSN  2162-237X. PMID  24807516. S2CID  9922492.
  • Masoudnia, Saeed; Ebrahimpour, Reza (12 de mayo de 2012). "Mezcla de expertos: una revisión de la literatura". Revisión de Inteligencia Artificial . 42 (2): 275–293. doi :10.1007/s10462-012-9338-y. S2CID  3185688.
  • Nguyen, Hien D.; Chamroukhi, Faicel (julio de 2018). "Aspectos prácticos y teóricos del modelado de mezcla de expertos: una descripción general". Minería de datos y descubrimiento de conocimiento de WIREs . 8 (4). doi :10.1002/widm.1246. ISSN  1942-4787. S2CID  49301452.
• Técnicas prácticas para el entrenamiento de modelos de transformadores MoE
  • Zoph, Barret; Bello, Irwan; Kumar, Sameer; Du, Nan; Huang, Yanping; Decano, Jeff; Shazeer, Noam; Fedus, William (2022). "ST-MoE: Diseño de modelos expertos dispersos estables y transferibles". arXiv : 2202.08906 [cs.CL].
  • Muennighoff, Niklas; Soldaini, Luca; Groeneveld, Dirk; Mira, Kyle; Morrison, Jacob; Min, Sewon; Shi, Weijia; Walsh, Pete; Tafjord, Oyvind (3 de septiembre de 2024), OLMoE: modelos de lenguaje abiertos de mezcla de expertos , arXiv : 2409.02060, con publicación de datos asociada en allenai/OLMoE, Ai2, 2024-10-17 , consultado el 2024-10-18
  • Rajbhandari, Samyam; Li, Conglong; Yao, Zhewei; Zhang, Minjia; Aminabadi, Reza Yazdani; Awan, Ammar Ahmad; Rasley, Jeff; Él, Yuxiong (14 de enero de 2022). "DeepSpeed-MoE: avance de la inferencia y la capacitación de una combinación de expertos para impulsar la escala de IA de próxima generación". arXiv : 2201.05596 [cs.LG].
• Revisión de la literatura sobre la era del aprendizaje profundo
  • Fuzhao, Xue (21 de julio de 2024). "XueFuzhao/una-mezcla-increíble-de-expertos". GitHub . Consultado el 21 de julio de 2024 .
  • Vats, Arpita (2 de septiembre de 2024). "arpita8/Awesome-Mixture-of-Experts-Papers". GitHub . Consultado el 6 de septiembre de 2024 .
  • Cai, Weilin; Jiang, Juyong; Wang, Fan; Tang, Jing; Kim, Sunghun; Huang, Jiayi (8 de agosto de 2024). "Una encuesta sobre la mezcla de expertos". arXiv : 2407.06204 [cs.LG].

• Producto de expertos
• Modelos de mezcla
• Mezcla de gaussianas
• Aprendizaje en conjunto