Asignación latente de Dirichlet

Este artículo puede resultar demasiado técnico para la mayoría de los lectores . Ayúdenos a mejorarlo para que sea comprensible para los no expertos , sin eliminar los detalles técnicos. ( Agosto de 2017 ) ( Aprenda cómo y cuándo eliminar este mensaje )

En el procesamiento del lenguaje natural , la asignación de Dirichlet latente ( LDA ) es una red bayesiana (y, por lo tanto, un modelo estadístico generativo ) para modelar temas extraídos automáticamente en corpus textuales. La LDA es un ejemplo de un modelo de tópicos bayesianos . En este, las observaciones (por ejemplo, palabras) se recopilan en documentos y la presencia de cada palabra es atribuible a uno de los tópicos del documento. Cada documento contendrá una pequeña cantidad de tópicos.

En el contexto de la genética de poblaciones , el LDA fue propuesto por JK Pritchard , M. Stephens y P. Donnelly en 2000. ^{[1] [2]}

LDA fue aplicado en el aprendizaje automático por David Blei , Andrew Ng y Michael I. Jordan en 2003. ^[3]

En biología evolutiva y biomedicina, el modelo se utiliza para detectar la presencia de variación genética estructurada en un grupo de individuos. El modelo supone que los alelos que portan los individuos en estudio tienen su origen en varias poblaciones existentes o pasadas. El modelo y varios algoritmos de inferencia permiten a los científicos estimar las frecuencias de los alelos en esas poblaciones de origen y el origen de los alelos que portan los individuos en estudio. Las poblaciones de origen se pueden interpretar ex post en términos de varios escenarios evolutivos. En los estudios de asociación , la detección de la presencia de estructura genética se considera un paso preliminar necesario para evitar la confusión .

En la investigación en psicología clínica, el LDA se ha utilizado para identificar temas comunes de autoimágenes que experimentan los jóvenes en situaciones sociales. ^[4] Otros científicos sociales han utilizado el LDA para examinar grandes conjuntos de datos temáticos de debates en las redes sociales (por ejemplo, tuits sobre medicamentos recetados). ^[5]

Además, se ha desarrollado específicamente la asignación supervisada de datos latentes de Dirichlet con covariables (SLDAX) para combinar los temas latentes identificados en los textos con otras variables manifiestas. Este enfoque permite la integración de datos de texto como predictores en análisis de regresión estadística, mejorando la precisión de las predicciones de salud mental. Una de las principales ventajas de SLDAX sobre los enfoques tradicionales de dos etapas es su capacidad para evitar estimaciones sesgadas y errores estándar incorrectos, lo que permite un análisis más preciso de los textos psicológicos. ^{[6] [7]}

En el campo de las ciencias sociales, el análisis de datos de largo plazo ha demostrado ser útil para analizar grandes conjuntos de datos, como las discusiones en las redes sociales. Por ejemplo, los investigadores han utilizado el análisis de datos de largo plazo para investigar tuits que abordan temas socialmente relevantes, como el uso de medicamentos recetados. Al analizar estos grandes corpus de texto, es posible descubrir patrones y temas que de otro modo podrían pasar desapercibidos, lo que ofrece información valiosa sobre el discurso y la percepción públicos en tiempo real. ^{[8] [9]}

En el contexto de la musicología computacional , LDA se ha utilizado para descubrir estructuras tonales en diferentes corpus. ^[10]

Una aplicación de LDA en el aprendizaje automático (específicamente, el descubrimiento de temas , un subproblema del procesamiento del lenguaje natural ) es descubrir temas en una colección de documentos y luego clasificar automáticamente cualquier documento individual dentro de la colección en términos de cuán "relevante" es para cada uno de los temas descubiertos. Se considera que un tema es un conjunto de términos (es decir, palabras o frases individuales) que, tomados en conjunto, sugieren un tema compartido.

Por ejemplo, en una colección de documentos relacionada con animales domésticos, los términos dog (perro) , spaniel (spaniel) , beagle (beagle) , golden retriever ( perro ), puppy (cachorro ), bark (ladrido ) y woof (guau) sugerirían un tema relacionado con DOG ( perro) , mientras que los términos cat (gato) , siamese (siamés ), Maine coon (coon de Maine) , tabby (tabiche) , manx (manx ), meow (maullido ), purr ( ronroneo ) y kitten (gato) sugerirían un tema relacionado con CAT (gato). Puede haber muchos más temas en la colección (por ejemplo, relacionados con la dieta, el aseo, la atención médica, el comportamiento, etc.) que no analizamos por simplicidad. ( Las palabras vacías muy comunes en un idioma (por ejemplo, "the", "an", "that", "are", "is", etc.) no discriminarían entre temas y, por lo general, se filtran mediante el preprocesamiento antes de que se realice LDA. El preprocesamiento también convierte los términos a sus formas léxicas "raíz" (por ejemplo, "barks", "barking" y "barked" se convertirían en "bark").

Si la colección de documentos es lo suficientemente grande, LDA descubrirá dichos conjuntos de términos (es decir, temas) basándose en la coocurrencia de términos individuales, aunque la tarea de asignar una etiqueta significativa a un tema individual (es decir, que todos los términos estén relacionados con DOG) depende del usuario y, a menudo, requiere conocimientos especializados (por ejemplo, para la recopilación de documentos técnicos). El enfoque LDA supone que:

1. El contenido semántico de un documento se compone de la combinación de uno o más términos de uno o más temas.
2. Ciertos términos son ambiguos y pertenecen a más de un tema, con diferente probabilidad. (Por ejemplo, el término adiestramiento puede aplicarse tanto a perros como a gatos, pero es más probable que se refiera a los perros, que se utilizan como animales de trabajo o participan en competiciones de obediencia o habilidad). Sin embargo, en un documento, la presencia de términos vecinos específicos (que pertenecen a un solo tema) desambiguará su uso.
3. La mayoría de los documentos contienen solo una cantidad relativamente pequeña de temas. En la colección, por ejemplo, los temas individuales aparecen con diferentes frecuencias. Es decir, tienen una distribución de probabilidad, de modo que es más probable que un documento determinado contenga algunos temas que otros.
4. Dentro de un tema, ciertos términos se utilizarán con mucha más frecuencia que otros. En otras palabras, los términos dentro de un tema también tendrán su propia distribución de probabilidad.

Cuando se emplea el aprendizaje automático LDA, ambos conjuntos de probabilidades se calculan durante la fase de entrenamiento, utilizando métodos bayesianos y un algoritmo de maximización de expectativas .

LDA es una generalización del enfoque más antiguo del análisis semántico latente probabilístico (pLSA). El modelo pLSA es equivalente a LDA bajo una distribución previa de Dirichlet uniforme. ^[11] pLSA se basa únicamente en los dos primeros supuestos anteriores y no se preocupa por el resto. Si bien ambos métodos son similares en principio y requieren que el usuario especifique la cantidad de temas que se descubrirán antes del inicio del entrenamiento (como con la agrupación de K-medias ), LDA tiene las siguientes ventajas sobre pLSA:

• LDA produce una mejor desambiguación de palabras y una asignación más precisa de documentos a temas.
• El cálculo de probabilidades permite un proceso "generativo" mediante el cual se puede generar una colección de nuevos "documentos sintéticos" que reflejarían fielmente las características estadísticas de la colección original.
• A diferencia de LDA, pLSA es vulnerable al sobreajuste, especialmente cuando aumenta el tamaño del corpus.
• El algoritmo LDA se adapta mejor a la ampliación para grandes conjuntos de datos utilizando el enfoque MapReduce en un clúster informático.

Con la notación de placas , que se utiliza a menudo para representar modelos gráficos probabilísticos (PGM), las dependencias entre las distintas variables se pueden capturar de forma concisa. Los cuadros son "placas" que representan réplicas, que son entidades repetidas. La placa exterior representa documentos, mientras que la placa interior representa las posiciones de palabras repetidas en un documento determinado; cada posición está asociada con una elección de tema y palabra. Los nombres de las variables se definen de la siguiente manera:

M denota el número de documentos

N es el número de palabras en un documento determinado (el documento i tiene palabras)$Estilo de visualización N_{i}}$

α es el parámetro del prior de Dirichlet en las distribuciones de temas por documento

β es el parámetro del prior de Dirichlet sobre la distribución de palabras por tema

${\displaystyle \theta _{i}}$¿Cuál es la distribución del tema para el documento i?

${\displaystyle \varphi _{k}}$¿Es la distribución de palabras para el tema k?

$estilo de visualización z_{ij}}$¿Es el tema de la j -ésima palabra del documento i?

$estilo de visualización w_ {ij}}$Es la palabra específica.

El hecho de que W esté en gris significa que las palabras son las únicas variables observables y las otras variables son variables latentes . Como se propuso en el artículo original, ^[3] se puede utilizar una distribución previa de Dirichlet dispersa para modelar la distribución tema-palabra, siguiendo la intuición de que la distribución de probabilidad sobre las palabras de un tema está sesgada, de modo que solo un pequeño conjunto de palabras tiene alta probabilidad. El modelo resultante es la variante más ampliamente aplicada de LDA en la actualidad. La notación de placa para este modelo se muestra a la derecha, donde denota el número de temas y son vectores dimensionales que almacenan los parámetros de las distribuciones tema-palabra distribuidas por Dirichlet ( es el número de palabras en el vocabulario).$estilo de visualización w_ {ij}}$${\estilo de visualización K}$${\displaystyle \varphi _{1},\dots,\varphi _{K}}$ ${\estilo de visualización V}$${\estilo de visualización V}$

Resulta útil pensar en las entidades representadas por y como matrices creadas al descomponer la matriz documento-palabra original que representa el corpus de documentos que se está modelando. En esta perspectiva, consta de filas definidas por documentos y columnas definidas por temas, mientras que consta de filas definidas por temas y columnas definidas por palabras. Por lo tanto, se refiere a un conjunto de filas o vectores, cada uno de los cuales es una distribución sobre palabras, y se refiere a un conjunto de filas, cada uno de los cuales es una distribución sobre temas.${\estilo de visualización \theta}$${\estilo de visualización \varphi}$${\estilo de visualización \theta}$${\estilo de visualización \varphi}$${\displaystyle \varphi _{1},\dots,\varphi _{K}}$${\displaystyle \theta _{1},\puntos ,\theta _{M}}$

Para inferir realmente los temas de un corpus, imaginamos un proceso generativo mediante el cual se crean los documentos, de modo que podamos inferirlos o aplicarles ingeniería inversa. Imaginamos el proceso generativo de la siguiente manera. Los documentos se representan como mezclas aleatorias sobre temas latentes, donde cada tema se caracteriza por una distribución sobre todas las palabras. LDA supone el siguiente proceso generativo para un corpus que consta de documentos, cada uno de ellos de longitud :${\estilo de visualización D}$${\estilo de visualización M}$$Estilo de visualización N_{i}}$

1. Elija , donde y es una distribución de Dirichlet con un parámetro simétrico que normalmente es escaso ( )${\displaystyle \theta _{i}\sim \operatorname {Dir} (\alpha )}$${\displaystyle i\en \{1,\puntos ,M\}}$${\displaystyle \mathrm {Dir} (\alpha)}$${\estilo de visualización \alpha}$${\displaystyle \alpha <1}$

2. Elija , donde y normalmente es escaso${\displaystyle \varphi _{k}\sim \operatorname {Dir} (\beta)}$${\displaystyle k\en \{1,\puntos ,K\}}$${\estilo de visualización \beta}$

3. Para cada una de las posiciones de las palabras , donde , y${\estilo de visualización i,j}$${\displaystyle i\en \{1,\puntos ,M\}}$${\displaystyle j\en \{1,\puntos ,N_{i}\}}$

(a) Elija un tema${\displaystyle z_{i,j}\sim \operatorname {Multinomial} (\theta _{i}).}$

(b) Elige una palabra${\displaystyle w_{i,j}\sim \operatorname {Multinomial} (\varphi _ {z_{i,j}}).}$

(Tenga en cuenta que la distribución multinomial aquí se refiere a la distribución multinomial con un solo ensayo, que también se conoce como distribución categórica ).

Las longitudes se tratan como independientes de todas las demás variables generadoras de datos ( y ). El subíndice suele omitirse, como en los diagramas de placas que se muestran aquí.$Estilo de visualización N_{i}}$${\estilo de visualización w}$${\estilo de visualización z}$

Una descripción formal de LDA es la siguiente:

Definición de variables en el modelo

Variable	Tipo	Significado
${\estilo de visualización K}$	entero	Número de temas (por ejemplo, 50)
${\estilo de visualización V}$	entero	Número de palabras en el vocabulario (por ejemplo, 50 000 o 1 000 000)
${\estilo de visualización M}$	entero	Número de documentos
${\displaystyle N_{d=1\puntos M}}$	entero	Número de palabras en el documento d
${\estilo de visualización N}$	entero	número total de palabras en todos los documentos; suma de todos los valores, es decir$Estilo de visualización N_ {d}$${\displaystyle N=\sum _ {d=1}^{M}N_ {d}}$
${\displaystyle \alpha _{k=1\puntos K}}$	real positivo	peso previo del tema k en un documento; generalmente el mismo para todos los temas; normalmente un número menor que 1, p. ej. 0,1, para preferir distribuciones de temas dispersas, es decir, pocos temas por documento
${\displaystyle {\boldsymbol {\alpha }}}$	Vector de dimensiones k de números reales positivos	Colección de todos los valores, vistos como un único vector.${\displaystyle \alpha _{k}}$
${\displaystyle \beta _ {w=1\dots V}}$	real positivo	peso previo de la palabra w en un tema; generalmente el mismo para todas las palabras; normalmente un número mucho menor que 1, p. ej. 0,001, para preferir fuertemente distribuciones de palabras dispersas, es decir, pocas palabras por tema
${\displaystyle {\boldsymbol {\beta }}}$	Vector de dimensiones V de reales positivos	Colección de todos los valores, vistos como un único vector.${\displaystyle \beta _{w}}$
${\displaystyle \varphi _{k=1\dots K,w=1\dots V}}$	probabilidad (número real entre 0 y 1)	probabilidad de que la palabra w aparezca en el tema k
${\displaystyle {\boldsymbol {\varphi }}_{k=1\dots K}}$	Vector de probabilidades de dimensión V , que debe sumar 1	distribución de palabras en el tema k
${\displaystyle \theta _{d=1\puntos M,k=1\puntos K}}$	probabilidad (número real entre 0 y 1)	probabilidad de que el tema k aparezca en el documento d
${\displaystyle {\boldsymbol {\theta}}_{d=1\puntos M}}$	Vector de probabilidades de dimensión K , que debe sumar 1	distribución de temas en el documento d
${\displaystyle z_{d=1\puntos M,w=1\puntos N_{d}}}$	entero entre 1 y K	Identidad del tema de la palabra w en el documento d
${\displaystyle \mathbf {Z}}$	Vector n -dimensional de números enteros entre 1 y K	Identidad del tema de todas las palabras en todos los documentos
${\displaystyle w_{d=1\puntos M,w=1\puntos N_{d}}}$	entero entre 1 y V	Identidad de la palabra w en el documento d
${\displaystyle \mathbf {W}}$	Vector n -dimensional de números enteros entre 1 y V	Identidad de todas las palabras en todos los documentos

Podemos entonces describir matemáticamente las variables aleatorias de la siguiente manera:

${\displaystyle {\begin{aligned}{\boldsymbol {\varphi }}_{k=1\puntos K}&\sim \operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\{\boldsymbol {\theta }}_{d=1\puntos M}&\sim \operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\puntos M,w=1\puntos N_{d}}&\sim \operatorname {Categórico} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\puntos M,w=1\puntos N_{d}}&\sim \operatorname {Categórico} _{V}({\boldsymbol {\varphi }}_{z_{dw}})\end{aligned}}}$

Aprender las distintas distribuciones (el conjunto de temas, sus probabilidades de palabras asociadas, el tema de cada palabra y la mezcla particular de temas de cada documento) es un problema de inferencia estadística .

El artículo original de Pritchard et al. ^[1] utilizó la aproximación de la distribución posterior mediante simulación de Monte Carlo. Las técnicas de inferencia propuestas alternativamente incluyen el muestreo de Gibbs . ^[12]

El artículo original de ML utilizó una aproximación de Bayes variacional de la distribución posterior . ^[3]

Una optimización directa de la probabilidad con un algoritmo de relajación de bloques demuestra ser una alternativa rápida al MCMC. ^[13]

En la práctica, el número óptimo de poblaciones o temas no se conoce de antemano. Se puede estimar mediante la aproximación de la distribución posterior con el método Monte Carlo de cadena de Markov con saltos reversibles . ^[14]

Los enfoques alternativos incluyen la propagación de expectativas . ^[15]

Las investigaciones recientes se han centrado en acelerar la inferencia de la asignación de Dirichlet latente para respaldar la captura de una cantidad masiva de temas en una gran cantidad de documentos. La ecuación de actualización del muestreador de Gibbs colapsado mencionado en la sección anterior tiene una escasez natural dentro de ella que se puede aprovechar. Intuitivamente, dado que cada documento solo contiene un subconjunto de temas y una palabra también solo aparece en un subconjunto de temas , la ecuación de actualización anterior podría reescribirse para aprovechar esta escasez. ^[16]$Estilo de visualización K_ {d}}$$Estilo de visualización K_ {w}}$

${\displaystyle p(Z_{d,n}=k)\propto {\frac {\alpha \beta }{C_{k}^{\neg n}+V\beta }}+{\frac {C_{k}^{d}\beta }{C_{k}^{\neg n}+V\beta }}+{\frac {C_{k}^{w}(\alpha +C_{k}^{d})}{C_{k}^{\neg n}+V\beta }}}$

En esta ecuación, tenemos tres términos, de los cuales dos son escasos y el otro es pequeño. Los llamamos términos y respectivamente. Ahora, si normalizamos cada término sumando todos los tópicos, obtenemos:${\displaystyle a,b}$${\displaystyle c}$

${\displaystyle A=\sum _{k=1}^{K}{\frac {\alpha \beta }{C_{k}^{\neg n}+V\beta }}}$

${\displaystyle B=\sum _{k=1}^{K}{\frac {C_{k}^{d}\beta }{C_{k}^{\neg n}+V\beta }}}$

${\displaystyle C=\sum _{k=1}^{K}{\frac {C_{k}^{w}(\alpha +C_{k}^{d})}{C_{k}^{\neg n}+V\beta }}}$

Aquí, podemos ver que es una suma de los temas que aparecen en el documento , y también es una suma dispersa de los temas a los que se asigna una palabra en todo el corpus. por otro lado, es denso pero debido a los pequeños valores de & , el valor es muy pequeño en comparación con los otros dos términos.${\displaystyle B}$${\displaystyle d}$${\displaystyle C}$${\displaystyle w}$${\displaystyle A}$${\displaystyle \alpha }$${\displaystyle \beta }$

Ahora, al muestrear un tema, si muestreamos una variable aleatoria de manera uniforme de , podemos verificar en qué grupo cae nuestra muestra. Dado que es pequeño, es muy poco probable que caigamos en este grupo; sin embargo, si caemos en este grupo, muestrear un tema lleva tiempo (igual que el muestreador de Gibbs colapsado original). Sin embargo, si caemos en los otros dos grupos, solo necesitamos verificar un subconjunto de temas si mantenemos un registro de los temas dispersos. Un tema se puede muestrear del grupo en el tiempo, y un tema se puede muestrear del grupo en el tiempo donde y denota la cantidad de temas asignados al documento actual y al tipo de palabra actual respectivamente.${\displaystyle s\sim U(s|\mid A+B+C)}$${\displaystyle A}$${\displaystyle O(K)}$${\displaystyle B}$${\displaystyle O(K_{d})}$${\displaystyle C}$${\displaystyle O(K_{w})}$${\displaystyle K_{d}}$${\displaystyle K_{w}}$

Tenga en cuenta que después de muestrear cada tema, la actualización de estos grupos se realiza mediante operaciones aritméticas básicas.${\displaystyle O(1)}$

A continuación se presenta la derivación de las ecuaciones para el muestreo de Gibbs colapsado , lo que significa que s y s se integrarán. Para simplificar, en esta derivación se supone que todos los documentos tienen la misma longitud . La derivación es igualmente válida si las longitudes de los documentos varían.${\displaystyle \varphi }$${\displaystyle \theta }$${\displaystyle N_{}}$

Según el modelo, la probabilidad total del modelo es:

${\displaystyle P({\boldsymbol {W}},{\boldsymbol {Z}},{\boldsymbol {\theta }},{\boldsymbol {\varphi }};\alpha ,\beta )=\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})P(W_{j,t}\mid \varphi _{Z_{j,t}}),}$

donde las variables en negrita indican la versión vectorial de las variables. Primero, y deben integrarse.${\displaystyle {\boldsymbol {\varphi }}}$${\displaystyle {\boldsymbol {\theta }}}$

${\displaystyle {\begin{aligned}&P({\boldsymbol {Z}},{\boldsymbol {W}};\alpha ,\beta )=\int _{\boldsymbol {\theta }}\int _{\boldsymbol {\varphi }}P({\boldsymbol {W}},{\boldsymbol {Z}},{\boldsymbol {\theta }},{\boldsymbol {\varphi }};\alpha ,\beta )\,d{\boldsymbol {\varphi }}\,d{\boldsymbol {\theta }}\\={}&\int _{\boldsymbol {\varphi }}\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d{\boldsymbol {\varphi }}\int _{\boldsymbol {\theta }}\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d{\boldsymbol {\theta }}.\end{aligned}}}$

Todos los s son independientes entre sí y lo mismo para todos los s. Por lo tanto, podemos tratar cada uno por separado. Ahora nos centraremos solo en la parte.${\displaystyle \theta }$${\displaystyle \varphi }$${\displaystyle \theta }$${\displaystyle \varphi }$${\displaystyle \theta }$

${\displaystyle \int _{\boldsymbol {\theta }}\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d{\boldsymbol {\theta }}=\prod _{j=1}^{M}\int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}.}$

Podemos centrarnos en uno solo como los siguientes:${\displaystyle \theta }$

${\displaystyle \int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}.}$

En realidad, es la parte oculta del modelo del documento. Ahora reemplazamos las probabilidades en la ecuación anterior por la expresión de distribución verdadera para escribir la ecuación explícita.${\displaystyle j^{th}}$

${\displaystyle \int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{\alpha _{i}-1}\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}.}$

Sea la cantidad de tokens de palabras en el documento con el mismo símbolo de palabra (la palabra en el vocabulario) asignado al tema. Por lo tanto, es tridimensional. Si alguna de las tres dimensiones no está limitada a un valor específico, usamos un punto entre paréntesis para indicarlo. Por ejemplo, indica la cantidad de tokens de palabras en el documento asignados al tema. Por lo tanto, la parte más a la derecha de la ecuación anterior se puede reescribir como:${\displaystyle n_{j,r}^{i}}$${\displaystyle j^{th}}$${\displaystyle r^{th}}$${\displaystyle i^{th}}$${\displaystyle n_{j,r}^{i}}$${\displaystyle (\cdot )}$${\displaystyle n_{j,(\cdot )}^{i}}$${\displaystyle j^{th}}$${\displaystyle i^{th}}$

${\displaystyle \prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})=\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}}.}$

Por lo tanto la fórmula de integración se puede cambiar a:${\displaystyle \theta _{j}}$

${\displaystyle \int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{\alpha _{i}-1}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}}\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}.}$

La ecuación dentro de la integración tiene la misma forma que la distribución de Dirichlet . Según la distribución de Dirichlet ,

${\displaystyle \int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}=1.}$

De este modo,

${\displaystyle {\begin{aligned}&\int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}\\[8pt]={}&{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}\\[8pt]={}&{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}.\end{aligned}}}$

Ahora nos centraremos en la parte. En realidad, la derivación de la parte es muy similar a la parte. Aquí solo enumeramos los pasos de la derivación:${\displaystyle {\boldsymbol {\varphi }}}$${\displaystyle {\boldsymbol {\varphi }}}$${\displaystyle {\boldsymbol {\theta }}}$

${\displaystyle {\begin{aligned}&\int _{\boldsymbol {\varphi }}\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d{\boldsymbol {\varphi }}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\prod _{r=1}^{V}\varphi _{i,r}^{\beta _{r}-1}\prod _{r=1}^{V}\varphi _{i,r}^{n_{(\cdot ),r}^{i}}\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\prod _{r=1}^{V}\varphi _{i,r}^{n_{(\cdot ),r}^{i}+\beta _{r}-1}\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}{\frac {\prod _{r=1}^{V}\Gamma (n_{(\cdot ),r}^{i}+\beta _{r})}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.\end{aligned}}}$

Para mayor claridad, aquí escribimos la ecuación final con ambos y integrados:${\displaystyle {\boldsymbol {\phi }}}$${\displaystyle {\boldsymbol {\theta }}}$

${\displaystyle P({\boldsymbol {Z}},{\boldsymbol {W}};\alpha ,\beta )=\prod _{j=1}^{M}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\times \prod _{i=1}^{K}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}{\frac {\prod _{r=1}^{V}\Gamma (n_{(\cdot ),r}^{i}+\beta _{r})}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.}$

El objetivo del muestreo de Gibbs es aproximar la distribución de . Como es invariable para cualquiera de Z, las ecuaciones de muestreo de Gibbs se pueden derivar directamente de . El punto clave es derivar la siguiente probabilidad condicional:${\displaystyle P({\boldsymbol {Z}}\mid {\boldsymbol {W}};\alpha ,\beta )}$${\displaystyle P({\boldsymbol {W}};\alpha ,\beta )}$${\displaystyle P({\boldsymbol {Z}},{\boldsymbol {W}};\alpha ,\beta )}$

${\displaystyle P(Z_{(m,n)}\mid {\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )={\frac {P(Z_{(m,n)},{\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )}{P({\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )}},}$

donde denota la variable oculta del token de palabra en el documento. Y además asumimos que el símbolo de palabra es la palabra en el vocabulario. denota todos los s excepto . Tenga en cuenta que el muestreo de Gibbs solo necesita muestrear un valor para , de acuerdo con la probabilidad anterior, no necesitamos el valor exacto de${\displaystyle Z_{(m,n)}}$${\displaystyle Z}$${\displaystyle n^{th}}$${\displaystyle m^{th}}$${\displaystyle v^{th}}$${\displaystyle {\boldsymbol {Z_{-(m,n)}}}}$${\displaystyle Z}$${\displaystyle Z_{(m,n)}}$${\displaystyle Z_{(m,n)}}$

${\displaystyle P\left(Z_{m,n}\mid {\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta \right)}$

pero las razones entre las probabilidades que pueden tomar valor. Por lo tanto, la ecuación anterior se puede simplificar como:${\displaystyle Z_{(m,n)}}$

${\displaystyle {\begin{aligned}P(&Z_{(m,n)}=v\mid {\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )\\[8pt]&\propto P(Z_{(m,n)}=v,{\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )\\[8pt]&=\left({\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\right)^{M}\prod _{j\neq m}{\frac {\prod _{i=1}^{K}\Gamma \left(n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\left({\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\right)^{K}\prod _{i=1}^{K}\prod _{r\neq v}\Gamma \left(n_{(\cdot ),r}^{i}+\beta _{r}\right){\frac {\prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{m,(\cdot )}^{i}+\alpha _{i}\right)}}\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}\\[8pt]&\propto {\frac {\prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{m,(\cdot )}^{i}+\alpha _{i}\right)}}\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}\\[8pt]&\propto \prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.\end{aligned}}}$

Finalmente, sea el mismo significado que pero con la función gamma excluida. La ecuación anterior se puede simplificar aún más aprovechando la propiedad de la función gamma . Primero dividimos la suma y luego la volvemos a fusionar para obtener una suma independiente de , que se puede descartar:${\displaystyle n_{j,r}^{i,-(m,n)}}$${\displaystyle n_{j,r}^{i}}$${\displaystyle Z_{(m,n)}}$${\displaystyle k}$

${\displaystyle {\begin{aligned}&\propto \prod _{i\neq k}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i\neq k}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\Gamma \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}+1\right){\frac {\Gamma \left(n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}+1\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}+1\right)}}\\[8pt]&=\prod _{i\neq k}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i\neq k}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\Gamma \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {\Gamma \left(n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}\right)}}\left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\\[8pt]&=\prod _{i}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\\[8pt]&\propto \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\end{aligned}}}$

Tenga en cuenta que la misma fórmula se deriva en el artículo sobre la distribución multinomial de Dirichlet , como parte de una discusión más general sobre la integración de valores previos de distribución de Dirichlet a partir de una red bayesiana .

El modelado de temas es una solución clásica al problema de recuperación de información utilizando datos vinculados y tecnología de web semántica. ^[17] Los modelos y técnicas relacionados son, entre otros, la indexación semántica latente , el análisis de componentes independientes , la indexación semántica latente probabilística , la factorización matricial no negativa y la distribución Gamma-Poisson .

El modelo LDA es altamente modular y por lo tanto puede extenderse fácilmente. El principal campo de interés es modelar las relaciones entre temas. Esto se logra utilizando otra distribución en el símplex en lugar del Dirichlet. El modelo de temas correlacionados ^[18] sigue este enfoque, induciendo una estructura de correlación entre temas utilizando la distribución normal logística en lugar del Dirichlet. Otra extensión es el LDA jerárquico (hLDA), ^[19] donde los temas se unen en una jerarquía utilizando el proceso de restaurante chino anidado , cuya estructura se aprende a partir de los datos. El LDA también se puede extender a un corpus en el que un documento incluye dos tipos de información (por ejemplo, palabras y nombres), como en el modelo LDA-dual. ^[20] Las extensiones no paramétricas del LDA incluyen el modelo de mezcla de procesos Dirichlet jerárquico , que permite que el número de temas sea ilimitado y se aprenda a partir de los datos.

Como se señaló anteriormente, pLSA es similar a LDA. El modelo LDA es esencialmente la versión bayesiana del modelo pLSA. La formulación bayesiana tiende a funcionar mejor en conjuntos de datos pequeños porque los métodos bayesianos pueden evitar el sobreajuste de los datos. Para conjuntos de datos muy grandes, los resultados de los dos modelos tienden a converger. Una diferencia es que pLSA utiliza una variable para representar un documento en el conjunto de entrenamiento. Entonces, en pLSA, cuando se presenta un documento que el modelo no ha visto antes, fijamos —la probabilidad de palabras bajo temas— para que sea la aprendida del conjunto de entrenamiento y usamos el mismo algoritmo EM para inferir —la distribución de temas bajo . Blei sostiene que este paso es hacer trampa porque esencialmente estás reajustando el modelo a los nuevos datos.${\displaystyle d}$${\displaystyle \Pr(w\mid z)}$${\displaystyle \Pr(z\mid d)}$${\displaystyle d}$

En biología evolutiva, suele ser natural suponer que las ubicaciones geográficas de los individuos observados aportan cierta información sobre su ascendencia. Esta es la razón de ser de varios modelos para datos genéticos georreferenciados. ^{[14] [21]}

Se han utilizado variaciones de LDA para colocar automáticamente imágenes naturales en categorías, como "dormitorio" o "bosque", tratando una imagen como un documento y pequeños fragmentos de la imagen como palabras; ^[22] una de las variaciones se llama asignación de Dirichlet latente espacial. ^[23]

• Métodos bayesianos variacionales
• Asignación de Pachinko
• tf-idf
• Inferir.NET

This article's use of external links may not follow Wikipedia's policies or guidelines. Please improve this article by removing excessive or inappropriate external links, and converting useful links where appropriate into footnote references. (June 2016) (Learn how and when to remove this message)

• jLDADMM Un paquete Java para modelado de temas en textos normales o cortos. jLDADMM incluye implementaciones del modelo de temas LDA y el modelo de mezcla multinomial de Dirichlet de un tema por documento . jLDADMM también proporciona una implementación para la evaluación de agrupamiento de documentos para comparar modelos de temas.
• STTM Un paquete Java para modelado de temas de texto cortos (https://github.com/qiang2100/STTM). STTM incluye los siguientes algoritmos: Dirichlet Multinomial Mixture (DMM) en la conferencia KDD2014, Biterm Topic Model (BTM) en la revista TKDE2016, Word Network Topic Model (WNTM) en la revista KAIS2018, Pseudo-Document-Based Topic Model (PTM) en la conferencia KDD2016, Self-Aggregation-Based Topic Model (SATM) en la conferencia IJCAI2015, (ETM) en la conferencia PAKDD2017, Generalized P'olya Urn (GPU) based Dirichlet Multinomial Mixturemodel (GPU-DMM) en la conferencia SIGIR2016, Generalized P'olya Urn (GPU) based Poisson-based Dirichlet Multinomial Mixturemodel (GPU-PDMM) en la revista TIS2017 y Latent Feature Model with DMM (LF-DMM) en la revista TACL2015. STTM también incluye seis corpus de texto breves para evaluación. STTM presenta tres aspectos sobre cómo evaluar el desempeño de los algoritmos (es decir, coherencia temática, agrupamiento y clasificación).
• Conferencia que cubre parte de la notación de este artículo: LDA y modelado de temas Conferencia en video por David Blei o la misma conferencia en YouTube
• Bibliografía de LDA de D. Mimno Una lista exhaustiva de recursos relacionados con LDA (incluye artículos y algunas implementaciones)
• Gensim , una implementación Python+ NumPy de LDA en línea para entradas más grandes que la RAM disponible.
• topicmodels y lda son dos paquetes R para el análisis LDA.
• MALLET Paquete de código abierto basado en Java de la Universidad de Massachusetts-Amherst para modelado de temas con LDA, también tiene una GUI desarrollada independientemente, la herramienta de modelado de temas.
• LDA en la implementación de Mahout de LDA utilizando MapReduce en la plataforma Hadoop
• Tutorial de asignación de Dirichlet latente (LDA) para el marco de computación de máquinas Infer.NET Marco de aprendizaje automático de C# de Microsoft Research
• LDA en Spark: desde la versión 1.3.0, Apache Spark también cuenta con una implementación de LDA
• LDA, ejemplo de implementación de LDA en MATLAB