Agrupamiento de documentos

La agrupación de documentos (o agrupación de textos ) es la aplicación del análisis de agrupaciones a documentos textuales. Tiene aplicaciones en la organización automática de documentos, la extracción de temas y la recuperación o filtrado rápido de información .

Descripción general

La agrupación de documentos implica el uso de descriptores y la extracción de descriptores. Los descriptores son conjuntos de palabras que describen el contenido dentro del clúster. La agrupación de documentos se considera generalmente un proceso centralizado. Entre los ejemplos de agrupación de documentos se incluye la agrupación de documentos web para usuarios de búsqueda.

La aplicación de la agrupación de documentos se puede clasificar en dos tipos: en línea y fuera de línea. Las aplicaciones en línea suelen estar limitadas por problemas de eficiencia en comparación con las aplicaciones fuera de línea. La agrupación de texto se puede utilizar para diferentes tareas, como agrupar documentos similares (noticias, tweets, etc.) y el análisis de comentarios de clientes/empleados, descubriendo temas implícitos significativos en todos los documentos.

En general, existen dos algoritmos comunes. El primero es el algoritmo jerárquico, que incluye el enlace único, el enlace completo, el promedio de grupo y el método de Ward. Al agregar o dividir, los documentos se pueden agrupar en una estructura jerárquica, que es adecuada para la navegación. Sin embargo, este tipo de algoritmo suele tener problemas de eficiencia. El otro algoritmo se desarrolla utilizando el algoritmo K-means y sus variantes. En general, los algoritmos jerárquicos producen información más detallada para análisis detallados, mientras que los algoritmos basados en variantes del algoritmo K-means son más eficientes y brindan información suficiente para la mayoría de los propósitos. ^[1]^{: Cap.14}

Estos algoritmos pueden clasificarse además como algoritmos de agrupamiento duro o blando. El agrupamiento duro calcula una asignación dura: cada documento es miembro de exactamente un clúster. La asignación de los algoritmos de agrupamiento blando es blanda: la asignación de un documento es una distribución sobre todos los clústeres. En una asignación blanda, un documento tiene membresía fraccionaria en varios clústeres. ^[1]^{: 499} Los métodos de reducción de dimensionalidad pueden considerarse un subtipo de agrupamiento blando; para los documentos, estos incluyen la indexación semántica latente ( descomposición de valores singulares truncados en histogramas de términos) ^[2] y los modelos de temas .

Otros algoritmos incluyen agrupamiento basado en gráficos, agrupamiento respaldado por ontología y agrupamiento sensible al orden.

Dado un agrupamiento, puede resultar beneficioso derivar automáticamente etiquetas legibles para los grupos. Existen varios métodos para este propósito.

Agrupamiento en motores de búsqueda

Un motor de búsqueda web suele devolver miles de páginas en respuesta a una consulta amplia, lo que dificulta a los usuarios navegar o identificar información relevante. Se pueden utilizar métodos de agrupamiento para agrupar automáticamente los documentos recuperados en una lista de categorías significativas.

Procedimientos

En la práctica, la agrupación de documentos suele seguir los siguientes pasos:

1. Tokenización

La tokenización es el proceso de analizar datos de texto en unidades más pequeñas (tokens), como palabras y frases. Los métodos de tokenización más utilizados incluyen el modelo de bolsa de palabras y el modelo de N-gramas .

2. Derivación y lematización

Diferentes tokens pueden llevar a cabo información similar (por ejemplo, tokenización y tokenización). Y podemos evitar calcular información similar repetidamente al reducir todos los tokens a su forma base utilizando varios diccionarios de lematización y derivación.

3. Eliminar palabras vacías y signos de puntuación

Algunas palabras clave son menos importantes que otras. Por ejemplo, palabras comunes como "the" podrían no ser muy útiles para revelar las características esenciales de un texto. Por lo tanto, generalmente es una buena idea eliminar las palabras vacías y los signos de puntuación antes de realizar un análisis más profundo.

4. Cálculo de frecuencias de términos o tf-idf

Después de preprocesar los datos de texto, podemos proceder a generar características. Para la agrupación de documentos, una de las formas más comunes de generar características para un documento es calcular las frecuencias de los términos de todos sus tokens. Aunque no son perfectas, estas frecuencias suelen proporcionar algunas pistas sobre el tema del documento. Y a veces también es útil ponderar las frecuencias de los términos por las frecuencias inversas del documento. Consulte tf-idf para obtener información detallada.

5. Agrupamiento

Luego podemos agrupar distintos documentos en función de las características que hemos generado. Consulta la sección de algoritmos en el análisis de conglomerados para conocer los distintos tipos de métodos de agrupamiento.

6. Evaluación y visualización

Por último, los modelos de agrupamiento se pueden evaluar mediante diversas métricas. A veces resulta útil visualizar los resultados representando gráficamente los grupos en un espacio de baja dimensión (bidimensional). El escalamiento multidimensional es un posible enfoque.

Agrupamiento vs. Clasificación

Los algoritmos de agrupamiento en el análisis de texto computacional agrupan documentos en un conjunto de texto llamado subconjuntos o clústeres , donde el objetivo del algoritmo es crear clústeres coherentes internamente que sean distintos entre sí. ^[3] La clasificación, por otro lado, es una forma de aprendizaje supervisado donde las características de los documentos se utilizan para predecir el "tipo" de documentos.

Véase también

Referencias

^ ab Manning, Chris y Hinrich Schütze, Fundamentos del procesamiento estadístico del lenguaje natural , MIT Press. Cambridge, MA: mayo de 1999.
^ http://nlp.stanford.edu/IR-book/pdf/16flat.pdf ^{[ URL básica PDF ]}
^ "Introducción a la recuperación de información". nlp.stanford.edu . p. 349 . Consultado el 3 de mayo de 2016 .

Bibliografía

Christopher D. Manning, Prabhakar Raghavan y Hinrich Schütze. Agrupamiento plano en Introducción a la recuperación de información. Cambridge University Press. 2008
Nicholas O. Andrews y Edward A. Fox, Desarrollos recientes en agrupamiento de documentos, 16 de octubre de 2007 [1]
Claudio Carpineto, Stanislaw Osiński, Giovanni Romano, Dawid Weiss. Un estudio de los motores de agrupamiento web. ACM Computing Surveys, volumen 41, número 3 (julio de 2009), artículo n.º 17, ISSN 0360-0300
Wui Lee Chang, Kai Meng Tay y Chee Peng Lim, Un nuevo modelo evolutivo basado en árboles con reaprendizaje local para agrupamiento y visualización de documentos, Neural Processing Letters, DOI: 10.1007/s11063-017-9597-3. https://link.springer.com/article/10.1007/s11063-017-9597-3

[manning-1] Manning, Chris y Hinrich Schütze, Fundamentos del procesamiento estadístico del lenguaje natural , MIT Press. Cambridge, MA: mayo de 1999.

[2] ttp://nlp.stanford.edu/IR-book/pdf/16flat.pdf ^{[ URL básica PDF ]}

[3] "Introducción a la recuperación de información". nlp.stanford.edu . p. 349 . Consultado el 3 de mayo de 2016 .