Huawei PanGu

Un editor ha realizado una búsqueda y ha encontrado que existen suficientes fuentes para establecer la notoriedad del tema . Ayude a mejorar este artículo agregando citas de fuentes confiables . El material sin fuentes puede ser cuestionado y eliminado. Buscar fuentes:  «Huawei PanGu» – noticias  · periódicos  · libros  · académico  · JSTOR ( agosto de 2024 ) ( Aprenda cómo y cuándo eliminar este mensaje )

Huawei PanGu

Desarrollador(es)	Huawei
Lanzamiento inicial	3.0, 7 de julio de 2023 ; hace 17 meses ( 07-07-2023 )
Versión estable	5.0 / 21 de junio de 2024 ; hace 6 meses ( 21/06/2024 )
Disponible en	Chino , inglés , ruso
Tipo	Modelo de lenguaje grande
Licencia	Propiedad

Huawei PanGu , PanGu , PanGu-Σ o PanGu-π ( chino :盘古大模型; pinyin : pángǔ dà móxíng ) es un modelo de lenguaje grande multimodal desarrollado por Huawei . Fue anunciado el 7 de julio de 2023. ^[1]

El nombre del gran modelo de aprendizaje del lenguaje, PanGu , se deriva de la mitología y el folclore chino de Pangu , un personaje primordial relacionado con la creación del mundo. ^[2]

En abril de 2023, Huawei publicó un artículo que detalla el desarrollo de PanGu-Σ, un modelo de lenguaje colosal con 1,085 billones de parámetros. Desarrollado dentro del marco MindSpore 5 de Huawei , PanGu-Σ se sometió a un entrenamiento de más de 100 días en un sistema de clúster equipado con 512 chips aceleradores de IA Ascend 910, que procesan 329 mil millones de tokens en más de 40 lenguajes naturales y de programación . ^[3]

PanGu-Σ incorpora expertos en rutas aleatorias (RRE) y la arquitectura del decodificador Transformer, lo que permite una fácil extracción de submodelos para varias aplicaciones como conversación, traducción, producción de código e interpretación del lenguaje natural. El modelo logra un rendimiento de entrenamiento 6,3 veces más rápido en comparación con los modelos MoE con los mismos hiperparámetros. En el dominio chino, supera a los modelos de última generación anteriores en 16 tareas en un entorno de cero disparos. Entrenado en conjuntos de datos de 40 dominios, incluidos chino, inglés, bilingüe y código, PanGu-Σ se destaca en la comprensión del lenguaje natural de pocos disparos , la discusión de dominio abierto, la respuesta a preguntas, la traducción automática y la creación de código. ^{[4] [5]}

Durante la Conferencia de Desarrolladores de Huawei del 7 de julio de 2023, Huawei presentó PanGu 3.0, un modelo de lenguaje extenso (LLM), diseñado para sectores como el gobierno, las finanzas, la fabricación, la minería y la meteorología que utilizan las soluciones Huawei Cloud  [zh] . El mes siguiente, Huawei lanzó el Asistente Virtual Celia con funciones avanzadas de IA, capaz de generar respuestas de texto extensas basadas en comandos de voz del usuario y que se lanzará con HarmonyOS 4.0 para dispositivos elegibles. ^{[6] [7]}

El LLM fue diseñado para empresas que buscan ventajas en la industria de la IA, centrándose en la ejecución de tareas en lugar del trabajo creativo, a diferencia de los modelos tradicionales utilizados para fines generales como chatbots, poesía y creación de contenido visual. ^[8]

Utilizando la misma tecnología que ChatGPT , el LLM de Huawei presenta una arquitectura jerárquica, que permite a los clientes adaptar el modelo a diversas tareas y entrenarlo en sus propios conjuntos de datos, haciéndolo versátil en diversas industrias. ^[9]

El 5 de agosto de 2023, Huawei se asoció con el Centro Europeo de Previsiones Meteorológicas a Plazo Medio (ECMWF) para lanzar un modelo de IA de previsión meteorológica global. Este modelo utilizó las soluciones de Huawei Cloud y el modelo meteorológico PanGu con MindSpore . Se puede acceder a él en el sitio web del ECMWF y su objetivo es proporcionar datos meteorológicos precisos. ^{[10] [11]}

El 19 de diciembre de 2023, Huawei anunció sus servicios financieros en la plataforma AI Finance impulsada por PanGu para el mercado global. El gigante tecnológico presentó este producto en la Cumbre Huawei Cloud Fintech de 2023, con el objetivo de remodelar la industria de las finanzas digitales con funciones eficientes para impulsar a las empresas de tecnología financiera en todo el mundo. La plataforma incorporó una variedad de tecnologías avanzadas, incluidas la inteligencia artificial, el análisis de big data y la cadena de bloques. ^[12]

El 21 de junio de 2024, en HDC 2024, Huawei anunció la actualización de PanGu 5.0 junto con HarmonyOS NEXT . Esta versión se integra con Harmony Intelligence , que presenta una Celia (Xiaoyi) más inteligente y se centra en actualizaciones de IA generativa para su plataforma LLM para crear contenido nuevo, como texto, código o imágenes. Con el objetivo de hacer que PanGu sea accesible para una amplia gama de desarrolladores y empresas, ofreció opciones escalables: modelos más pequeños que requieren menos potencia computacional para aquellos con recursos limitados y modelos más grandes con mayores capacidades para tareas complejas que requieren más potencia de procesamiento. ^[13]

PanGu Large Model 3.0, diseñado para uso industrial, se estructuró con una arquitectura de tres niveles 5+N+X. ^[14]

• Primera capa (L0): comprende los cinco grandes modelos básicos de PanGu para brindar una variedad de capacidades para diferentes escenarios de la industria. Estos incluyen modelos de procesamiento del lenguaje natural (PLN), modelos visuales, modelos multimodales, modelos de predicción y modelos de computación científica.
• Segunda capa (L1): consta de N modelos grandes específicos de cada industria. Estos modelos se entrenan utilizando datos públicos de diversas industrias, como gobierno, finanzas, manufactura, minería y clima. Además, utiliza los datos propios de los clientes de L0 y L1 para entrenar modelos patentados diseñados a medida para cada cliente.
• Tercera capa (L2): ofrece a los clientes modelos detallados específicos para cada escenario. Esta capa se centra en aplicaciones o necesidades empresariales específicas y ofrece servicios de modelos listos para usar.

El modelo actualizado Huawei PanGu Model 5.0 de la división de negocios Huawei Cloud ofrece tres características clave: adaptabilidad para diferentes escenarios comerciales, modelado multiestilo e inteligencia avanzada. Huawei dividió la plataforma de modelos de IA en cuatro series, cada una con diferentes escalas de parámetros: ^[15]

• Serie E de PanGu: la versión integrada admite aplicaciones inteligentes en teléfonos, tabletas, PC y otros dispositivos, con una escala de parámetros de mil millones.
• Serie P de PanGu: La versión profesional cuenta con una escala de parámetros de 10 mil millones, ideal para condiciones de razonamiento de baja latencia y bajo costo.
• Serie PanGu U: La versión Ultra viene en dos variantes, con 135 mil millones y 230 mil millones de parámetros, capaces de manejar tareas complejas y servir como base para modelos grandes.
• Serie PanGu S: Super PanGu es la edición de primer nivel, con parámetros de nivel billón, diseñados para gestionar escenarios de tecnología de IA avanzada, como aplicaciones multitarea o de dominio cruzado.

• Modelo de lenguaje grande
• Géminis
• GPT-4