Modelo de lenguaje grande

Un modelo de lenguaje grande ( LLM ) es un tipo de modelo computacional diseñado para tareas relacionadas con el procesamiento del lenguaje natural , incluida la generación del lenguaje . Como modelos de lenguaje , los LLM adquieren estas capacidades al aprender relaciones estadísticas a partir de grandes cantidades de texto durante un proceso de entrenamiento autosupervisado y semisupervisado . ^[1]

Los modelos LLM más grandes y con mayor capacidad, a partir de agosto de 2024 ^[update], son redes neuronales artificiales construidas con una arquitectura basada en transformadores y solo decodificadores , que permite un procesamiento y una generación eficientes de datos de texto a gran escala. Los modelos modernos se pueden ajustar para tareas específicas o se pueden guiar por ingeniería rápida . ^[2] Estos modelos adquieren poder predictivo con respecto a la sintaxis, la semántica y las ontologías ^[3] inherentes a los corpus del lenguaje humano, pero también heredan imprecisiones y sesgos presentes en los datos con los que se entrenan. ^[4]

Antes de 2017, había algunos modelos de lenguaje que eran grandes en comparación con las capacidades disponibles en ese momento. En la década de 1990, los modelos de alineación de IBM fueron pioneros en el modelado estadístico del lenguaje. En 2001, un modelo de n-gramas suavizado entrenado en 0,3 mil millones de palabras logró la perplejidad de entonces (SOTA, por sus siglas en inglés). ^[5] En la década de 2000, cuando el uso de Internet se hizo más común, algunos investigadores construyeron conjuntos de datos de lenguaje a escala de Internet ("web como corpus" ^[6] ), sobre los cuales entrenaron modelos estadísticos del lenguaje. ^{[7] [8]} En 2009, en la mayoría de las tareas de procesamiento del lenguaje, los modelos estadísticos del lenguaje dominaron sobre los modelos simbólicos del lenguaje, ya que pueden ingerir de manera útil grandes conjuntos de datos. ^[9]

Después de que las redes neuronales se volvieran dominantes en el procesamiento de imágenes alrededor de 2012 ^[10] , también se aplicaron al modelado de lenguaje. Google convirtió su servicio de traducción a Neural Machine Translation en 2016. Como era antes de Transformers, se hizo mediante redes LSTM profundas seq2seq.

En la conferencia NeurIPS de 2017 , los investigadores de Google presentaron la arquitectura del transformador en su artículo emblemático " Attention Is All You Need ". El objetivo de este artículo era mejorar la tecnología Seq2seq de 2014 , ^[11] y se basó principalmente en el mecanismo de atención desarrollado por Bahdanau et al. en 2014. ^[12] El año siguiente, en 2018, se presentó BERT y rápidamente se volvió "omnipresente". ^[13] Aunque el transformador original tiene bloques codificadores y decodificadores, BERT es un modelo de solo codificador.

Aunque el GPT-1 , que solo funcionaba como decodificador, se introdujo en 2018, fue el GPT-2 de 2019 el que captó la atención generalizada porque OpenAI al principio consideró que era demasiado potente para publicarlo, por temor a un uso malintencionado. ^[14] El GPT-3 de 2020 fue un paso más allá y, a partir de 2024, ^[update]solo está disponible a través de API sin ofrecer la posibilidad de descargar el modelo para ejecutarlo localmente. Pero fue el ChatGPT basado en navegador para el consumidor de 2022 el que capturó la imaginación de la población general y causó cierto revuelo en los medios y en Internet. ^[15] El GPT-4 de 2023 fue elogiado por su mayor precisión y como un "santo grial" por sus capacidades multimodales . ^[16] OpenAI no reveló la arquitectura de alto nivel ni la cantidad de parámetros del GPT-4.

Los modelos de lenguaje en competencia, en su mayor parte, han intentado igualar la serie GPT, al menos en términos de número de parámetros. ^[17]

Desde 2022, los modelos disponibles en código fuente han ido ganando popularidad, especialmente al principio con BLOOM y LLaMA , aunque ambos tienen restricciones en el campo de uso. Los modelos Mistral 7B y Mixtral 8x7b de Mistral AI tienen la licencia Apache más permisiva . A junio de 2024 ^[update], la variante ajustada con precisión de instrucciones del modelo Llama 3 de 70 mil millones de parámetros es el LLM abierto más poderoso según el LMSYS Chatbot Arena Leaderboard, siendo más poderoso que GPT-3.5 pero no tanto como GPT-4. ^[18]

A partir de 2024, los modelos más grandes y con mayor capacidad se basan en la arquitectura Transformer. Algunas implementaciones recientes se basan en otras arquitecturas, como variantes de redes neuronales recurrentes y Mamba (un modelo de espacio de estados ). ^{[19] [20] [21]}

Debido a que los algoritmos de aprendizaje automático procesan números en lugar de texto, el texto debe convertirse en números. En el primer paso, se decide un vocabulario, luego se asignan índices enteros de manera arbitraria pero única a cada entrada de vocabulario y, finalmente, se asocia una incrustación al índice entero. Los algoritmos incluyen codificación de pares de bytes (BPE) y WordPiece . También hay tokens especiales que sirven como caracteres de control , como [MASK]para token enmascarado (como se usa en BERT ) y [UNK]("desconocido") para caracteres que no aparecen en el vocabulario. Además, se usan algunos símbolos especiales para indicar un formato de texto especial. Por ejemplo, "Ġ" indica un espacio en blanco anterior en RoBERTa y GPT. "##" indica la continuación de una palabra anterior en BERT. ^[22]

Por ejemplo, el tokenizador BPE utilizado por GPT-3 (Legacy) se dividiría tokenizer: texts -> series of numerical "tokens"como

La tokenización también comprime los conjuntos de datos. Debido a que los LLM generalmente requieren que la entrada sea una matriz que no sea irregular , los textos más cortos deben "rellenarse" hasta que coincidan con la longitud del más largo. La cantidad de tokens que se necesitan, en promedio, por palabra depende del idioma del conjunto de datos. ^{[23] [24]}

Como ejemplo, considere un tokenizador basado en codificación de pares de bytes. En el primer paso, todos los caracteres únicos (incluidos los espacios en blanco y los signos de puntuación ) se tratan como un conjunto inicial de n -gramas (es decir, un conjunto inicial de uni-gramas). Sucesivamente, el par más frecuente de caracteres adyacentes se fusiona en un bi-grama y todas las instancias del par se reemplazan por él. Todas las ocurrencias de pares adyacentes de n -gramas (previamente fusionados) que ocurren juntos con mayor frecuencia se fusionan nuevamente en un n -grama aún más largo, hasta que se obtiene un vocabulario de tamaño prescrito (en el caso de GPT-3 , el tamaño es 50257). ^[25] Después de que se entrena un tokenizador, cualquier texto puede ser tokenizado por él, siempre que no contenga caracteres que no aparezcan en el conjunto inicial de uni-gramas. ^[26]

Un vocabulario de tokens basado en las frecuencias extraídas de corpus principalmente en inglés utiliza la menor cantidad posible de tokens para una palabra inglesa promedio. Sin embargo, una palabra promedio en otro idioma codificada por un tokenizador optimizado para inglés se divide en una cantidad subóptima de tokens. El tokenizador GPT-2 puede utilizar hasta 15 veces más tokens por palabra para algunos idiomas, por ejemplo, para el idioma shan de Myanmar . Incluso idiomas más extendidos como el portugués y el alemán tienen "una prima del 50%" en comparación con el inglés. ^[27]

La tokenización codiciosa también causa problemas sutiles con la finalización del texto. ^[28]

En el contexto del entrenamiento de LLM, los conjuntos de datos generalmente se limpian eliminando pasajes tóxicos del conjunto de datos, descartando datos de baja calidad y deduplicando. ^[29] Los conjuntos de datos limpios pueden aumentar la eficiencia del entrenamiento y conducir a un mejor rendimiento posterior. ^{[30] [31]} Un LLM entrenado se puede utilizar para limpiar conjuntos de datos para entrenar un LLM adicional. ^[32]

Con la creciente proporción de contenido generado por LLM en la web, la limpieza de datos en el futuro puede incluir el filtrado de dicho contenido. El contenido generado por LLM puede plantear un problema si el contenido es similar al texto humano (lo que dificulta el filtrado) pero de menor calidad (lo que degrada el rendimiento de los modelos entrenados con él). ^[33]

El entrenamiento de los modelos lingüísticos más grandes puede requerir más datos lingüísticos que los que se encuentran disponibles naturalmente, o que los datos que se encuentran naturalmente no sean de suficiente calidad. En estos casos, se pueden utilizar datos sintéticos. La serie Phi de LLM de Microsoft se entrena con datos similares a los de un libro de texto generados por otro LLM. ^[34]

El aprendizaje de refuerzo a partir de la retroalimentación humana (RLHF) a través de algoritmos, como la optimización de políticas proximales , se utiliza para ajustar aún más un modelo basado en un conjunto de datos de preferencias humanas. ^[35]

Mediante el uso de métodos de "autoinstrucción", los estudiantes de maestría en derecho han podido generar respuestas correctas, reemplazando cualquier respuesta ingenua, a partir de correcciones generadas por humanos de unos pocos casos. Por ejemplo, en la instrucción "Escribe un ensayo sobre los temas principales representados en Hamlet ", una finalización ingenua inicial podría ser "Si entregas el ensayo después del 17 de marzo, tu calificación se reducirá en un 10% por cada día de retraso", según la frecuencia de esta secuencia textual en el corpus. ^[36]

El modelo LLM más grande puede ser demasiado costoso para entrenarlo y usarlo directamente. Para estos modelos, se puede aplicar la mezcla de expertos (MoE), una línea de investigación que los investigadores de Google llevan adelante desde 2017 para entrenar modelos que alcanzan hasta 1 billón de parámetros. ^{[37] [38] [39]}

La mayoría de los resultados que antes sólo se podían lograr mediante un ajuste fino (costoso) se pueden lograr mediante ingeniería rápida , aunque limitada al alcance de una sola conversación (más precisamente, limitada al alcance de una ventana de contexto). ^[40]

Para averiguar qué tokens son relevantes entre sí dentro del alcance de la ventana de contexto, el mecanismo de atención calcula pesos "suaves" para cada token, más precisamente para su incrustación, utilizando múltiples cabezas de atención, cada una con su propia "relevancia" para calcular sus propios pesos blandos. Por ejemplo, el modelo GPT-2 pequeño (es decir, con un tamaño de parámetro de 117 millones) tenía doce cabezas de atención y una ventana de contexto de solo 1k tokens. ^[42] En su versión mediana tiene 345 millones de parámetros y contiene 24 capas, cada una con 12 cabezas de atención. Para el entrenamiento con descenso de gradiente se utilizó un tamaño de lote de 512. ^[26]

Los modelos más grandes, como Gemini 1.5 de Google , presentado en febrero de 2024, pueden tener una ventana de contexto de hasta 1 millón (la ventana de contexto de 10 millones también fue "probada con éxito"). ^[43] Otros modelos con ventanas de contexto grandes incluyen Claude 2.1 de Anthropic, con una ventana de contexto de hasta 200k tokens. ^[44] Tenga en cuenta que este máximo se refiere al número de tokens de entrada y que el número máximo de tokens de salida difiere de la entrada y, a menudo, es menor. Por ejemplo, el modelo GPT-4 Turbo tiene una salida máxima de 4096 tokens. ^[45]

La longitud de una conversación que el modelo puede tener en cuenta al generar su próxima respuesta también está limitada por el tamaño de una ventana de contexto. Si la longitud de una conversación, por ejemplo con ChatGPT , es mayor que su ventana de contexto, solo se tienen en cuenta las partes dentro de la ventana de contexto al generar la próxima respuesta, o el modelo debe aplicar algún algoritmo para resumir las partes demasiado distantes de la conversación.

Las desventajas de hacer una ventana de contexto más grande incluyen un mayor costo computacional y posiblemente diluir el enfoque en el contexto local, mientras que hacerla más pequeña puede hacer que un modelo pase por alto una dependencia importante de largo alcance. Equilibrarlas es una cuestión de experimentación y consideraciones específicas del dominio.

Un modelo puede ser entrenado previamente para predecir cómo continúa el segmento o qué falta en el segmento, dado un segmento de su conjunto de datos de entrenamiento. ^[46] Puede ser

• autorregresivo (es decir, predecir cómo continúa el segmento, como lo hacen los GPT ): por ejemplo, dado un segmento "Me gusta comer", el modelo predice "helado" o "sushi".
• " enmascarado " (es decir, rellenando las partes faltantes del segmento, como lo hace "BERT" ^[47][__] [__] ): por ejemplo, dado un segmento "Me gusta la crema", el modelo predice que faltan "comer" y "hielo".

Los modelos pueden entrenarse en tareas auxiliares que prueban su comprensión de la distribución de datos, como la predicción de la siguiente oración (NSP), en la que se presentan pares de oraciones y el modelo debe predecir si aparecen consecutivamente en el corpus de entrenamiento. ^[47] Durante el entrenamiento, la pérdida de regularización también se utiliza para estabilizar el entrenamiento. Sin embargo, la pérdida de regularización generalmente no se utiliza durante las pruebas y la evaluación.

Se necesita una infraestructura sustancial para entrenar los modelos más grandes. ^{[48] [49] [50]}

Los avances en software y hardware han reducido sustancialmente el costo desde 2020, de tal manera que en 2023 el costo computacional del entrenamiento de un LLM de 12 mil millones de parámetros es de 72,300 A100-GPU -horas, mientras que en 2020 el costo de entrenamiento de un LLM de 1,5 mil millones de parámetros (que era dos órdenes de magnitud menor que el estado del arte en 2020) era de entre $ 80 mil y $ 1,6 millones. ^{[51] [52] [53]} Desde 2020, se invirtieron grandes sumas en modelos cada vez más grandes. Por ejemplo, el entrenamiento del GPT-2 (es decir, un modelo de 1.500 millones de parámetros) en 2019 costó 50.000 dólares, mientras que el entrenamiento del PaLM (es decir, un modelo de 540.000 millones de parámetros) en 2022 costó 8 millones de dólares, y el Megatron-Turing NLG 530B (en 2021) costó alrededor de 11 millones de dólares. ^[54]

En el caso de LLM basado en transformadores, el costo de entrenamiento es mucho mayor que el costo de inferencia. Cuesta 6 FLOP por parámetro entrenar en un token, mientras que cuesta entre 1 y 2 FLOP por parámetro inferir en un token. ^[55]

Existen ciertas tareas que, en principio, no pueden ser resueltas por ningún LLM, al menos no sin el uso de herramientas externas o software adicional. Un ejemplo de tal tarea es responder a la entrada del usuario '354 * 139 = ', siempre que el LLM no haya encontrado ya una continuación de este cálculo en su corpus de entrenamiento. ^{[ dubious – discussion ]} En tales casos, el LLM necesita recurrir a ejecutar código de programa que calcule el resultado, que luego puede incluirse en su respuesta. ^{[ dubious – discussion ]} : Otro ejemplo es '¿Qué hora es ahora? Son ', donde un intérprete de programa independiente necesitaría ejecutar un código para obtener la hora del sistema en la computadora, por lo que LLM podría incluirla en su respuesta. ^{[ 56 ] [ 57 ]} Esta estrategia básica puede ser sofisticada con múltiples intentos de programas generados y otras estrategias de muestreo. ^{[ 58 ]}

En general, para que un LLM pueda utilizar herramientas, es necesario ajustarlo para que pueda utilizarlas. Si la cantidad de herramientas es finita, entonces el ajuste se puede realizar solo una vez. Si la cantidad de herramientas puede crecer arbitrariamente, como sucede con los servicios API en línea , entonces el LLM se puede ajustar para que pueda leer la documentación API y llamar a la API correctamente. ^{[59] [60]}

Una forma más simple de utilizar la herramienta es la generación aumentada de recuperación : la ampliación de un LLM con la recuperación de documentos . Dada una consulta, se llama a un recuperador de documentos para recuperar los documentos más relevantes. Esto se hace generalmente codificando la consulta y los documentos en vectores, luego buscando los documentos con vectores (generalmente almacenados en una base de datos de vectores ) más similares al vector de la consulta. El LLM luego genera una salida basada tanto en la consulta como en el contexto incluido de los documentos recuperados. ^[61]

Un LLM es un modelo de lenguaje, que no es un agente ya que no tiene ningún objetivo, pero puede utilizarse como un componente de un agente inteligente . ^[62] Los investigadores han descrito varios métodos para tales integraciones. ^{[ cita requerida ]}

El patrón ReAct, un acrónimo de "Reason + Act", construye un agente a partir de un LLM, utilizando el LLM como planificador. Se le pide al LLM que "piense en voz alta". Específicamente, se le pide al modelo de lenguaje una descripción textual del entorno, un objetivo, una lista de posibles acciones y un registro de las acciones y observaciones realizadas hasta el momento. Genera uno o más pensamientos antes de generar una acción, que luego se ejecuta en el entorno. ^[63] La descripción lingüística del entorno que se le da al planificador del LLM puede incluso ser el código LaTeX de un artículo que describe el entorno. ^[64]

En el método DEPS ("Describe, Explain, Plan and Select"), un LLM primero se conecta al mundo visual a través de descripciones de imágenes, luego se le pide que produzca planes para tareas y comportamientos complejos basados ​​en su conocimiento preentrenado y la retroalimentación ambiental que recibe. ^[65]

El método Reflexion ^[66] construye un agente que aprende a lo largo de varios episodios. Al final de cada episodio, se le entrega al agente el registro del episodio y se le pide que piense en "lecciones aprendidas" que lo ayudarán a desempeñarse mejor en un episodio posterior. Estas "lecciones aprendidas" se le entregan al agente en los episodios posteriores. ^{[ cita requerida ]}

La búsqueda de árboles de Monte Carlo puede utilizar un LLM como heurística de implementación. Cuando no se dispone de un modelo de mundo programático, también se puede solicitar un LLM con una descripción del entorno para que actúe como modelo de mundo. ^[67]

Para la exploración abierta, un LLM puede utilizarse para puntuar las observaciones por su "interés", lo que puede utilizarse como señal de recompensa para guiar a un agente de aprendizaje de refuerzo normal (no LLM). ^[68] Alternativamente, puede proponer tareas cada vez más difíciles para el aprendizaje del currículo . ^[69] En lugar de generar acciones individuales, un planificador LLM también puede construir "habilidades" o funciones para secuencias de acciones complejas. Las habilidades se pueden almacenar e invocar más tarde, lo que permite aumentar los niveles de abstracción en la planificación. ^[69]

Los agentes que funcionan con LLM pueden mantener una memoria a largo plazo de sus contextos anteriores, y la memoria se puede recuperar de la misma manera que la Generación Aumentada de Recuperación. Múltiples agentes de este tipo pueden interactuar socialmente. ^[70]

Por lo general, los LLM se entrenan con números de punto flotante de precisión simple o media (float32 y float16). Un float16 tiene 16 bits, o 2 bytes, por lo que mil millones de parámetros requieren 2 gigabytes. Los modelos más grandes suelen tener 100 mil millones de parámetros, que requieren 200 gigabytes para cargarse, lo que los coloca fuera del alcance de la mayoría de los productos electrónicos de consumo. ^[71]

La cuantificación posterior al entrenamiento ^[72] tiene como objetivo disminuir el requisito de espacio al reducir la precisión de los parámetros de un modelo entrenado, al tiempo que se conserva la mayor parte de su rendimiento. ^{[73] [74]} La forma más simple de cuantificación simplemente trunca todos los números a una cantidad dada de bits. Se puede mejorar utilizando un libro de códigos de cuantificación diferente por capa. Se pueden realizar mejoras adicionales aplicando diferentes precisiones a diferentes parámetros, con mayor precisión para parámetros particularmente importantes ("pesos atípicos"). ^[75] Consulte ^[76] para obtener una guía visual.

Si bien los modelos cuantificados suelen estar congelados y solo se ajustan los modelos precuantificados, aún es posible ajustarlos. ^[77]

Multimodalidad significa "tener varias modalidades", y una "modalidad" se refiere a un tipo de entrada o salida, como video, imagen, audio, texto, propiocepción , etc. ^[78] Ha habido muchos modelos de IA entrenados específicamente para ingerir una modalidad y generar otra modalidad, como AlexNet para imagen a etiqueta, ^[79] respuesta visual a preguntas para imagen-texto a texto, ^[80] y reconocimiento de voz para voz a texto.

Un método común para crear modelos multimodales a partir de un LLM es "tokenizar" la salida de un codificador entrenado. Concretamente, se puede construir un LLM que pueda entender imágenes de la siguiente manera: tomar un LLM entrenado y tomar un codificador de imágenes entrenado . Hacer un pequeño perceptrón multicapa , de modo que para cualquier imagen , el vector posprocesado tenga las mismas dimensiones que un token codificado. Eso es un "token de imagen". Luego, se pueden intercalar tokens de texto y tokens de imagen. El modelo compuesto se ajusta entonces con precisión en un conjunto de datos de imagen-texto. Esta construcción básica se puede aplicar con más sofisticación para mejorar el modelo. El codificador de imágenes se puede congelar para mejorar la estabilidad. ^[81]${\displaystyle E}$${\displaystyle f}$${\displaystyle y}$${\displaystyle f(E(y))}$

Flamingo demostró la eficacia del método de tokenización, ajustando un par de modelos de lenguaje preentrenados y codificadores de imágenes para que tuvieran un mejor desempeño en la respuesta visual a preguntas que los modelos entrenados desde cero. ^{[82] El modelo} Google PaLM se ajustó para convertirlo en un modelo multimodal PaLM-E utilizando el método de tokenización y se aplicó al control robótico. ^{[83] Los modelos} LLaMA también se han convertido en multimodales utilizando el método de tokenización para permitir entradas de imágenes, ^[84] y entradas de video. ^[85]

GPT-4 puede utilizar tanto texto como imágenes como entradas ^[86] (aunque el componente de visión no se lanzó al público hasta GPT-4V ^[87] ); Gemini de Google DeepMind también es multimodal. ^[88] Mistral presentó su propio modelo multimodelo Pixtral 12B en septiembre de 2024. ^[89]

Los siguientes cuatro hiperparámetros caracterizan un LLM:

• costo de la (pre)capacitación ( ),${\displaystyle C}$
• tamaño de la propia red neuronal artificial , como el número de parámetros (es decir, cantidad de neuronas en sus capas, cantidad de pesos entre ellas y sesgos),${\displaystyle N}$
• tamaño de su conjunto de datos de (pre)entrenamiento (es decir, número de tokens en el corpus ),${\displaystyle D}$
• rendimiento después del (pre)entrenamiento.

Están relacionadas por leyes estadísticas simples , llamadas "leyes de escala". Una ley de escala particular (" escalamiento de Chinchilla ") para LLM entrenado de forma autorregresiva para una época, con un programa de tasa de aprendizaje logarítmico , establece que: ^[90] donde las variables son$${\displaystyle {\begin{cases}C=C_{0}ND\\[6pt]L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$

• ${\displaystyle C}$es el costo de entrenamiento del modelo, en FLOPs .
• ${\displaystyle N}$es el número de parámetros en el modelo.
• ${\displaystyle D}$es el número de tokens en el conjunto de entrenamiento.
• ${\displaystyle L}$es la pérdida de verosimilitud negativa promedio por token ( nats /token), lograda por el LLM entrenado en el conjunto de datos de prueba.

y los hiperparámetros estadísticos son

• ${\displaystyle C_{0}=6}$, lo que significa que cuesta 6 FLOP por parámetro entrenar en un token. Tenga en cuenta que el costo de entrenamiento es mucho más alto que el costo de inferencia, donde cuesta de 1 a 2 FLOP por parámetro inferir en un token. ^[55]
• ${\displaystyle \alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69}$

El desempeño de modelos más grandes en diversas tareas, cuando se representa gráficamente en una escala logarítmica, parece una extrapolación lineal del desempeño logrado por modelos más pequeños. Sin embargo, esta linealidad puede verse acentuada por " rupturas " ^[91] en la ley de escala, donde la pendiente de la línea cambia abruptamente y donde los modelos más grandes adquieren "capacidades emergentes". ^{[40] [92]} Surgen de la interacción compleja de los componentes del modelo y no están programados ni diseñados explícitamente. ^[93]

La más intrigante entre las habilidades emergentes es el aprendizaje en contexto a partir de demostraciones de ejemplo. ^[94] El aprendizaje en contexto está involucrado en tareas como:

• aritmética informada, decodificación del Alfabeto Fonético Internacional , descifrar las letras de una palabra, desambiguar una palabra en contexto, ^{[40] [95] [96]} convertir palabras espaciales, direcciones cardinales (por ejemplo, responder "noreste" a [0, 0, 1; 0, 0, 0; 0, 0, 0]), términos de color representados en el texto. ^[97]
• Incitación por cadena de pensamiento : los resultados del modelo se mejoran mediante la incitación por cadena de pensamiento solo cuando el tamaño del modelo supera los 62B. Los modelos más pequeños funcionan mejor cuando se les pide que respondan inmediatamente, sin cadena de pensamiento. ^[98]
• identificar contenido ofensivo en párrafos de Hinglish (una combinación de hindi e inglés) y generar un equivalente en inglés similar de los proverbios kiswahili . ^[99]

Schaeffer et al. sostienen que las habilidades emergentes no se adquieren de manera impredecible, sino de manera predecible según una ley de escalamiento suave . Los autores consideraron un modelo estadístico de juguete de un LLM que resuelve preguntas de opción múltiple y demostraron que este modelo estadístico, modificado para tener en cuenta otros tipos de tareas, también se aplica a estas tareas. ^[100]

Sea el número de parámetros contados y el rendimiento del modelo.${\displaystyle x}$${\displaystyle y}$

Los grandes modelos lingüísticos son en sí mismos " cajas negras " y no está claro cómo pueden realizar tareas lingüísticas. Existen varios métodos para comprender cómo funcionan los grandes modelos lingüísticos.

La interpretabilidad mecanicista tiene como objetivo aplicar ingeniería inversa a LLM mediante el descubrimiento de algoritmos simbólicos que se aproximan a la inferencia realizada por LLM. Un ejemplo es Othello-GPT, donde se entrena un pequeño Transformer para predecir movimientos legales de Othello . Se descubre que existe una representación lineal del tablero de Othello y que al modificar la representación se cambian los movimientos legales predichos de Othello de la manera correcta. ^{[101] [102]} En otro ejemplo, se entrena un pequeño Transformer con programas Karel . De manera similar al ejemplo de Othello-GPT, existe una representación lineal de la semántica del programa Karel y al modificar la representación se cambia la salida de la manera correcta. El modelo también genera programas correctos que, en promedio, son más cortos que los del conjunto de entrenamiento. ^[103]

En otro ejemplo, los autores entrenaron pequeños transformadores en la suma aritmética modular . Los modelos resultantes fueron sometidos a ingeniería inversa y resultó que utilizaban la transformada de Fourier discreta . ^[104]

Los investigadores de PNL se mostraron divididos cuando se les preguntó, en una encuesta de 2022, si los LLM (sin afinar) "podrían (alguna vez) comprender el lenguaje natural en algún sentido no trivial". ^[105] Los defensores de la "comprensión LLM" creen que algunas habilidades LLM, como el razonamiento matemático, implican una capacidad para "comprender" ciertos conceptos. Un equipo de Microsoft argumentó en 2023 que GPT-4 "puede resolver tareas novedosas y difíciles que abarcan las matemáticas, la codificación, la visión, la medicina, el derecho, la psicología y más" y que GPT-4 "podría considerarse razonablemente como una versión temprana (aunque aún incompleta) de un sistema de inteligencia general artificial ": "¿Se puede decir razonablemente que un sistema que aprueba los exámenes para los candidatos a ingeniería de software no es realmente inteligente?" ^{[106] [107]} Algunos investigadores caracterizan a los LLM como "inteligencia alienígena". ^{[108] [109]} Por ejemplo, el director ejecutivo de Conjecture, Connor Leahy, considera que los LLM no sintonizados son como " Shoggoths " alienígenas inescrutables, y cree que la sintonización RLHF crea una "fachada sonriente" que oculta el funcionamiento interno del LLM: "Si no lo presionas demasiado, la cara sonriente permanece. Pero luego le das un aviso [inesperado], y de repente ves este enorme submundo de locura, de procesos de pensamiento extraños y una comprensión claramente no humana". ^{[110] [111]}

Por el contrario, algunos defensores de la escuela de que "los LLM carecen de comprensión" creen que los LLM existentes son "simplemente una remezcla y recombinación de la escritura existente", ^[109] un fenómeno conocido como loro estocástico , o señalan los déficits que los LLM existentes siguen teniendo en habilidades de predicción, habilidades de razonamiento, agencia y explicabilidad. ^[105] Por ejemplo, GPT-4 tiene déficits naturales en la planificación y en el aprendizaje en tiempo real. ^[107] Se ha observado que los LLM generativos afirman con confianza afirmaciones de hechos que no parecen estar justificadas por sus datos de entrenamiento , un fenómeno que se ha denominado " alucinación ". ^[112] Específicamente, las alucinaciones en el contexto de los LLM corresponden a la generación de texto o respuestas que parecen sintácticamente sólidas, fluidas y naturales, pero que son factualmente incorrectas, sin sentido o infieles a la entrada de la fuente proporcionada. ^[113] El neurocientífico Terrence Sejnowski ha argumentado que "las opiniones divergentes de los expertos sobre la inteligencia de los LLM sugieren que nuestras viejas ideas basadas en la inteligencia natural son inadecuadas". ^[105]

La cuestión de la demostración de inteligencia o comprensión por parte de los LLM tiene dos aspectos principales: el primero es cómo modelar el pensamiento y el lenguaje en un sistema informático, y el segundo es cómo permitir que el sistema informático genere un lenguaje similar al humano. ^[105] Estos aspectos del lenguaje como modelo de cognición se han desarrollado en el campo de la lingüística cognitiva . El lingüista estadounidense George Lakoff presentó la teoría neuronal del lenguaje (NTL) ^[114] como una base computacional para usar el lenguaje como modelo de tareas de aprendizaje y comprensión. El modelo NTL describe cómo las estructuras neuronales específicas del cerebro humano dan forma a la naturaleza del pensamiento y el lenguaje y, a su vez, cuáles son las propiedades computacionales de dichos sistemas neuronales que se pueden aplicar para modelar el pensamiento y el lenguaje en un sistema informático. Después de que se estableció un marco para modelar el lenguaje en un sistema informático, el enfoque se desplazó al establecimiento de marcos para que los sistemas informáticos generen lenguaje con una gramática aceptable. En su libro de 2014 titulado El mito del lenguaje: por qué el lenguaje no es un instinto , el lingüista cognitivo y tecnólogo de comunicación digital británico Vyvyan Evans trazó el papel de la gramática probabilística libre de contexto (PCFG) para permitir que el PNL modele patrones cognitivos y genere un lenguaje similar al humano. ^{[115] [116]}

La medida más comúnmente utilizada del desempeño de un modelo de lenguaje es su perplejidad en un corpus de texto dado. La perplejidad es una medida de qué tan bien un modelo es capaz de predecir el contenido de un conjunto de datos; cuanto mayor sea la probabilidad que el modelo asigna al conjunto de datos, menor es la perplejidad. Matemáticamente, la perplejidad se define como el exponencial de la probabilidad logarítmica negativa promedio por token: aquí es el número de tokens en el corpus de texto, y el "contexto para token " depende del tipo específico de LLM utilizado. Si el LLM es autorregresivo, entonces "contexto para token " es el segmento de texto que aparece antes de token . Si el LLM está enmascarado, entonces "contexto para token " es el segmento de texto que rodea a token .$${\displaystyle \log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(\Pr({\text{token}}_{i}\mid {\text{context for token}}_{i}))}$$${\displaystyle N}$${\displaystyle i}$${\displaystyle i}$${\displaystyle i}$${\displaystyle i}$${\displaystyle i}$

Debido a que los modelos de lenguaje pueden sobreajustarse a sus datos de entrenamiento, los modelos suelen evaluarse por su perplejidad en un conjunto de prueba de datos no vistos. ^[47] Esto presenta desafíos particulares para la evaluación de modelos de lenguaje grandes. A medida que se entrenan en corpus de texto cada vez más grandes extraídos en gran parte de la web, se vuelve cada vez más probable que los datos de entrenamiento de los modelos incluyan inadvertidamente partes de cualquier conjunto de prueba dado. ^[2]

En la teoría de la información , el concepto de entropía está íntimamente ligado a la perplejidad, una relación establecida notablemente por Claude Shannon . ^[117] Esta relación se expresa matemáticamente como .${\displaystyle {\text{Entropy}}=\log _{2}({\text{Perplexity}})}$

La entropía, en este contexto, se cuantifica comúnmente en términos de bits por palabra (BPW) o bits por carácter (BPC), lo que depende de si el modelo de lenguaje utiliza tokenización basada en palabras o en caracteres.

Cabe destacar que, en el caso de modelos de lenguaje más grandes que emplean predominantemente tokenización de subpalabras, los bits por token (BPT) parecen ser una medida aparentemente más apropiada. Sin embargo, debido a la variación en los métodos de tokenización entre diferentes modelos de lenguaje grandes (LLM), los bits por token no sirven como una métrica confiable para el análisis comparativo entre diversos modelos. Para convertir los bits por token en BPW, se puede multiplicar por la cantidad promedio de tokens por palabra.

En la evaluación y comparación de modelos de lenguaje, la entropía cruzada es generalmente la métrica preferida sobre la entropía. El principio subyacente es que un BPW más bajo es indicativo de la capacidad mejorada de un modelo para la compresión. Esto, a su vez, refleja la competencia del modelo para hacer predicciones precisas.

También se ha desarrollado una gran cantidad de conjuntos de datos de prueba y puntos de referencia para evaluar las capacidades de los modelos de lenguaje en tareas posteriores más específicas. Las pruebas pueden diseñarse para evaluar una variedad de capacidades, incluidos los conocimientos generales, el razonamiento de sentido común y la resolución de problemas matemáticos.

Una amplia categoría de conjunto de datos de evaluación son los conjuntos de datos de preguntas y respuestas, que consisten en pares de preguntas y respuestas correctas, por ejemplo, ("¿Han ganado los San Jose Sharks la Copa Stanley?", "No"). ^[118] Una tarea de preguntas y respuestas se considera "libro abierto" si el mensaje del modelo incluye texto del que se puede derivar la respuesta esperada (por ejemplo, la pregunta anterior podría ir acompañada de algún texto que incluya la frase "Los Sharks han avanzado a la final de la Copa Stanley una vez, perdiendo ante los Pittsburgh Penguins en 2016" . ^[118] ). De lo contrario, la tarea se considera "libro cerrado", y el modelo debe aprovechar el conocimiento retenido durante el entrenamiento. ^[119] Algunos ejemplos de conjuntos de datos de preguntas y respuestas de uso común incluyen TruthfulQA, Web Questions, TriviaQA y SQuAD. ^[119]

Los conjuntos de datos de evaluación también pueden adoptar la forma de completar texto, haciendo que el modelo seleccione la palabra o frase más probable para completar una instrucción, por ejemplo: "Alice era amiga de Bob. Alice fue a visitar a su amiga, ____". ^[2]

También se han desarrollado algunos puntos de referencia compuestos que combinan una diversidad de diferentes conjuntos de datos y tareas de evaluación. Algunos ejemplos incluyen GLUE, SuperGLUE, MMLU , BIG-bench y HELM. ^{[117] [119]} OpenAI ha publicado herramientas para ejecutar puntos de referencia compuestos, pero señaló que los resultados de la evaluación son sensibles al método de solicitud. ^{[120] [121]} Algunos conjuntos de datos públicos contienen preguntas que están mal etiquetadas, son ambiguas, no tienen respuesta o son de baja calidad, que se pueden limpiar para brindar puntajes de referencia más confiables. ^[122]

Anteriormente, era habitual informar los resultados de una parte reservada de un conjunto de datos de evaluación después de realizar un ajuste fino supervisado en el resto. Ahora es más común evaluar un modelo entrenado previamente directamente a través de técnicas de indicaciones, aunque los investigadores varían en los detalles de cómo formulan las indicaciones para tareas particulares, en particular con respecto a cuántos ejemplos de tareas resueltas se adjuntan a la indicación (es decir, el valor de n en indicaciones de n -shot).

Debido al rápido ritmo de mejora de los modelos de lenguaje de gran tamaño, los puntos de referencia de evaluación han sufrido una vida útil corta, con modelos de última generación "saturando" rápidamente los puntos de referencia existentes, superando el rendimiento de los anotadores humanos, lo que lleva a esfuerzos para reemplazar o aumentar el punto de referencia con tareas más desafiantes. ^[123] Además, hay casos de "aprendizaje de atajos" en los que las IA a veces "hacen trampa" en las pruebas de opción múltiple al usar correlaciones estadísticas en la redacción superficial de las preguntas de la prueba para adivinar las respuestas correctas, sin comprender necesariamente la pregunta real que se está haciendo. ^[105]

Algunos conjuntos de datos se han construido de forma adversaria, centrándose en problemas particulares en los que los modelos de lenguaje existentes parecen tener un rendimiento inusualmente pobre en comparación con los humanos. Un ejemplo es el conjunto de datos TruthfulQA, un conjunto de datos de respuesta a preguntas que consta de 817 preguntas que los modelos de lenguaje son susceptibles de responder incorrectamente al imitar falsedades a las que fueron expuestos repetidamente durante el entrenamiento. Por ejemplo, un LLM puede responder "No" a la pregunta "¿Puedes enseñarle trucos nuevos a un perro viejo?" debido a su exposición al modismo inglés " you can't teach an old dog new tricks" , aunque esto no sea literalmente cierto. ^[124]

Otro ejemplo de un conjunto de datos de evaluación adversarial es Swag y su sucesor, HellaSwag, colecciones de problemas en los que se debe seleccionar una de varias opciones para completar un pasaje de texto. Las finalizaciones incorrectas se generaron mediante el muestreo de un modelo de lenguaje y el filtrado con un conjunto de clasificadores. Los problemas resultantes son triviales para los humanos, pero en el momento en que se crearon los conjuntos de datos, los modelos de lenguaje de última generación tenían poca precisión en ellos. Por ejemplo:

Vemos el cartel de un gimnasio. Luego vemos a un hombre hablando a la cámara y sentado y recostado sobre una pelota de ejercicios. El hombre...
a) demuestra cómo aumentar la eficiencia del trabajo de ejercicio corriendo hacia arriba y hacia abajo sobre pelotas.
b) mueve todos sus brazos y piernas y desarrolla una gran cantidad de músculos.
c) luego juega con la pelota y vemos una demostración gráfica y de cómo podar setos.
d) hace abdominales mientras está sobre la pelota y habla. ^[125]

BERT selecciona b) como la finalización más probable, aunque la respuesta correcta es d). ^[125]

En 2023, Nature Biomedical Engineering escribió que "ya no es posible distinguir con precisión" el texto escrito por humanos del texto creado por grandes modelos de lenguaje, y que "es casi seguro que los grandes modelos de lenguaje de propósito general proliferarán rápidamente... Es una apuesta bastante segura que cambiarán muchas industrias con el tiempo". ^[126] Goldman Sachs sugirió en 2023 que la IA del lenguaje generativo podría aumentar el PIB mundial en un 7% en los próximos diez años y podría exponer a la automatización 300 millones de puestos de trabajo a nivel mundial. ^{[127] [128]}

La memorización es un comportamiento emergente en los LLM en los que, ocasionalmente, se extraen largas cadenas de texto textualmente a partir de los datos de entrenamiento, al contrario del comportamiento típico de las redes neuronales artificiales tradicionales. Las evaluaciones de la salida controlada de LLM miden la cantidad memorizada a partir de los datos de entrenamiento (centradas en los modelos de la serie GPT-2) como, por ejemplo, más del 1 % para los duplicados exactos ^[129] o hasta aproximadamente el 7 % ^{[130] .}

Algunos comentaristas expresaron su preocupación por la creación accidental o deliberada de información errónea u otras formas de uso indebido. ^[131] Por ejemplo, la disponibilidad de grandes modelos de lenguaje podría reducir el nivel de habilidad requerido para cometer bioterrorismo; el investigador de bioseguridad Kevin Esvelt ha sugerido que los creadores de LLM deberían excluir de sus datos de capacitación los artículos sobre la creación o mejora de patógenos. ^[132]

Un estudio realizado por investigadores de Google y varias universidades, entre ellas la Universidad de Cornell y la Universidad de California en Berkeley , demostró que existen riesgos potenciales de seguridad en modelos de lenguaje como ChatGPT . En su estudio, examinaron y confirmaron la posibilidad de que los interrogadores pudieran obtener, de ChatGPT, los datos de entrenamiento que utilizó el modelo de IA. Por ejemplo, al pedirle a ChatGPT 3.5 turbo que repita la palabra "poema" para siempre, el modelo de IA dirá "poema" cientos de veces y luego divergirá, desviándose del estilo de diálogo estándar y escupiendo frases sin sentido, escupiendo así los datos de entrenamiento tal como están. Los investigadores han visto más de 10.000 ejemplos del modelo de IA exponiendo sus datos de entrenamiento en un método similar. Los investigadores dijeron que era difícil saber si el modelo de IA era realmente seguro o no. ^[133]

La posible presencia de "agentes durmientes" dentro de los modelos LLM es otro problema de seguridad emergente. Se trata de funcionalidades ocultas integradas en el modelo que permanecen latentes hasta que se activan por un evento o condición específicos. Al activarse, el LLM se desvía de su comportamiento esperado y realiza acciones inseguras. ^[134]

Las aplicaciones de modelos de lenguaje extensos (LLM) accesibles al público, como ChatGPT o Claude, suelen incorporar medidas de seguridad diseñadas para filtrar contenido dañino. Sin embargo, implementar estos controles de manera efectiva ha demostrado ser un desafío. Por ejemplo, la investigación de Kang et al. ^[135] demostró un método para eludir los sistemas de seguridad de LLM. De manera similar, Wang ^[136] ilustró cómo un posible delincuente podría eludir los controles de seguridad de ChatGPT 4o para obtener información sobre el establecimiento de una operación de tráfico de drogas.

Si bien los modelos de lenguaje de programación han demostrado capacidades notables para generar textos similares a los humanos, son susceptibles de heredar y amplificar los sesgos presentes en sus datos de entrenamiento. Esto puede manifestarse en representaciones sesgadas o en un tratamiento injusto de diferentes grupos demográficos, como los basados ​​en la raza, el género, el idioma y los grupos culturales. ^[137] Dado que los datos en inglés están sobrerrepresentados en los datos de entrenamiento de los modelos de lenguaje actuales, esto también puede restar importancia a las opiniones en otros idiomas. ^[138]

Los modelos de IA pueden reforzar una amplia gama de estereotipos, incluidos los basados ​​en el género, la etnia, la edad, la nacionalidad, la religión o la ocupación. Esto puede dar lugar a resultados que generalicen o caricaturen injustamente a grupos de personas, a veces de forma dañina o despectiva. ^[139]

En particular, el sesgo de género se refiere a la tendencia de estos modelos a producir resultados que están injustamente prejuiciados hacia un género en lugar de otro. Este sesgo surge típicamente de los datos con los que se entrenan estos modelos. Los modelos de lenguaje grandes a menudo asignan roles y características basados ​​en normas de género tradicionales. ^[137] Por ejemplo, podría asociar a enfermeras o secretarias predominantemente con mujeres e ingenieros o directores ejecutivos con hombres. ^[140]

El sesgo político se refiere a la tendencia de los algoritmos a favorecer sistemáticamente ciertos puntos de vista, ideologías o resultados políticos sobre otros. Los modelos lingüísticos también pueden presentar sesgos políticos. Dado que los datos de entrenamiento incluyen una amplia gama de opiniones y coberturas políticas, los modelos pueden generar respuestas que se inclinen hacia ideologías o puntos de vista políticos particulares, dependiendo de la prevalencia de esos puntos de vista en los datos. ^[141]

Para la columna de costo de entrenamiento, 1 petaFLOP-día = 1 petaFLOP/s × 1 día = 8,64E19 FLOP. Además, solo se escribe el costo del modelo más grande.

• Modelos de fundación