GPT-3
Modelo de lenguaje generador de texto 2020

Transformador generativo preentrenado 3 (GPT-3)
Autor(es) original(es)IA abierta [1]
Lanzamiento inicial28 de mayo de 2020 (publicación); 11 de junio de 2020 (versión beta de la API de acceso abierto)
Repositorio
  • github.com/openai/gpt-3
PredecesorGPT-2
SucesorGPT-3.5
GPT-4
Tipo
Licenciapropiedad
Sitio webopenai.com/blog/openai-api
Parte de una serie sobre
Aprendizaje automático
y minería de datos
Paradigmas
Problemas
Agrupamiento
Reducción de dimensionalidad
Predicción estructurada
Detección de anomalías
Red neuronal artificial
Aprendizaje por refuerzo
Aprendiendo con humanos
Diagnóstico de modelos
Mathematical foundations
Journals and conferences
Related articles

Generative Pre-trained Transformer 3 ( GPT-3 ) es un gran modelo de lenguaje lanzado por OpenAI en 2020.

Al igual que su predecesor, GPT-2 , es un modelo transformador de red neuronal profunda basado únicamente en decodificadores [2] , que reemplaza las arquitecturas basadas en recurrencia y convolución con una técnica conocida como " atención ". [3] Este mecanismo de atención permite que el modelo se centre selectivamente en segmentos de texto de entrada que predice que serán más relevantes. [4] GPT-3 tiene 175 mil millones de parámetros , cada uno con precisión de 16 bits, que requieren 350 GB de almacenamiento ya que cada parámetro ocupa 2 bytes. Tiene un tamaño de ventana de contexto de 2048 tokens y ha demostrado fuertes capacidades de aprendizaje de " cero disparos " y " pocos disparos " en muchas tareas. [2]

El 22 de septiembre de 2020, Microsoft anunció que había otorgado la licencia exclusiva de GPT-3. Otros aún pueden recibir resultados de su API pública, pero solo Microsoft tiene acceso al modelo subyacente. [5]

Fondo

Según The Economist , los algoritmos mejorados, las computadoras más potentes y un aumento reciente en la cantidad de material digitalizado han impulsado una revolución en el aprendizaje automático . Las nuevas técnicas en la década de 2010 dieron como resultado "rápidas mejoras en las tareas", incluida la manipulación del lenguaje. [6]

Los modelos de software se entrenan para aprender mediante el uso de miles o millones de ejemplos en una "estructura  ... basada libremente en la arquitectura neuronal del cerebro". [6] Una arquitectura utilizada en el procesamiento del lenguaje natural (PLN) es una red neuronal basada en un modelo de aprendizaje profundo que se introdujo en 2017: la arquitectura del transformador . [7] Hay varios sistemas de PLN capaces de procesar, extraer, organizar, conectar y contrastar entradas textuales, así como de responder correctamente a preguntas. [8]

El 11 de junio de 2018, los investigadores e ingenieros de OpenAI publicaron un artículo en el que presentaban el primer transformador generativo preentrenado (GPT), un tipo de modelo generativo de lenguaje grande que se entrena previamente con un corpus de texto enorme y diverso en conjuntos de datos , seguido de un ajuste fino discriminativo para centrarse en una tarea específica. Los modelos GPT son arquitecturas de redes neuronales de aprendizaje profundo basadas en transformadores. Anteriormente, los modelos de NLP neuronales de mejor rendimiento empleaban comúnmente el aprendizaje supervisado a partir de grandes cantidades de datos etiquetados manualmente, lo que hacía que entrenar modelos de lenguaje extremadamente grandes fuera prohibitivamente costoso y llevara mucho tiempo. [2] El primer modelo GPT se conocía como "GPT-1" y fue seguido por "GPT-2" en febrero de 2019. Creado como una ampliación directa de su predecesor, GPT-2 tuvo tanto su recuento de parámetros como el tamaño del conjunto de datos aumentados en un factor de 10. Tenía 1.5 mil millones de parámetros y se entrenó en un conjunto de datos de 8 millones de páginas web. [9]

En febrero de 2020, Microsoft presentó su modelo de generación de lenguaje natural Turing (T-NLG), que según afirmaron era "el modelo de lenguaje más grande jamás publicado con 17 mil millones de parámetros". [10] Funcionó mejor que cualquier otro modelo de lenguaje en una variedad de tareas, incluido resumir textos y responder preguntas .

Formación y capacidades

Ejemplo de ensayo estudiantil sobre pedagogía escrito por GPT-3

El concepto de "estilos de aprendizaje" es problemático porque no tiene en cuenta los procesos a través de los cuales se configuran los estilos de aprendizaje. Algunos estudiantes pueden desarrollar un estilo de aprendizaje particular porque han tenido experiencias particulares. Otros pueden desarrollar un estilo de aprendizaje particular al intentar adaptarse a un entorno de aprendizaje que no se adaptaba bien a sus necesidades de aprendizaje. En última instancia, necesitamos comprender las interacciones entre los estilos de aprendizaje y los factores ambientales y personales, y cómo estos configuran la manera en que aprendemos y los tipos de aprendizaje que experimentamos.

– Texto generado por Mike Sharples [11]

El 28 de mayo de 2020, un grupo de 31 ingenieros e investigadores de OpenAI describió en una preimpresión de arXiv el logro y desarrollo de GPT-3, un "modelo de lenguaje de última generación" de tercera generación. [1] [12] El equipo aumentó la capacidad de GPT-3 en más de dos órdenes de magnitud con respecto a su predecesor, GPT-2, [13] convirtiendo a GPT-3 en el modelo de lenguaje no disperso más grande hasta la fecha. [1] :  14  [14] Debido a que GPT-3 es estructuralmente similar a sus predecesores, [1] su mayor precisión se atribuye a su mayor capacidad y mayor número de parámetros. [15] La capacidad de GPT-3 es diez veces mayor que la de Turing NLG de Microsoft, el siguiente modelo de NLP más grande conocido en ese momento. [12]

Lambdalabs estimó un costo hipotético de alrededor de 4,6 millones de dólares estadounidenses y 355 años para entrenar GPT-3 en una sola GPU en 2020, [16] con un tiempo de entrenamiento real menor al usar más GPU en paralelo.

El sesenta por ciento del conjunto de datos de preentrenamiento ponderado para GPT-3 proviene de una versión filtrada de Common Crawl que consta de 410 mil millones de tokens codificados por pares de bytes . La deduplicación difusa utilizó MinHash LSH de Apache Spark . [1] : 9  Otras fuentes son 19 mil millones de tokens de WebText2 que representan el 22% del total ponderado, 12 mil millones de tokens de Books1 que representan el 8%, 55 mil millones de tokens de Books2 que representan el 8% y 3 mil millones de tokens de Wikipedia que representan el 3%. [1] : 9  GPT-3 se entrenó con cientos de miles de millones de palabras y también es capaz de codificar en CSS , JSX y Python , entre otros. [ cita requerida ]

Datos de entrenamiento de GPT-3 [1] : 9 
Conjunto de datos# fichasProporción
dentro del entrenamiento
Rastreo común410 mil millones60%
Texto Web219 mil millones22%
Libros112 mil millones8%
Libros255 mil millones8%
Wikipedia3 mil millones3%

Dado que los datos de entrenamiento de GPT-3 lo abarcaban todo, no requiere entrenamiento adicional para tareas lingüísticas específicas. [ cita requerida ] Los datos de entrenamiento contienen lenguaje tóxico ocasional y GPT-3 ocasionalmente genera lenguaje tóxico como resultado de imitar sus datos de entrenamiento. Un estudio de la Universidad de Washington descubrió que GPT-3 producía lenguaje tóxico a un nivel de toxicidad comparable a los modelos de procesamiento de lenguaje natural similares de GPT-2 y CTRL. OpenAI ha implementado varias estrategias para limitar la cantidad de lenguaje tóxico generado por GPT-3. Como resultado, GPT-3 produjo menos lenguaje tóxico en comparación con su modelo predecesor, GPT-1, aunque produjo más generaciones y una mayor toxicidad de lenguaje tóxico en comparación con CTRL Wiki, un modelo de lenguaje entrenado completamente con datos de Wikipedia. [17]

El 11 de junio de 2020, OpenAI anunció que los usuarios podían solicitar acceso a su API GPT-3 fácil de usar (un "conjunto de herramientas de aprendizaje automático") para ayudar a OpenAI a "explorar las fortalezas y los límites" de esta nueva tecnología. [18] [19] La invitación describía cómo esta API tenía una interfaz de "entrada de texto, salida de texto" de propósito general que puede completar casi "cualquier tarea en inglés", en lugar del caso de uso único habitual. [18] Según un usuario, que tuvo acceso a una versión anticipada privada de la API GPT-3 de OpenAI, GPT-3 era "inquietantemente bueno" para escribir "texto sorprendentemente coherente" con solo unas pocas indicaciones simples. [20] En un experimento inicial, se pidió a 80 sujetos estadounidenses que juzgaran si los artículos cortos de ~200 palabras estaban escritos por humanos o por GPT-3. Los participantes juzgaron correctamente el 52% del tiempo, lo que les fue solo un poco mejor que adivinar al azar. [1]

El 18 de noviembre de 2021, OpenAI anunció que se habían implementado suficientes salvaguardas para que el acceso a su API no tuviera restricciones. [21] OpenAI proporcionó a los desarrolladores una herramienta de moderación de contenido que los ayuda a cumplir con la política de contenido de OpenAI. [22] El 27 de enero de 2022, OpenAI anunció que sus modelos de lenguaje GPT-3 más nuevos (denominados colectivamente InstructGPT) eran ahora el modelo de lenguaje predeterminado utilizado en su API . Según OpenAI, InstructGPT producía contenido que se alineaba mejor con las intenciones del usuario al seguir mejor las instrucciones, generar menos hechos inventados y producir contenido algo menos tóxico. [23]

Debido a que GPT-3 puede "generar artículos de noticias que los evaluadores humanos tienen dificultades para distinguir de los artículos escritos por humanos", [12] GPT-3 tiene el "potencial de promover tanto las aplicaciones beneficiosas como las dañinas de los modelos de lenguaje". [1] : 34  En su artículo del 28 de mayo de 2020, los investigadores describieron en detalle los posibles "efectos nocivos de GPT-3" [12] que incluyen "desinformación, spam , phishing , abuso de procesos legales y gubernamentales , redacción fraudulenta de ensayos académicos y pretextos de ingeniería social ". [1] Los autores llaman la atención sobre estos peligros para pedir que se investigue sobre la mitigación de riesgos . [1] : 34 

GPT-3 es capaz de realizar aprendizaje de cero disparos y de pocos disparos (incluido el de un solo disparo). [1]

En junio de 2022, Almira Osmanovic Thunström escribió que GPT-3 era el autor principal de un artículo sobre sí mismo, que lo habían enviado para su publicación [24] y que se había publicado previamente mientras se esperaba que se completara su revisión. [25]

Modelos GPT-3

Hay muchos modelos en la familia GPT-3, algunos de los cuales cumplen distintas funciones que otros. En el artículo de investigación inicial publicado por OpenAI, se mencionaron ocho tamaños diferentes del modelo principal GPT-3:

Nombre del modeloParámetrosNombre de la API
GPT-3 Pequeño125 millonesn / A
GPT-3 Medio350 millonesada
GPT-3 Grande760 millonesn / A
GPT-3 XL1.3 BBabbage
GPT-3 2.7B2,7 Bn / A
GPT-3 6.7B6,7 Bcurie
GPT-3 13B13Bn / A
GPT-3 175B175BDa Vinci

La mitad de los modelos son accesibles a través de la API, a saber, GPT-3-medium, GPT-3-xl, GPT-3-6.7B y GPT-3-175b, a los que se hace referencia como ada, babbage, curie y davinci respectivamente. Si bien OpenAI no reveló originalmente el tamaño de los modelos de la API, EleutherAI anunció la correlación entre los tamaños de los modelos y los nombres de las API en mayo de 2021. [26] Estos tamaños de modelos fueron confirmados posteriormente por OpenAI, [27] pero no se han revelado los tamaños de los modelos posteriores.

ModeloParámetrosDescripciónSerie
ada350 millonesCapaz de realizar tareas muy sencillas, normalmente el modelo más rápido de la serie GPT-3 y de menor coste.Base GPT-3
Babbage

Babbage-002

1.3 BCapaz de realizar tareas sencillas, muy rápidas y de menor coste.Base GPT-3
curie6.7BMuy capaz, pero más rápido y de menor costo que Davinci.Base GPT-3
Da Vinci

davinci-002

175 BEl modelo GPT-3 más capaz. Puede realizar cualquier tarea que hagan otros modelos, a menudo con mayor calidad.Base GPT-3
texto-ada-001350 millonesCapaz de realizar tareas muy sencillas, normalmente el modelo más rápido de la serie GPT-3 y de menor coste.InstruirGPT
texto-babbage-0011.3BCapaz de realizar tareas sencillas, muy rápidas y de menor coste.InstruirGPT
texto-curie-0016.7BMuy capaz, más rápido y de menor costo que Davinci.InstruirGPT
texto-davinci-001175BVersión anterior del modelo más capaz de la serie GPT-3. Puede realizar cualquier tarea que los otros modelos GPT-3 pueden realizar, a menudo con menos contexto.InstruirGPT
texto-davinci-002

código-davinci-002

No reveladoCapacidades similares, text-davinci-003pero entrenadas con ajuste fino supervisado en lugar de aprendizaje de refuerzo.GPT-3.5
texto-davinci-003No reveladoPuede realizar cualquier tarea lingüística con mejor calidad, resultados más extensos y un seguimiento de instrucciones consistente que los modelos Curie, Babbage o ADA. También admite la inserción de terminaciones dentro del texto.GPT-3.5
gpt-3.5-turbo

instrucciones gpt-3.5-turbo-16k

No reveladoEl modelo GPT-3.5 más capaz y rentable (más rápido) y optimizado para chat a 1/10 del costo de text-davinci-003.GPT-3.5

GPT-3.5

Transformador generativo preentrenado 3.5 (GPT-3.5)
Autor(es) original(es)IA abierta [1]
Lanzamiento inicial15 de marzo de 2022 ; hace 2 años (2022-03-15)
Repositorion / A
PredecesorGPT-3
SucesorGPT-4
Tipo
LicenciaPrivativo
Sitio webn / A

Generative Pre-trained Transformer 3.5 ( GPT-3.5 ) es una subclase de modelos GPT-3 creados por OpenAI en 2022.

El 15 de marzo de 2022, OpenAI puso a disposición nuevas versiones de GPT-3 y Codex en su API con capacidades de edición e inserción bajo los nombres "text-davinci-002" y "code-davinci-002". [28] Estos modelos fueron descritos como más capaces que las versiones anteriores y fueron entrenados con datos hasta junio de 2021. [29] El 28 de noviembre de 2022, OpenAI presentó text-davinci-003. [30] El 30 de noviembre de 2022, OpenAI comenzó a referirse a estos modelos como pertenecientes a la serie "GPT-3.5", [29] y lanzó ChatGPT , que fue perfeccionado a partir de un modelo de la serie GPT-3.5. [31] OpenAI no incluye GPT-3.5 en GPT-3. [32]

Modelos

Hay tres modelos: [33]

  • Charlar
    • gpt-3.5-turbo
  • Completar texto
    • texto-davinci-003
    • texto-davinci-002

GPT-3.5 con navegación

El 10 de abril de 2023, OpenAI presentó una nueva variante de su modelo de la serie GPT-3.5, conocida como GPT-3.5 con navegación (ALPHA). [34] Este modelo actualizado se describió para aprovechar las capacidades de sus predecesores "text-davinci-002" y "code-davinci-002". [35] El modelo GPT-3.5 con navegación (ALPHA) incorporó la capacidad de acceder y explorar información en línea. Esto ha dado lugar a respuestas más precisas y actualizadas a las consultas de los usuarios. [34]

El modelo GPT-3.5 con navegación (ALPHA) se ha entrenado con datos hasta septiembre de 2021, lo que le proporciona más información en comparación con los modelos GPT-3.5 anteriores, que se entrenaron con datos hasta junio de 2021. El modelo intentó proporcionar a los desarrolladores y usuarios una herramienta avanzada de procesamiento del lenguaje natural que pueda recuperar y sintetizar información en línea de manera eficaz. [34]

Para habilitar las capacidades de navegación, OpenAI implementó una nueva API que permite que el modelo GPT-3.5 con navegación (ALPHA) acceda a recursos en línea seleccionados durante la operación. [36] Esta característica permite a los usuarios hacer preguntas o solicitar información con la expectativa de que el modelo brindará respuestas actualizadas, precisas y relevantes basadas en las últimas fuentes en línea disponibles.

El 27 de abril de 2023, OpenAI puso a disposición del público el modelo GPT-3.5 con navegación (ALPHA) para los usuarios de GPT Plus. Esto permitió que más personas accedieran a sus nuevas funciones. [36]

InstruirGPT

InstructGPT es una versión optimizada de GPT-3.5 entrenada en un conjunto de datos de instrucciones escritas por humanos. [37]

Recepción

Aplicaciones

  • GPT-3, específicamente el modelo Codex , fue la base de GitHub Copilot , un software de generación y finalización de código que se puede utilizar en varios editores de código e IDE. [38] [39]
  • GPT-3 se utiliza en ciertos productos de Microsoft para traducir el lenguaje convencional a código informático formal. [40] [41]
  • GPT-3 se ha utilizado en CodexDB [42] para generar código específico de consulta para el procesamiento de SQL .
  • Jason Rohrer ha utilizado GPT-3 en un proyecto de chatbot de temática retro llamado "Project December", al que se puede acceder en línea y que permite a los usuarios conversar con varias IA utilizando la tecnología GPT-3. [43]
  • The Guardian utilizó GPT-3 para escribir un artículo sobre la inocuidad de la IA para los seres humanos. Se le aportaron algunas ideas y se produjeron ocho ensayos diferentes, que finalmente se fusionaron en un solo artículo. [44]
  • GPT-3 se utilizó en AI Dungeon , que genera juegos de aventuras basados ​​en texto. Más tarde fue reemplazado por un modelo de la competencia después de que OpenAI cambiara su política con respecto al contenido generado. [45] [46]
  • GPT-3 se utiliza para ayudar a redactar textos y otros materiales de marketing. [47]
  • Un estudio de 2022 de la Universidad de Drexel sugirió que los sistemas basados ​​en GPT-3 podrían usarse para detectar signos tempranos de la enfermedad de Alzheimer . [48] [49]

Reseñas

  • En una reseña de julio de 2020 en The New York Times , Farhad Manjoo dijo que la capacidad de GPT-3 para generar código de computadora, poesía y prosa no solo es "asombrosa", "espeluznante" y "humillante", sino también "más que un poco aterradora". [50]
  • Daily Nous presentó una serie de artículos de nueve filósofos sobre GPT-3. [51] El filósofo australiano David Chalmers describió a GPT-3 como "uno de los sistemas de IA más interesantes e importantes jamás producidos". [52]
  • Una reseña en Wired decía que GPT-3 estaba "provocando escalofríos en todo Silicon Valley ". [53]
  • La National Law Review afirmó que GPT-3 es un "paso impresionante en un proceso más amplio", y que OpenAI y otros encuentran "aplicaciones útiles para todo este poder" mientras continúan "trabajando hacia una inteligencia más general ". [54]
  • Un artículo en MIT Technology Review , coescrito por el crítico de Deep Learning Gary Marcus , [55] afirmó que "la comprensión del mundo de GPT-3 a menudo es muy errónea, lo que significa que nunca se puede confiar realmente en lo que dice". [56] Según los autores, GPT-3 modela relaciones entre palabras sin tener una comprensión del significado detrás de cada palabra.
  • Jerome Pesenti, director del laboratorio de inteligencia artificial de Facebook, dijo que GPT-3 es "inseguro", señalando el lenguaje sexista , racista y otro lenguaje sesgado y negativo generado por el sistema cuando se le pidió que hablara sobre judíos, mujeres, personas negras y el Holocausto . [57]
  • Nabla, una start-up francesa especializada en tecnología sanitaria, probó GPT-3 como un chatbot médico , aunque la propia OpenAI advirtió contra ese uso. Como era de esperar, GPT-3 mostró varias limitaciones. Por ejemplo, al probar las respuestas de GPT-3 sobre problemas de salud mental, la IA aconsejó a un paciente simulado que se suicidara. [58]
  • Noam Chomsky expresó su escepticismo sobre el valor científico de GPT-3: "No es un modelo de lenguaje. Funciona igual de bien para lenguajes imposibles que para lenguajes reales. Por lo tanto, queda refutado, si se lo pretende como modelo de lenguaje, por los criterios científicos normales. [...] Tal vez sea útil para algún propósito, pero parece no decirnos nada sobre el lenguaje o la cognición en general". [59]
  • Luciano Floridi y Massimo Chiriatti destacaron el riesgo de la “producción barata de buenos artefactos semánticos”. [60]
  • El propio Sam Altman, de OpenAI, criticó lo que llamó "la exageración de GPT-3", reconociendo que GPT-3 "tiene serias debilidades y a veces comete errores muy tontos... La IA va a cambiar el mundo, pero GPT-3 es solo un vistazo muy preliminar". [61]

Crítica

El constructor de GPT-3, OpenAI , se fundó inicialmente como una organización sin fines de lucro en 2015. [62] En 2019, OpenAI rompió con sus estándares habituales de código abierto al no publicar públicamente el modelo predecesor de GPT-3, citando preocupaciones de que el modelo podría facilitar la propagación de noticias falsas. OpenAI finalmente lanzó una versión de GPT-2 que era el 8% del tamaño del modelo original. [63] En el mismo año, OpenAI se reestructuró para ser una empresa con fines de lucro. [64] En 2020, Microsoft anunció que la compañía tenía licencia exclusiva de GPT-3 para los productos y servicios de Microsoft luego de una inversión multimillonaria en OpenAI. El acuerdo permite a OpenAI ofrecer una API pública de modo que los usuarios puedan enviar texto a GPT-3 para recibir la salida del modelo, pero solo Microsoft tendrá acceso al código fuente de GPT-3. [5]

Los modelos de lenguaje de gran tamaño, como GPT-3, han sido objeto de críticas por parte de algunos investigadores de ética de la IA de Google por el impacto ambiental del entrenamiento y almacenamiento de los modelos, detallado en un artículo coescrito por Timnit Gebru y Emily M. Bender en 2021. [65]

El uso creciente [ ¿cuándo? ] de tecnologías de escritura automatizada basadas en GPT-3 y otros generadores de lenguaje ha generado inquietudes respecto de la integridad académica [66] y ha elevado los riesgos de cómo las universidades y las escuelas evaluarán qué constituye una mala conducta académica, como el plagio. [67]

La serie GPT de OpenAI se creó con datos del conjunto de datos Common Crawl , [68] un conglomerado de artículos con derechos de autor, publicaciones de Internet, páginas web y libros extraídos de 60 millones de dominios durante un período de 12 años. TechCrunch informa que estos datos de entrenamiento incluyen material con derechos de autor de la BBC, The New York Times , Reddit , el texto completo de libros en línea y más. [69] En su respuesta a una Solicitud de comentarios de 2019 sobre la protección de la propiedad intelectual para la innovación en inteligencia artificial de la Oficina de Patentes y Marcas de los Estados Unidos (USPTO), OpenAI argumentó que "según la ley actual, el entrenamiento de sistemas de IA [como sus modelos GPT] constituye un uso justo ", pero que "dada la falta de jurisprudencia al respecto, OpenAI y otros desarrolladores de IA como nosotros enfrentan una incertidumbre legal sustancial y costos de cumplimiento". [70]

Véase también

Referencias

  1. ^ abcdefghijklm Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (28 de mayo de 2020). "Los modelos de lenguaje son aprendices de pocas oportunidades". arXiv : 2005.14165 [cs.CL].
  2. ^ abc Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (11 de junio de 2018). "Mejorar la comprensión del lenguaje mediante el preentrenamiento generativo" (PDF) . pág. 12. Archivado (PDF) del original el 26 de enero de 2021. Consultado el 31 de julio de 2020 .
  3. ^ Vaswani, Ashish ; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, León; Gómez, Aidan N ; Káiser, Łukasz; Polosukhin, Illia (2017). "La atención es todo lo que necesita" (PDF) . Avances en los sistemas de procesamiento de información neuronal . 30 . Curran asociados, Inc.
  4. ^ Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (1 de septiembre de 2014). "Traducción automática neuronal mediante aprendizaje conjunto de alineación y traducción". arXiv : 1409.0473 [cs.CL].
  5. ^ ab Hao, Karen (23 de septiembre de 2020). "OpenAI está dando a Microsoft acceso exclusivo a su modelo de lenguaje GPT-3". MIT Technology Review . Archivado desde el original el 5 de febrero de 2021. Consultado el 25 de septiembre de 2020. Las empresas dicen que OpenAI seguirá ofreciendo su API pública , que permite a los usuarios elegidos enviar texto a GPT-3 u otros modelos de OpenAI y recibir su salida. Sin embargo, solo Microsoft tendrá acceso al código subyacente de GPT-3, lo que le permitirá incrustar, reutilizar y modificar el modelo a su gusto.
  6. ^ ab "Se está empezando a entender las limitaciones de la IA". The Economist . 11 de junio de 2020. ISSN  0013-0613. Archivado desde el original el 31 de julio de 2020 . Consultado el 31 de julio de 2020 .
  7. ^ Polosukhin, Illia; Káiser, Lukasz; Gómez, Aidán N.; Jones, León; Uszkoreit, Jakob; Parmar, Niki; Shazeer, Noam; Vaswani, Ashish (12 de junio de 2017). " Atención es todo lo que necesitas ". arXiv : 1706.03762 [cs.CL].
  8. ^ "Procesamiento del lenguaje natural". Archivado desde el original el 22 de agosto de 2020 . Consultado el 31 de julio de 2020 .
  9. ^ "Copia archivada" (PDF) . Archivado (PDF) del original el 6 de febrero de 2021. Consultado el 28 de abril de 2023 .{{cite web}}: CS1 maint: archived copy as title (link)
  10. ^ Sterling, Bruce (13 de febrero de 2020). «Web Semantics: Microsoft Project Turing introduce Turing Natural Language Generation (T-NLG)». Wired . ISSN  1059-1028. Archivado desde el original el 4 de noviembre de 2020. Consultado el 31 de julio de 2020 .
  11. ^ Marche, Stephen (6 de diciembre de 2022). «The College Essay Is Dead». The Atlantic . Archivado desde el original el 24 de enero de 2023. Consultado el 8 de diciembre de 2022 .
  12. ^ abcd Sagar, Ram (3 de junio de 2020). «OpenAI lanza GPT-3, el modelo más grande hasta ahora». Revista Analytics India . Archivado desde el original el 4 de agosto de 2020. Consultado el 31 de julio de 2020 .
  13. ^ "Los modelos de lenguaje son aprendices multitarea no supervisados" (PDF) . openai.com . Archivado (PDF) del original el 12 de diciembre de 2019 . Consultado el 4 de diciembre de 2019 . GPT-2, es un transformador de parámetros de 1.5B
  14. ^ Shead, Sam (23 de julio de 2020). "Por qué todo el mundo habla del generador de texto de IA lanzado por un laboratorio respaldado por Elon Musk". CNBC . Archivado desde el original el 30 de julio de 2020. Consultado el 31 de julio de 2020 .Se publicaron cuatro preimpresiones entre el 28 de mayo y el 22 de julio de 2020.
  15. ^ Ray, Tiernan (1 de junio de 2020). «El gigantesco GPT-3 de OpenAI insinúa los límites de los modelos de lenguaje para la IA». ZDNet . Archivado desde el original el 1 de junio de 2020. Consultado el 31 de julio de 2020 .
  16. ^ Li, Chuan (3 de junio de 2020), Modelo de lenguaje GPT-3 de OpenAI: una descripción técnica, archivado desde el original el 27 de marzo de 2023 , consultado el 27 de marzo de 2023
  17. ^ Gehman, Samuel; Gururangan, Suchin; Sap, Maarten; Choi, Yejin; Smith, Noah A. (16-20 de noviembre de 2020), REALTOXICITYPROMPTS: Evaluación de la degeneración tóxica neuronal en modelos lingüísticos , Association for Computational Linguistics, págs. 3356-3369, arXiv : 2009.11462
  18. ^ ab "OpenAI API". OpenAI . 11 de junio de 2020. Archivado desde el original el 11 de junio de 2020 . Consultado el 31 de julio de 2020 .
  19. ^ Coldewey, Devin (11 de junio de 2020). "OpenAI crea una API multipropósito para sus capacidades de IA basadas en texto". TechCrunch . Archivado del original el 27 de octubre de 2021 . Consultado el 31 de julio de 2020 . Si alguna vez quiso probar el aclamado conjunto de herramientas de aprendizaje automático de OpenAI, ahora es mucho más fácil. La empresa ha lanzado una API que permite a los desarrolladores llamar a sus herramientas de IA para "prácticamente cualquier tarea en inglés".
  20. ^ Arram (9 de julio de 2020). «GPT-3: una IA que es inquietantemente buena para escribir casi cualquier cosa». Arram Sabeti . Archivado desde el original el 20 de julio de 2020. Consultado el 31 de julio de 2020 .
  21. ^ "La API de OpenAI ya está disponible sin lista de espera". OpenAI . 18 de noviembre de 2021. Archivado desde el original el 5 de noviembre de 2022 . Consultado el 5 de noviembre de 2022 .
  22. ^ "API de OpenAI". beta.openai.com . Archivado desde el original el 23 de diciembre de 2022 . Consultado el 5 de noviembre de 2022 .
  23. ^ "Alineación de modelos de lenguaje para seguir instrucciones". OpenAI . 27 de enero de 2022. Archivado desde el original el 5 de noviembre de 2022 . Consultado el 5 de noviembre de 2022 .
  24. ^ Thunström, Almira Osmanovic (30 de junio de 2022). "Le pedimos a GPT-3 que escribiera un artículo académico sobre sí mismo; luego intentamos publicarlo". Scientific American . Archivado desde el original el 30 de junio de 2022. Consultado el 30 de junio de 2022 .
  25. ^ Transformer, Gpt Generative Pretrained; Thunström, Almira Osmanovic; Steingrimsson, Steinn (21 de junio de 2022). "¿Puede GPT-3 escribir un artículo académico sobre sí mismo, con una mínima intervención humana?". Archivo abierto HAL (en francés). Archivado desde el original el 30 de junio de 2022. Consultado el 30 de junio de 2022 .
  26. ^ Gao, Leo (24 de mayo de 2021). "Sobre los tamaños de los modelos de API de OpenAI". Blog de EleutherAI . EleutherAI . Consultado el 23 de noviembre de 2023 .
  27. ^ "Índice de modelos para investigadores". OpenAI . Consultado el 23 de noviembre de 2023 .
  28. ^ "Nuevas capacidades de GPT-3: edición e inserción". OpenAI . 15 de marzo de 2022. Archivado desde el original el 13 de enero de 2023 . Consultado el 13 de enero de 2023 .
  29. ^ ab "OpenAI API". platform.openai.com . Archivado desde el original el 20 de marzo de 2023 . Consultado el 15 de marzo de 2023 .
  30. ^ "¡Echa un vistazo al nuevo text-davinci-003 de OpenAI! El mismo modelo subyacente que text-davinci-002, pero más alineado. ¡Me encantaría recibir comentarios al respecto! / Twitter". Archivado desde el original el 15 de marzo de 2023 . Consultado el 6 de mayo de 2023 .
  31. ^ "ChatGPT: Optimización de modelos de lenguaje para el diálogo". OpenAI . 30 de noviembre de 2022. Archivado desde el original el 30 de noviembre de 2022 . Consultado el 13 de enero de 2023 .
  32. ^ "API de OpenAI". Archivado desde el original el 17 de marzo de 2023 . Consultado el 6 de mayo de 2023 .
  33. ^ "API de OpenAI". Archivado desde el original el 6 de mayo de 2023 . Consultado el 6 de mayo de 2023 .
  34. ^ abc tingetici (10 de abril de 2023). "Predeterminado (GPT-3.5) con navegación ALPHA: el nuevo modelo apareció hace un momento". r/OpenAI . Archivado desde el original el 27 de abril de 2023 . Consultado el 27 de abril de 2023 .
  35. ^ "Presentación de la serie GPT-3.5: modelos text-davinci-002 y code-davinci-002". OPEN AI . 15 de marzo de 2022. Archivado desde el original el 20 de marzo de 2023 . Consultado el 27 de abril de 2023 .
  36. ^ ab "GPT-3.5 con navegación (ALPHA) ahora disponible para usuarios de GPT Plus". OPEN AI . 27 de abril de 2023. Archivado desde el original el 20 de marzo de 2023 . Consultado el 27 de abril de 2023 .
  37. ^ Gilson A, Safranek CW, Huang T, Socrates V, Chi L, Taylor RA, Chartash D (febrero de 2023). "¿Cómo se desempeña ChatGPT en el examen de licencia médica de los Estados Unidos (USMLE)? Las implicaciones de los modelos de lenguaje grandes para la educación médica y la evaluación del conocimiento". JMIR Med Educ . 9 : e45312. doi : 10.2196/45312 . PMC 9947764. PMID  36753318 . 
  38. ^ "Códice OpenAI". OpenAI . 10 de agosto de 2021. Archivado desde el original el 3 de febrero de 2023 . Consultado el 23 de diciembre de 2022 .
  39. ^ Thompson, Clive (15 de marzo de 2022). "Cómo una IA se convirtió en mi genio de la escritura de códigos". Wired . Archivado desde el original el 23 de diciembre de 2022. Consultado el 23 de diciembre de 2022 .
  40. ^ "Microsoft anunció sus primeras funciones de productos para clientes impulsadas por GPT-3 y @Azure". The AI ​​Blog . 25 de mayo de 2021. Archivado desde el original el 26 de mayo de 2021 . Consultado el 26 de mayo de 2021 .
  41. ^ Vincent, James (25 de mayo de 2021). «Microsoft ha creado un sistema de autocompletado con tecnología de IA para código que utiliza GPT-3». The Verge . Archivado desde el original el 23 de diciembre de 2022. Consultado el 23 de diciembre de 2022 .
  42. ^ "CodexDB - Procesamiento SQL con tecnología GPT-3". CodexDB - Procesamiento SQL con tecnología GPT-3 . Archivado desde el original el 7 de diciembre de 2022. Consultado el 7 de diciembre de 2022 .
  43. ^ Fagone, Jason (23 de julio de 2021). «La simulación de Jessica: amor y pérdida en la era de la IA» San Francisco Chronicle . Archivado desde el original el 28 de julio de 2021. Consultado el 29 de julio de 2021 .
  44. ^ GPT-3 (8 de septiembre de 2020). «Un robot escribió todo este artículo. ¿Ya tienes miedo, humano? | GPT-3». The Guardian . ISSN  0261-3077. Archivado desde el original el 8 de septiembre de 2020. Consultado el 15 de septiembre de 2020 .{{cite news}}: CS1 maint: numeric names: authors list (link)
  45. ^ "Actualización: modelos de lenguaje y Dragon". Blog de Latitude . 8 de diciembre de 2021. Archivado desde el original el 25 de abril de 2022 . Consultado el 22 de marzo de 2022 .
  46. ^ "Este libro místico fue coescrito por una IA inquietantemente realista". www.vice.com . 2022. Archivado desde el original el 23 de diciembre de 2022 . Consultado el 23 de diciembre de 2022 .
  47. ^ GPT-3 (24 de febrero de 2023). «38 ejemplos de indicaciones en 10 categorías diferentes | GPT-3». GiPiTi Chat . Archivado desde el original el 8 de abril de 2023 . Consultado el 24 de febrero de 2023 .{{cite news}}: CS1 maint: numeric names: authors list (link)
  48. ^ "¿Puede el chatbot de inteligencia artificial ChatGPT detectar las primeras etapas del Alzheimer? - estudio". The Jerusalem Post . 2022. Archivado desde el original el 10 de febrero de 2023 . Consultado el 10 de febrero de 2023 .
  49. ^ Agbavor, Felix; Liang, Hualou (22 de diciembre de 2022). "Predicción de la demencia a partir del habla espontánea utilizando grandes modelos lingüísticos". PLOS Digital Health . 1 (12): e0000168. doi : 10.1371/journal.pdig.0000168 . PMC 9931366 . PMID  36812634. S2CID  255029590. 
  50. ^ Manjoo, Farhad (29 de julio de 2020). «¿Cómo sabes que un humano escribió esto?». The New York Times . ISSN  0362-4331. Archivado desde el original el 29 de octubre de 2020. Consultado el 4 de agosto de 2020 .
  51. ^ Weinberg, Justin, ed. (30 de julio de 2020). «Filósofos sobre GPT-3 (actualizado con respuestas de GPT-3)». Daily Nous . Archivado desde el original el 30 de octubre de 2020. Consultado el 31 de julio de 2020 .
  52. ^ Chalmers, David (30 de julio de 2020). Weinberg, Justin (ed.). "GPT-3 and General Intelligence". Daily Nous . Philosophers On GPT-3 (actualizado con respuestas de GPT-3). Archivado desde el original el 4 de agosto de 2020. Consultado el 4 de agosto de 2020 .
  53. ^ Simonite, Tom (22 de julio de 2020). "¿Este titular lo escribió una persona o una máquina?". Wired . ISSN  1059-1028. Archivado desde el original el 1 de noviembre de 2020. Consultado el 31 de julio de 2020 .
  54. ^ Claypoole, Theodore (30 de julio de 2020). «La nueva herramienta de inteligencia artificial GPT-3 alcanza nuevos hitos, pero demuestra lo mucho que aún nos queda por recorrer». The National Law Review . Archivado desde el original el 30 de octubre de 2020. Consultado el 4 de agosto de 2020 .
  55. ^ Marcus, Gary (1 de diciembre de 2018). «El problema más profundo del aprendizaje profundo». Medium . Archivado desde el original el 1 de agosto de 2019. Consultado el 29 de septiembre de 2020 .
  56. ^ Marcus, Gary; Davis, Ernest (22 de agosto de 2020). «GPT-3, Bloviator: el generador de lenguaje de OpenAI no tiene idea de lo que está hablando». MIT Technology Review . Archivado desde el original el 23 de agosto de 2020. Consultado el 23 de agosto de 2020 .
  57. ^ Metz, Cade (24 de noviembre de 2020). «Conoce a GPT-3. Ha aprendido a codificar (y a bloguear y discutir)». The New York Times . ISSN  0362-4331. Archivado desde el original el 6 de diciembre de 2020. Consultado el 24 de noviembre de 2020 .
  58. ^ "Un chatbot médico que utiliza GPT-3 de OpenAI le dijo a un paciente falso que se suicidara". AI News . 28 de octubre de 2020. Archivado desde el original el 10 de enero de 2021 . Consultado el 8 de enero de 2021 .
  59. ^ Chomsky sobre Terence McKenna, Sam Harris, GPT3, criptomonedas, Kierkegaard, Neuralink y Hofstadter. 24 de marzo de 2021. El evento ocurre a las 1:11:44. Archivado desde el original el 29 de abril de 2021 . Consultado el 29 de abril de 2021 .
  60. ^ Floridi, Luciano; Chiriatti, Massimo (1 de noviembre de 2020). "GPT‑3: su naturaleza, alcance, límites y consecuencias". Mentes y máquinas . 30 (4): 681–694. doi : 10.1007/s11023-020-09548-1 . S2CID  228954221.
  61. ^ Vincent, James (30 de julio de 2020). «El último avance de OpenAI es sorprendentemente poderoso, pero aún lucha contra sus defectos». The Verge . Archivado desde el original el 30 de julio de 2020. Consultado el 9 de noviembre de 2022 .
  62. ^ Olanoff, Drew (11 de diciembre de 2015). «OpenAI, organización sin fines de lucro dedicada a la inteligencia artificial, se lanza con el respaldo de Elon Musk y Sam Altman». Tech Crunch. Archivado desde el original el 20 de octubre de 2022. Consultado el 31 de mayo de 2021 .
  63. ^ Hao, Karen (29 de agosto de 2019). «OpenAI ha lanzado la versión más grande hasta el momento de su IA que difunde noticias falsas». MIT Technology Review. Archivado desde el original el 9 de mayo de 2021. Consultado el 31 de mayo de 2021 .
  64. ^ Coldewey, Devin (11 de marzo de 2019). «OpenAI cambia de una organización sin fines de lucro a una organización con 'ganancias limitadas' para atraer capital». Tech Crunch. Archivado desde el original el 4 de enero de 2023. Consultado el 31 de mayo de 2021 .
  65. ^ Bender, Emily M.; Gebru, Timnit; McMillan-Major, Angelina; Shmitchell, Shmargaret (3 de marzo de 2021). Sobre los peligros de los loros estocásticos: ¿pueden los modelos lingüísticos ser demasiado grandes? . FAccT '21: Actas de la Conferencia ACM de 2021 sobre equidad, rendición de cuentas y transparencia. págs. 610–623. doi : 10.1145/3442188.3445922 .
  66. ^ Mindzak, Michael; Eaton, Sarah Elaine. «La inteligencia artificial está mejorando en la redacción y las universidades deberían preocuparse por el plagio». The Conversation . Archivado desde el original el 7 de noviembre de 2021. Consultado el 6 de noviembre de 2021 .
  67. ^ Rogerson, Ann M.; McCarthy, Grace (diciembre de 2017). "Uso de herramientas de paráfrasis basadas en Internet: ¿trabajo original, redacción de parches o plagio facilitado?". Revista Internacional de Integridad Educativa . 13 (1): 1–15. doi : 10.1007/s40979-016-0013-y . ISSN  1833-2595. S2CID  9473217.
  68. ^ Ver más, Dave. "Estadísticas de ChatGPT". NamePepper . Archivado desde el original el 5 de junio de 2023. Consultado el 21 de junio de 2023 .
  69. ^ A continuación se muestran algunas formas en las que GPT-3 puede fallar. TechCrunch . Archivado desde el original el 26 de noviembre de 2021 . Consultado el 26 de noviembre de 2021 .
  70. ^ Comentario sobre la solicitud de comentarios sobre la protección de la propiedad intelectual para la innovación en inteligencia artificial (PDF) . USPTO. Archivado (PDF) del original el 16 de octubre de 2021 . Consultado el 30 de noviembre de 2021 .
Retrieved from "https://en.wikipedia.org/w/index.php?title=GPT-3&oldid=1248889425"