Falsificación profunda

Parte de una serie sobre
Inteligencia artificial
Objetivos principales Inteligencia artificial general Agente inteligente Superación personal recursiva Planificación Visión por computadora Juego en general Razonamiento de conocimiento Procesamiento del lenguaje natural Robótica Seguridad de la IA
Aproches Aprendizaje automático Simbólico Aprendizaje profundo Redes bayesianas Algoritmos evolutivos Sistemas inteligentes híbridos Integración de sistemas
Aplicaciones Bioinformática Falsificación profunda Ciencias de la tierra Finanzas IA generativa Arte Audio Música Gobierno Cuidado de la salud Industria Salud mental Traducción automática Militar Física Proyectos
Filosofía Conciencia artificial Habitación china IA amigable Problema de control / Toma de posesión Ética Riesgo existencial Prueba de Turing Regulación
Historia Cronología Progreso Invierno de IA Auge de la IA
Glosario Glosario
en a mi

Los deepfakes (una combinación de las palabras deep learning y fake [ 1 ^] ) son imágenes, vídeos o audios editados o generados mediante herramientas de inteligencia artificial , que pueden representar personas reales o inexistentes. Son un tipo de medios sintéticos . ^[2]

Si bien el acto de crear contenido falso no es nuevo, los deepfakes aprovechan de manera única las herramientas y técnicas tecnológicas del aprendizaje automático y la inteligencia artificial , ^{[3] [4] [5]} incluidos los algoritmos de reconocimiento facial y las redes neuronales artificiales como los autocodificadores variacionales (VAE) y las redes generativas adversarias (GAN). ^{[4] [6]} A su vez, el campo de la ciencia forense de imágenes desarrolla técnicas para detectar imágenes manipuladas . ^[7] Los deepfakes han ganado una amplia atención por su posible uso en la creación de material de abuso sexual infantil , videos pornográficos de celebridades , pornografía de venganza , noticias falsas , engaños , acoso y fraude financiero . ^{[8] [9] [10] [11]}

Los académicos han expresado su preocupación por la posibilidad de que las falsificaciones profundas se utilicen para promover la desinformación y el discurso de odio, e interferir en las elecciones. La industria de la tecnología de la información y los gobiernos han respondido con recomendaciones para detectar y limitar su uso.

Desde el entretenimiento tradicional hasta los juegos , la tecnología deepfake ha evolucionado para ser cada vez más convincente ^[12] y estar disponible para el público, lo que ha permitido revolucionar las industrias del entretenimiento y los medios de comunicación . ^[13]

La manipulación fotográfica se desarrolló en el siglo XIX y pronto se aplicó a las películas. La tecnología mejoró de forma constante durante el siglo XX y, más rápidamente, con la llegada del vídeo digital .

La tecnología deepfake fue desarrollada por investigadores de instituciones académicas a partir de los años 1990, y luego por aficionados en comunidades en línea. ^{[14] [15]} Más recientemente, estos métodos fueron adoptados por la industria. ^[16]

La investigación académica relacionada con los deepfakes se divide entre el campo de la visión por computadora , un subcampo de la informática ^[14], que desarrolla técnicas para crear e identificar deepfakes, y los enfoques de las humanidades y las ciencias sociales que estudian las implicaciones sociales, éticas y estéticas de los deepfakes.

En los estudios cinematográficos, los deepfakes demuestran cómo "el rostro humano está emergiendo como un objeto central de ambivalencia en la era digital". ^[17] Los artistas de video han usado deepfakes para "reescribir lúdicamente la historia del cine al readaptar el cine canónico con nuevos intérpretes estrella". ^[18] El académico de cine Christopher Holliday analiza cómo cambiar el género y la raza de los intérpretes en escenas de películas familiares desestabiliza las clasificaciones y categorías de género. ^[18] La idea de " queerizar " los deepfakes también se analiza en el análisis de Oliver M. Gingrich sobre las obras de arte de los medios que usan deepfakes para replantear el género, ^[19] incluida Zizi: Queering the Dataset del artista británico Jake Elwes , una obra de arte que usa deepfakes de drag queens para jugar intencionalmente con el género. También se están empezando a explorar los potenciales estéticos de los deepfakes. El historiador de teatro John Fletcher señala que las primeras demostraciones de deepfakes se presentan como performances, y las sitúa en el contexto del teatro, analizando "algunos de los cambios de paradigma más preocupantes" que representan los deepfakes como género escénico. ^[20]

Los filósofos y los expertos en medios de comunicación han debatido sobre la ética de los deepfakes, especialmente en relación con la pornografía. ^[21] La especialista en medios de comunicación Emily van der Nagel recurre a la investigación en estudios de fotografía sobre imágenes manipuladas para analizar los sistemas de verificación que permiten a las mujeres dar su consentimiento para el uso de sus imágenes. ^[22]

Más allá de la pornografía, los filósofos han definido a los deepfakes como una "amenaza epistémica" para el conocimiento y, por lo tanto, para la sociedad. ^[23] Hay muchas otras sugerencias sobre cómo lidiar con los riesgos que los deepfakes generan más allá de la pornografía, pero también para las corporaciones, los políticos y otros, de "explotación, intimidación y sabotaje personal", ^[24] y hay varias discusiones académicas sobre posibles respuestas legales y regulatorias tanto en estudios legales como en estudios de medios. ^[25] En psicología y estudios de medios, los académicos discuten los efectos de la desinformación que utiliza deepfakes, ^{[26] [27]} y el impacto social de los deepfakes. ^[28]

Mientras que la mayoría de los estudios académicos en inglés sobre deepfakes se centran en las ansiedades occidentales sobre la desinformación y la pornografía, el antropólogo digital Gabriele de Seta ha analizado la recepción china de los deepfakes, que se conocen como huanlian , que se traduce como "caras cambiantes". El término chino no contiene la palabra "fake" del término inglés deepfake, y de Seta sostiene que este contexto cultural puede explicar por qué la respuesta china ha sido más sobre respuestas regulatorias prácticas a "riesgos de fraude, derechos de imagen, ganancias económicas y desequilibrios éticos". ^[29]

Un proyecto pionero fue el programa Video Rewrite, publicado en 1997. El programa modificaba secuencias de vídeo existentes de una persona hablando para mostrar a esa persona pronunciando las palabras contenidas en una pista de audio diferente. ^[30] Fue el primer sistema en automatizar completamente este tipo de reanimación facial, y lo hizo utilizando técnicas de aprendizaje automático para hacer conexiones entre los sonidos producidos por el sujeto de un vídeo y la forma de su rostro. ^[30]

Los proyectos académicos contemporáneos se han centrado en crear vídeos más realistas y en mejorar las técnicas. ^{[31] [32]} El programa "Synthesizing Obama", publicado en 2017, modifica secuencias de vídeo del expresidente Barack Obama para mostrarlo articulando las palabras contenidas en una pista de audio separada. ^[31] El proyecto enumera como principal contribución de investigación su técnica fotorrealista para sintetizar formas de boca a partir de audio. ^[31] El programa Face2Face, publicado en 2016, modifica secuencias de vídeo del rostro de una persona para mostrarla imitando las expresiones faciales de otra persona en tiempo real. ^[32] El proyecto enumera como principal contribución de investigación el primer método para recrear expresiones faciales en tiempo real utilizando una cámara que no captura profundidad, lo que hace posible que la técnica se realice utilizando cámaras de consumo comunes. ^[32]

En agosto de 2018, investigadores de la Universidad de California, Berkeley, publicaron un artículo que presenta una aplicación de baile falso que puede crear la impresión de una habilidad magistral para bailar utilizando IA. ^[33] Este proyecto amplía la aplicación de deepfakes a todo el cuerpo; trabajos anteriores se centraron en la cabeza o partes de la cara. ^[34]

Los investigadores también han demostrado que los deepfakes se están expandiendo a otros dominios, como la manipulación de imágenes médicas. ^[35] En este trabajo, se demostró cómo un atacante puede inyectar o eliminar automáticamente cáncer de pulmón en la tomografía computarizada 3D de un paciente . El resultado fue tan convincente que engañó a tres radiólogos y a una IA de detección de cáncer de pulmón de última generación. Para demostrar la amenaza, los autores realizaron con éxito el ataque a un hospital en una prueba de penetración de sombrero blanco . ^[36]

Una encuesta sobre deepfakes, publicada en mayo de 2020, ofrece una cronología de cómo ha avanzado la creación y detección de deepfakes en los últimos años. ^[37] La ​​encuesta identifica que los investigadores se han centrado en resolver los siguientes desafíos de la creación de deepfakes:

• Generalización. Los deepfakes de alta calidad suelen lograrse entrenando con horas de filmación del objetivo. Este desafío consiste en minimizar la cantidad de datos de entrenamiento y el tiempo necesario para entrenar el modelo para producir imágenes de calidad y permitir la ejecución de modelos entrenados con nuevas identidades (que no se ven durante el entrenamiento).
• Entrenamiento por pares. El entrenamiento de un modelo supervisado puede producir resultados de alta calidad, pero requiere el emparejamiento de datos. Este es el proceso de encontrar ejemplos de entradas y sus salidas deseadas para que el modelo aprenda de ellas. El emparejamiento de datos es laborioso y poco práctico cuando se entrena con múltiples identidades y comportamientos faciales. Algunas soluciones incluyen el entrenamiento autosupervisado (usando fotogramas del mismo video), el uso de redes no apareadas como Cycle-GAN o la manipulación de incrustaciones de redes.
• Fuga de identidad. En este caso, la identidad del conductor (es decir, el actor que controla el rostro en una recreación) se transfiere parcialmente al rostro generado. Algunas soluciones propuestas incluyen mecanismos de atención, aprendizaje de pocos disparos, desenredo, conversiones de límites y conexiones de salto.
• Oclusiones. Cuando una parte de la cara está obstruida por una mano, el pelo, unas gafas o cualquier otro elemento, pueden producirse artefactos. Una oclusión habitual es la de la boca cerrada, que oculta el interior de la boca y los dientes. Algunas soluciones incluyen la segmentación de imágenes durante el entrenamiento y la pintura interna.
• Coherencia temporal. En los vídeos que contienen deepfakes, pueden producirse artefactos como parpadeos y vibraciones porque la red no tiene contexto de los fotogramas anteriores. Algunos investigadores proporcionan este contexto o utilizan nuevas pérdidas de coherencia temporal para ayudar a mejorar el realismo. A medida que la tecnología mejora, la interferencia disminuye.

En general, se espera que los deepfakes tengan varias implicaciones en los medios y la sociedad, la producción de medios, las representaciones de los medios, las audiencias de los medios, el género, las leyes y regulaciones, y la política. ^[38]

El término deepfakes se originó a fines de 2017 a partir de un usuario de Reddit llamado "deepfakes". ^[39] Él, así como otros en la comunidad de Reddit r/deepfakes, compartieron deepfakes que crearon; muchos videos involucraban rostros de celebridades intercambiados con los cuerpos de actores en videos pornográficos, ^[39] mientras que el contenido no pornográfico incluía muchos videos con el rostro del actor Nicolas Cage intercambiado en varias películas. ^[40]

Existen otras comunidades en línea, incluidas las comunidades de Reddit que no comparten pornografía, como r/SFWdeepfakes (abreviatura de "safe for work deepfakes"), en la que los miembros de la comunidad comparten deepfakes que representan a celebridades, políticos y otras personas en escenarios no pornográficos. ^[41] Otras comunidades en línea continúan compartiendo pornografía en plataformas que no han prohibido la pornografía deepfake. ^[42]

En enero de 2018, se lanzó una aplicación de escritorio patentada llamada FakeApp. ^[43] Esta aplicación permite a los usuarios crear y compartir fácilmente videos con sus caras intercambiadas entre sí. ^[44] A partir de 2019, FakeApp ha sido reemplazada por alternativas de código abierto como Faceswap, DeepFaceLab basado en línea de comandos y aplicaciones basadas en la web como DeepfakesWeb.com ^{[45] [46] [47]}

Las empresas más grandes comenzaron a utilizar deepfakes. ^[16] Se pueden crear videos de capacitación corporativa utilizando avatares deepfake y sus voces, por ejemplo Synthesia , que utiliza tecnología deepfake con avatares para crear videos personalizados. ^[48] La aplicación móvil Momo creó la aplicación Zao que permite a los usuarios superponer su rostro en clips de televisión y películas con una sola imagen. ^[16] A partir de 2019, la empresa japonesa de inteligencia artificial DataGrid creó un deepfake de cuerpo completo que podía crear una persona desde cero. ^[49]

A partir de 2020, también existen deepfakes de audio y software de inteligencia artificial capaz de detectar deepfakes y clonar voces humanas después de 5 segundos de tiempo de escucha. ^{[50] [51] [52] [53] [54] [55]} En marzo de 2020 se lanzó una aplicación móvil de deepfakes, Impressions. Fue la primera aplicación para la creación de videos deepfake de celebridades desde teléfonos móviles. ^{[56] [57]}

La capacidad de la tecnología Deepfake para fabricar mensajes y acciones de otros puede incluir a personas fallecidas. El 29 de octubre de 2020, Kim Kardashian publicó un video que mostraba un holograma de su difunto padre Robert Kardashian creado por la empresa Kaleida, que utilizó una combinación de tecnologías de performance, seguimiento de movimiento, efectos especiales, efectos visuales y DeepFake para crear la ilusión. ^{[58] [59]}

En 2020, se creó un video deepfake de Joaquín Oliver, una víctima del tiroteo de Parkland , como parte de una campaña de seguridad de armas. Los padres de Oliver se asociaron con la organización sin fines de lucro Change the Ref y McCann Health para producir un video en el que Oliver alentaba a las personas a apoyar la legislación de seguridad de armas y a los políticos que la respaldaban a que también lo hicieran. ^[60]

En 2022, se utilizó un vídeo deepfake de Elvis Presley en el programa America's Got Talent 17. [ ^61]

Un anuncio de televisión utilizó un video deepfake del miembro de los Beatles John Lennon , quien fue asesinado en 1980. ^[62]

Los deepfakes se basan en un tipo de red neuronal llamada autocodificador . ^[63] Estos consisten en un codificador, que reduce una imagen a un espacio latente de menor dimensión , y un decodificador, que reconstruye la imagen a partir de la representación latente. ^[64] Los deepfakes utilizan esta arquitectura al tener un codificador universal que codifica a una persona en el espacio latente. ^{[ cita requerida ]} La representación latente contiene características clave sobre sus rasgos faciales y postura corporal. Esto luego se puede decodificar con un modelo entrenado específicamente para el objetivo. Esto significa que la información detallada del objetivo se superpondrá a las características faciales y corporales subyacentes del video original, representado en el espacio latente. ^{[ cita requerida ]}

Una actualización popular de esta arquitectura conecta una red generativa adversaria al decodificador. Una GAN entrena un generador, en este caso el decodificador, y un discriminador en una relación adversaria. El generador crea nuevas imágenes a partir de la representación latente del material de origen, mientras que el discriminador intenta determinar si la imagen se genera o no. ^{[ cita requerida ]} Esto hace que el generador cree imágenes que imitan la realidad extremadamente bien, ya que cualquier defecto sería detectado por el discriminador. ^[65] Ambos algoritmos mejoran constantemente en un juego de suma cero . Esto hace que los deepfakes sean difíciles de combatir, ya que evolucionan constantemente; cada vez que se determina un defecto, se puede corregir. ^[65]

Los clones digitales de actores profesionales han aparecido en películas antes, y se espera que el progreso en la tecnología deepfake fomente la accesibilidad y la eficacia de dichos clones. ^[66] El uso de tecnología de IA fue un tema importante en la huelga SAG-AFTRA de 2023 , ya que las nuevas técnicas permitieron la capacidad de generar y almacenar una imagen digital para usarla en lugar de los actores. ^[67]

Disney ha mejorado sus efectos visuales utilizando tecnología de intercambio de rostros deepfake de alta resolución. ^[68] Disney mejoró su tecnología a través de un entrenamiento progresivo programado para identificar expresiones faciales, implementando una función de intercambio de rostros e iterando para estabilizar y refinar el resultado. ^[68] Esta tecnología deepfake de alta resolución ahorra costos operativos y de producción significativos. ^[69] El modelo de generación deepfake de Disney puede producir medios generados por IA con una resolución de 1024 x 1024, a diferencia de los modelos comunes que producen medios con una resolución de 256 x 256. ^[69] La tecnología le permite a Disney rejuvenecer personajes o revivir actores fallecidos. ^[70] Los fanáticos utilizaron inicialmente una tecnología similar para insertar rostros de manera no oficial en medios existentes, como superponer el rostro joven de Harrison Ford sobre el rostro de Han Solo en Solo: A Star Wars Story . ^[71] Disney usó deepfakes para los personajes de la Princesa Leia y el Gran Moff Tarkin en Rogue One . ^{[72] [73]}

El documental de 2020 Welcome to Chechnya utilizó tecnología deepfake para ocultar la identidad de las personas entrevistadas, a fin de protegerlas de represalias. ^[74]

La Agencia de Artistas Creativos ha desarrollado una herramienta para capturar la imagen de un actor "en un solo día", para desarrollar un clon digital del actor, que sería controlado por el actor o su patrimonio junto con otros derechos de personalidad . ^[75]

Entre las empresas que han utilizado clones digitales de actores profesionales en sus anuncios se incluyen Puma , Nike y Procter & Gamble . ^[76]

En marzo de 2018, el artista multidisciplinario Joseph Ayerle publicó la obra de arte en video Un'emozione per sempre 2.0 (título en inglés: The Italian Game ). El artista trabajó con tecnología Deepfake para crear un actor de IA, una versión sintética de la estrella de cine de los 80 Ornella Muti , viajando en el tiempo desde 1978 hasta 2018. El Instituto Tecnológico de Massachusetts hizo referencia a esta obra de arte en el estudio "Collective Wisdom". ^{[77] El artista utilizó} el viaje en el tiempo de Ornella Muti para explorar reflexiones generacionales, al mismo tiempo que investigaba preguntas sobre el papel de la provocación en el mundo del arte. ^[78] Para la realización técnica, Ayerle utilizó escenas de la modelo fotográfica Kendall Jenner . El programa reemplazó la cara de Jenner por una cara calculada por IA de Ornella Muti. Como resultado, el actor de IA tiene la cara de la actriz italiana Ornella Muti y el cuerpo de Kendall Jenner.

Los deepfakes se han utilizado ampliamente en sátira o para parodiar a celebridades y políticos. La serie web de 2020 Sassy Justice , creada por Trey Parker y Matt Stone , presenta en gran medida el uso de figuras públicas deepfakes para satirizar eventos actuales y generar conciencia sobre la tecnología deepfake. ^[79]

Los deepfakes pueden utilizarse para generar material de chantaje que incrimine falsamente a una víctima. Un informe del Servicio de Investigación del Congreso de Estados Unidos advirtió que los deepfakes podrían utilizarse para chantajear a funcionarios electos o a quienes tienen acceso a información clasificada con fines de espionaje o influencia . ^[80]

Por otra parte, dado que las falsificaciones no se pueden distinguir de manera fiable de los materiales genuinos, las víctimas de un chantaje real pueden ahora afirmar que los artefactos verdaderos son falsificaciones, lo que les otorga una negación plausible. El efecto es anular la credibilidad de los materiales de chantaje existentes, lo que elimina la lealtad a los chantajistas y destruye el control del chantajista. Este fenómeno puede denominarse "inflación del chantaje", ya que "devalúa" el chantaje real, haciéndolo inútil. ^[81] Es posible utilizar hardware GPU comercial con un pequeño programa de software para generar este contenido de chantaje para cualquier número de sujetos en grandes cantidades, lo que aumenta la oferta de contenido de chantaje falso de manera ilimitada y de manera altamente escalable. ^[82]

El 8 de junio de 2022, ^[83] Daniel Emmet, un exconcursante de AGT , se asoció con la startup de inteligencia artificial ^{[84] [85]} Metaphysic AI, para crear un deepfake hiperrealista para que pareciera Simon Cowell . Cowell, notoriamente conocido por criticar severamente a los concursantes, ^[86] estaba en el escenario interpretando " You're The Inspiration " de Chicago . Emmet cantó en el escenario mientras una imagen de Simon Cowell emergía en la pantalla detrás de él en una sincronicidad impecable. ^[87]

El 30 de agosto de 2022, Metaphysic AI hizo que Simon Cowell , Howie Mandel y Terry Crews cantaran ópera en el escenario. ^[88]

El 13 de septiembre de 2022, Metaphysic AI actuó con una versión sintética de Elvis Presley para la final de America's Got Talent . ^[89]

El proyecto de inteligencia artificial 15.ai del MIT se ha utilizado para la creación de contenido para múltiples fandoms de Internet , particularmente en las redes sociales. ^{[90] [91] [92]}

En 2023, las bandas ABBA y KISS se asociaron con Industrial Light & Magic y Pophouse Entertainment para desarrollar avatares deepfake capaces de realizar conciertos virtuales . ^[93]

Los estafadores y los timadores utilizan deepfakes para engañar a las personas con esquemas de inversión falsos, fraudes financieros , criptomonedas , envío de dinero y seguimiento de patrocinios . Las imágenes de celebridades y políticos se han utilizado para estafas a gran escala, así como las de individuos privados, que se utilizan en ataques de phishing . Según Better Business Bureau , las estafas deepfake son cada vez más frecuentes. ^[94]

Los patrocinios falsos han hecho un uso indebido de las identidades de celebridades como Taylor Swift , ^{[95] [94]} Tom Hanks , ^[96] Oprah Winfrey , ^[97] y Elon Musk ; ^[98] presentadores de noticias ^[99] como Gayle King ^[96] y Sally Bundock ; ^[100] y políticos como Lee Hsien Loong ^[101] y Jim Chalmers . ^{[102] [103]} Han aparecido videos de ellos en anuncios en línea en YouTube , Facebook y TikTok , que tienen políticas contra los medios sintéticos y manipulados . ^{[104] [95] [105]} Millones de personas ven anuncios que ejecutan estos videos. Una sola campaña de fraude de Medicare había sido vista más de 195 millones de veces en miles de videos. ^{[104] [106]} Los deepfakes se han utilizado para: un obsequio falso de utensilios de cocina Le Creuset por una "tarifa de envío" sin recibir los productos, a excepción de cargos mensuales ocultos; ^[95] gomitas para bajar de peso que cobran significativamente más de lo que se decía; ^[97] un falso sorteo de iPhone; ^{[95] [105]} y esquemas fraudulentos de enriquecimiento rápido , ^{[98] [107]} inversiones, ^[108] y criptomonedas . ^{[101] [109]}

Muchos anuncios combinan la clonación de voz de IA con un "video descontextualizado de la celebridad" para imitar la autenticidad. Otros usan un clip completo de una celebridad antes de pasar a un actor o voz diferente. ^[104] Algunas estafas pueden implicar deepfakes en tiempo real. ^[105]

Las celebridades han estado advirtiendo a las personas sobre estos patrocinios falsos y para que estén más alertas contra ellos. ^{[94] [95] [97]} Es poco probable que las celebridades presenten demandas contra cada persona que opera estafas deepfake, ya que "encontrar y demandar a usuarios anónimos de redes sociales requiere muchos recursos", aunque las cartas de cese y desistimiento a las empresas de redes sociales funcionan para lograr que se eliminen videos y anuncios. ^[110]

Los deepfakes de audio se han utilizado como parte de estafas de ingeniería social , engañando a las personas haciéndoles creer que están recibiendo instrucciones de una persona de confianza. ^[111] En 2019, el director ejecutivo de una empresa de energía con sede en el Reino Unido fue estafado por teléfono cuando un individuo le ordenó transferir 220.000 euros a una cuenta bancaria húngara porque, al parecer, utilizó tecnología deepfake de audio para hacerse pasar por la voz del director ejecutivo de la empresa matriz de la empresa. ^{[112] [113]}

A partir de 2023, la combinación de avances en la tecnología deepfake, que podría clonar la voz de un individuo a partir de una grabación de unos segundos a un minuto, y nuevas herramientas de generación de texto , permitieron estafas de suplantación de identidad automatizadas, dirigidas a víctimas que utilizan un clon digital convincente de un amigo o familiar. ^[114]

Los deepfakes de audio se pueden utilizar para ocultar la identidad real de un usuario. En los juegos en línea , por ejemplo, un jugador puede querer elegir una voz que suene como su personaje en el juego cuando habla con otros jugadores. Aquellos que son objeto de acoso , como mujeres, niños y personas transgénero, pueden usar estas "apariencias de voz" para ocultar su género o edad. ^[115]

En 2020, surgió un meme de Internet que utiliza deepfakes para generar videos de personas cantando el coro de "Baka Mitai" (ばかみたい) , una canción del juego Yakuza 0 en la serie de videojuegos Like a Dragon . En la serie, el jugador canta la canción melancólica en un minijuego de karaoke . La mayoría de las iteraciones de este meme usan un video de 2017 subido por el usuario Dobbsyrules, que hace playback de la canción, como plantilla. ^{[116] [117]}

Los deepfakes se han utilizado para tergiversar la identidad de políticos conocidos en vídeos.

• En febrero de 2018, en videos separados, el rostro del presidente argentino Mauricio Macri fue reemplazado por el rostro de Adolf Hitler , y el rostro de Angela Merkel fue reemplazado por el de Donald Trump . ^{[118] [119]}
• En abril de 2018, Jordan Peele colaboró ​​con Buzzfeed para crear un deepfake de Barack Obama con la voz de Peele; sirvió como un anuncio de servicio público para aumentar la conciencia sobre los deepfakes. ^[120]
• En enero de 2019, la filial de Fox , KCPQ, emitió un video de Trump durante su discurso en la Oficina Oval , en el que se burlaban de su apariencia y color de piel. El empleado que fue considerado responsable del video fue posteriormente despedido. ^[121]
• En junio de 2019, el Comité de Inteligencia de la Cámara de Representantes de Estados Unidos celebró audiencias sobre el posible uso malicioso de deepfakes para influir en las elecciones. ^[122]
• En abril de 2020, la rama belga de Extinction Rebellion publicó un video deepfake de la primera ministra belga Sophie Wilmès en Facebook. ^[123] El video promovía un posible vínculo entre la deforestación y el COVID-19 . Tuvo más de 100.000 visitas en 24 horas y recibió muchos comentarios. En la página de Facebook donde apareció el video, muchos usuarios interpretaron el video deepfake como genuino. ^[124]
• Durante la campaña presidencial estadounidense de 2020 , surgieron muchas falsificaciones profundas que afirmaban que Joe Biden sufría un deterioro cognitivo (se quedó dormido durante una entrevista, se perdió y dijo algo mal), lo que reforzó los rumores sobre su declive. ^{[125] [126]}
• Durante la campaña electoral de la Asamblea Legislativa de Delhi de 2020 , el Partido Bharatiya Janata de Delhi utilizó una tecnología similar para distribuir una versión de un anuncio de campaña en inglés de su líder, Manoj Tiwari , traducido al haryanvi para llegar a los votantes de Haryana . Un actor proporcionó una voz en off y se utilizó una inteligencia artificial entrenada con videos de discursos de Tiwari para sincronizar los labios del video con la nueva voz en off. Un miembro del personal del partido lo describió como un uso "positivo" de la tecnología deepfake, que les permitió "acercarse de manera convincente al público objetivo incluso si el candidato no hablaba el idioma del votante". ^[127]
• En 2020, Bruno Sartori produjo deepfakes parodiando a políticos como Jair Bolsonaro y Donald Trump . ^[128]
• En abril de 2021, los políticos de varios países europeos fueron abordados por los bromistas Vovan y Lexus , a quienes los críticos acusan de trabajar para el estado ruso . Se hicieron pasar por Leonid Volkov , un político de la oposición rusa y jefe de personal de la campaña del líder de la oposición rusa Alexei Navalny , supuestamente a través de tecnología deepfake. ^{[129] [130] [131] [132]} Sin embargo, la pareja le dijo a The Verge que no usaron deepfakes, y solo usaron un imitador . ^[133]
• En mayo de 2023, un video deepfake de la vicepresidenta Kamala Harris supuestamente arrastrando las palabras y hablando sin sentido sobre hoy, mañana y ayer se volvió viral en las redes sociales. ^{[134] [135]}
• En junio de 2023, en Estados Unidos, la campaña presidencial de Ron DeSantis utilizó un deepfake para tergiversar la identidad de Donald Trump. ^[136]

En 2017, la pornografía deepfake apareció de forma destacada en Internet, particularmente en Reddit . ^[137] A partir de 2019, muchos deepfakes en Internet presentan pornografía de celebridades femeninas cuya imagen se usa típicamente sin su consentimiento. ^[138] Un informe publicado en octubre de 2019 por la startup holandesa de ciberseguridad Deeptrace estimó que el 96% de todos los deepfakes en línea eran pornográficos. ^[139] A partir de 2018, un deepfake de Daisy Ridley captó la atención por primera vez, ^[137] entre otros. ^{[140] [141] [142]} A partir de octubre de 2019, la mayoría de los sujetos de deepfake en Internet eran actores británicos y estadounidenses. ^[138] Sin embargo, alrededor de una cuarta parte de los sujetos son surcoreanos, la mayoría de los cuales son estrellas del K-pop. ^{[138] [143]}

En junio de 2019, se lanzó una aplicación descargable para Windows y Linux llamada DeepNude que usaba redes neuronales, específicamente redes generativas antagónicas , para eliminar la ropa de las imágenes de mujeres. La aplicación tenía una versión paga y otra gratuita; la versión paga costaba 50 dólares. ^{[144] [145]} El 27 de junio, los creadores eliminaron la aplicación y reembolsaron el dinero a los consumidores. ^[146]

Las celebridades femeninas suelen ser un objetivo principal cuando se trata de pornografía deepfake. En 2023, aparecieron en línea videos porno deepfake de Emma Watson y Scarlett Johansson en una aplicación de intercambio de caras. ^[147] En 2024, circularon en línea imágenes porno deepfake de Taylor Swift . ^[148]

Los estudios académicos han informado que las mujeres, las personas LGBT y las personas de color (en particular activistas, políticos y aquellos que cuestionan el poder) corren un mayor riesgo de ser víctimas de la difusión de pornografía deepfake. ^[149]

Los deepfakes han comenzado a usarse en plataformas de redes sociales populares, en particular a través de Zao, una aplicación china de deepfakes que permite a los usuarios sustituir sus propias caras por las de los personajes de escenas de películas y programas de televisión como Romeo + Julieta y Juego de Tronos . ^[150] La aplicación originalmente enfrentó escrutinio por su política invasiva de datos de usuario y privacidad, después de lo cual la compañía emitió una declaración afirmando que revisaría la política. ^[16] En enero de 2020, Facebook anunció que estaba introduciendo nuevas medidas para contrarrestar esto en sus plataformas. ^[151]

El Servicio de Investigación del Congreso citó evidencia no especificada que mostraba que agentes de inteligencia extranjeros usaban deepfakes para crear cuentas en las redes sociales con el propósito de reclutar individuos con acceso a información clasificada . ^[80]

En 2021, se publicaron en TikTok videos deepfake realistas del actor Tom Cruise , que se volvieron virales y obtuvieron más de decenas de millones de visitas. Los videos deepfake presentaban un "doppelganger generado por inteligencia artificial" de Cruise haciendo varias actividades, como jugar al golf, mostrar un truco con monedas y morder una piruleta. El creador de los clips, el artista belga de efectos visuales Chris Umé, ^[152] dijo que se interesó por primera vez en los deepfakes en 2018 y vio el "potencial creativo" de ellos. ^{[153] [154]}

Las fotografías deepfake pueden usarse para crear títeres de calcetín , personas inexistentes, que están activas tanto en línea como en los medios tradicionales. Una fotografía deepfake parece haber sido generada junto con una leyenda para una persona aparentemente inexistente llamada Oliver Taylor, cuya identidad fue descrita como un estudiante universitario en el Reino Unido. El personaje de Oliver Taylor presentó artículos de opinión en varios periódicos y estuvo activo en los medios en línea atacando a un académico de derecho británico y a su esposa, como "simpatizantes del terrorismo". El académico había llamado la atención internacional en 2018 cuando inició una demanda en Israel contra NSO, una empresa de vigilancia, en nombre de personas en México que alegaron haber sido víctimas de la tecnología de piratería telefónica de NSO . Reuters solo pudo encontrar escasos registros de Oliver Taylor y "su" universidad no tenía registros de él. Muchos expertos coincidieron en que la foto de perfil es una deepfake. Varios periódicos no se han retractado de los artículos atribuidos a él ni los han eliminado de sus sitios web. Se teme que tales técnicas sean un nuevo campo de batalla en la desinformación . ^[155]

También se han utilizado colecciones de fotografías falsas de personas inexistentes en las redes sociales como parte de la propaganda partidista israelí . La página de Facebook "Primavera Sionista" presentó fotos de personas inexistentes junto con sus "testimonios" que pretendían explicar por qué habían abandonado su política de izquierdas para abrazar la política de derechas , y la página también contenía una gran cantidad de publicaciones del Primer Ministro de Israel, Benjamin Netanyahu , su hijo y otras fuentes israelíes de derechas. Las fotografías parecen haber sido generadas mediante tecnología de " síntesis de imágenes humanas ", un software informático que toma datos de fotos de personas reales para producir una imagen compuesta realista de una persona inexistente. En muchos de los "testimonios", la razón dada para abrazar a la derecha política fue la conmoción de enterarse de la supuesta incitación a la violencia contra el primer ministro. Los locutores de televisión israelíes de derecha transmitieron luego los "testimonios" de estas personas inexistentes basándose en el hecho de que estaban siendo "compartidos" en línea. Los locutores emitieron estos "testimonios" a pesar de no poder encontrar a esas personas, explicando "¿Por qué importa el origen?". Otros perfiles falsos de Facebook (perfiles de personas ficticias) contenían material que supuestamente contenía incitaciones similares contra el primer ministro de derecha, a lo que el primer ministro respondió que había un complot para asesinarlo. ^{[156] [157]}

Aunque las fotos falsas han sido abundantes durante mucho tiempo, falsificar películas ha sido más difícil, y la presencia de deepfakes aumenta la dificultad de clasificar los videos como genuinos o no. ^[118] El investigador de IA Alex Champandard ha dicho que la gente debería saber qué tan rápido se pueden corromper las cosas con la tecnología deepfake, y que el problema no es técnico, sino que debe resolverse con la confianza en la información y el periodismo. ^[118] El profesor asociado de informática Hao Li de la Universidad del Sur de California afirma que los deepfakes creados para uso malintencionado, como las noticias falsas , serán aún más dañinos si no se hace nada para difundir el conocimiento de la tecnología deepfake. ^[158] Li predijo que los videos genuinos y los deepfakes se volverían indistinguibles en tan solo medio año, a partir de octubre de 2019, debido al rápido avance en inteligencia artificial y gráficos de computadora. ^[158] El ex zar antifraude de Google , Shuman Ghosemajumder, ha calificado los deepfakes como un área de "preocupación social" y ha dicho que inevitablemente evolucionarán hasta un punto en el que puedan generarse automáticamente, y un individuo podría usar esa tecnología para producir millones de vídeos deepfake. ^[159]

Una de las principales trampas es que la humanidad podría caer en una era en la que ya no se pueda determinar si el contenido de un medio corresponde a la verdad. ^{[118] [160]} Los deepfakes son una de las diversas herramientas para atacar la desinformación , creando dudas y socavando la confianza. Tienen el potencial de interferir con las funciones democráticas en las sociedades, como la identificación de agendas colectivas, el debate de cuestiones, la toma de decisiones informadas y la solución de problemas mediante el ejercicio de la voluntad política. ^[161] Las personas también pueden comenzar a descartar los eventos reales como falsos. ^[115]

Los deepfakes tienen la capacidad de dañar enormemente a entidades individuales. ^[162] Esto se debe a que los deepfakes suelen estar dirigidos a un individuo y/o sus relaciones con otros con la esperanza de crear una narrativa lo suficientemente poderosa como para influir en la opinión pública o las creencias. Esto se puede hacer a través de la suplantación de voz deepfake, que manipula el audio para crear llamadas telefónicas o conversaciones falsas. ^[162] Otro método de uso de deepfakes son los comentarios privados inventados, que manipulan los medios para transmitir a individuos expresando comentarios dañinos. ^[162] La calidad de un video o audio negativo no necesita ser tan alta. Siempre que la imagen y las acciones de alguien sean reconocibles, un deepfake puede dañar su reputación. ^[115]

En septiembre de 2020, Microsoft hizo público que está desarrollando una herramienta de software de detección de Deepfake. ^[163]

Detectar audio falso es una tarea sumamente compleja que requiere una atención cuidadosa a la señal de audio para lograr un buen rendimiento. El uso del aprendizaje profundo, el preprocesamiento del diseño de características y el aumento del enmascaramiento han demostrado ser eficaces para mejorar el rendimiento. ^[164]

La mayor parte de la investigación académica en torno a los deepfakes se centra en la detección de vídeos deepfake. ^[165] Un enfoque para la detección de deepfake es utilizar algoritmos para reconocer patrones y detectar inconsistencias sutiles que surgen en los vídeos deepfake. ^[165] Por ejemplo, los investigadores han desarrollado sistemas automáticos que examinan los vídeos en busca de errores, como patrones irregulares de parpadeo de la iluminación. ^{[166] [14]} Este enfoque ha sido criticado porque la detección de deepfake se caracteriza por un " objetivo móvil " donde la producción de deepfakes sigue cambiando y mejorando a medida que mejoran los algoritmos para detectar deepfakes. ^[165] Para evaluar los algoritmos más eficaces para detectar deepfakes, una coalición de empresas tecnológicas líderes organizó el Deepfake Detection Challenge para acelerar la tecnología de identificación de contenido manipulado. ^[167] El modelo ganador del Deepfake Detection Challenge tuvo una precisión del 65 % en el conjunto de 4000 vídeos de reserva. ^[168] Un equipo del Instituto Tecnológico de Massachusetts publicó un artículo en diciembre de 2021 que demuestra que los humanos comunes tienen una precisión del 69 al 72 % al identificar una muestra aleatoria de 50 de estos videos. ^[169]

En octubre de 2020, un equipo de la Universidad de Buffalo publicó un artículo en el que describía su técnica de utilizar reflejos de luz en los ojos de las personas retratadas para detectar deepfakes con una alta tasa de éxito, incluso sin el uso de una herramienta de detección de IA, al menos por el momento. ^[170]

En el caso de individuos bien documentados, como líderes políticos, se han desarrollado algoritmos para distinguir características basadas en la identidad, como patrones de gestos faciales y vocales, y detectar imitadores falsos. ^[171]

Otro equipo dirigido por Wael AbdAlmageed con Visual Intelligence and Multimedia Analytics Laboratory (VIMAL) del Information Sciences Institute de la University Of Southern California desarrolló dos generaciones ^{[172] [173]} de detectores de deepfake basados ​​en redes neuronales convolucionales . La primera generación ^[172] utilizó redes neuronales recurrentes para detectar inconsistencias espacio-temporales para identificar artefactos visuales dejados por el proceso de generación de deepfake. El algoritmo logró una precisión del 96% en FaceForensics++, el único punto de referencia de deepfake a gran escala disponible en ese momento. La segunda generación ^[173] utilizó redes profundas de extremo a extremo para diferenciar entre artefactos e información facial semántica de alto nivel utilizando redes de dos ramas. La primera rama propaga la información de color mientras que la otra rama suprime el contenido facial y amplifica las frecuencias de bajo nivel utilizando Laplaciano de Gauss (LoG) . Además, incluyeron una nueva función de pérdida que aprende una representación compacta de rostros auténticos, mientras dispersa las representaciones (es decir, las características) de los deepfakes. El enfoque de VIMAL mostró un rendimiento de vanguardia en los puntos de referencia FaceForensics++ y Celeb-DF, y el 16 de marzo de 2022 (el mismo día del lanzamiento), se utilizó para identificar el deepfake de Volodymyr Zelensky de manera inmediata sin necesidad de volver a entrenarlo ni conocer el algoritmo con el que se creó el deepfake. ^{[ cita requerida ]}

Otras técnicas sugieren que la cadena de bloques podría utilizarse para verificar la fuente de los contenidos multimedia. ^[174] Por ejemplo, un vídeo podría tener que ser verificado a través del registro contable antes de que se muestre en las plataformas de redes sociales. ^[174] Con esta tecnología, solo se aprobarían vídeos de fuentes confiables, lo que reduciría la propagación de contenidos deepfake posiblemente dañinos. ^[174]

Se sugirió la firma digital de todos los videos e imágenes de cámaras y videocámaras, incluidas las cámaras de teléfonos inteligentes, para combatir las falsificaciones profundas. ^[175] Eso permite rastrear cada fotografía o video hasta su propietario original, lo que puede usarse para perseguir a los disidentes. ^[175]

Una forma sencilla de descubrir videollamadas deepfake consiste en pedirle a la persona que llama que se gire hacia un lado. ^[176]

Henry Ajder, que trabaja para Deeptrace, una empresa que detecta deepfakes, afirma que existen varias formas de protegerse contra los deepfakes en el lugar de trabajo. Se pueden utilizar contraseñas semánticas o preguntas secretas al mantener conversaciones importantes. La autenticación por voz y otras funciones de seguridad biométrica deben estar actualizadas. Eduque a los empleados sobre los deepfakes. ^[115]

En marzo de 2024, se mostró un videoclip del Palacio de Buckingham , donde Kate Middleton tenía cáncer y estaba recibiendo quimioterapia. Sin embargo, el clip alimentó los rumores de que la mujer en ese clip era una deepfake de IA. ^[177] El director de carrera de UCLA, Johnathan Perkins, dudaba de que tuviera cáncer y especuló además que podría estar en estado crítico o muerta. ^[178]

El 17 de abril de 2018, el actor estadounidense Jordan Peele , BuzzFeed y Monkeypaw Productions publicaron un deepfake de Barack Obama en YouTube, que mostraba a Barack Obama maldiciendo e insultando a Donald Trump. ^[179] En este deepfake, la voz y el rostro de Peele se transformaron y manipularon para convertirse en los de Obama. La intención de este video era retratar las peligrosas consecuencias y el poder de los deepfakes, y cómo estos pueden hacer que cualquiera diga cualquier cosa.

El 5 de mayo de 2019, Derpfakes publicó un deepfake de Donald Trump en YouTube, basado en un sketch que Jimmy Fallon realizó en The Tonight Show . ^[180] En el sketch original (emitido el 4 de mayo de 2016), Jimmy Fallon se vistió como Donald Trump y fingió participar en una llamada telefónica con Barack Obama, conversando de una manera que lo mostraba alardeando de su victoria primaria en Indiana. ^[180] En el deepfake, la cara de Jimmy Fallon se transformó en la cara de Donald Trump, y el audio permaneció igual. Este video deepfake fue producido por Derpfakes con una intención cómica.

En marzo de 2023, una serie de imágenes parecieron mostrar a oficiales del Departamento de Policía de Nueva York sujetando a Trump. ^[182] Las imágenes, creadas con Midjourney , fueron publicadas inicialmente en Twitter por Eliot Higgins , pero luego fueron compartidas nuevamente sin contexto, lo que llevó a algunos espectadores a creer que eran fotografías reales. ^[181]

En 2019, un clip del discurso de Nancy Pelosi en el Center for American Progress (pronunciado el 22 de mayo de 2019) en el que se había ralentizado el vídeo y se había alterado el tono del audio para que pareciera que estaba borracha, se distribuyó ampliamente en las redes sociales. Los críticos sostienen que no se trataba de un deepfake, sino de un superficialfake , una forma menos sofisticada de manipulación de vídeo. ^{[183] ​​[184]}

En mayo de 2019, dos artistas que colaboraron con la empresa CannyAI crearon un video deepfake del fundador de Facebook, Mark Zuckerberg, hablando sobre la recolección y el control de datos de miles de millones de personas. El video fue parte de una exhibición para educar al público sobre los peligros de la inteligencia artificial . ^{[185] [186]}

El 29 de septiembre de 2020, se subieron a YouTube deepfakes del líder norcoreano Kim Jong-un y del presidente ruso Vladimir Putin , creados por un grupo de defensa no partidista, RepresentUs . ^[187]

Los deepfakes de Kim y Putin estaban destinados a emitirse públicamente como anuncios publicitarios para transmitir la idea de que la interferencia de estos líderes en las elecciones estadounidenses sería perjudicial para la democracia de ese país. Los anuncios también tenían como objetivo conmocionar a los estadounidenses para que se dieran cuenta de lo frágil que es la democracia y de cómo los medios y las noticias pueden influir significativamente en el rumbo del país independientemente de la credibilidad. ^[187] Sin embargo, aunque los anuncios incluían un comentario final que detallaba que las imágenes no eran reales, finalmente no se emitieron debido a los temores y la sensibilidad con respecto a cómo podrían reaccionar los estadounidenses. ^[187]

El 5 de junio de 2023, una fuente desconocida difundió en varias cadenas de radio y televisión una supuesta falsificación de Vladimir Putin. En el clip, Putin parece pronunciar un discurso en el que anuncia la invasión de Rusia y llama a una movilización general del ejército. ^[188]

El 16 de marzo de 2022, circuló en las redes sociales un video deepfake de un minuto de duración que mostraba al presidente de Ucrania, Volodymyr Zelenskyy , aparentemente diciéndoles a sus soldados que depongan las armas y se rindan durante la invasión rusa de Ucrania en 2022. ^[161] Las redes sociales rusas lo impulsaron, pero después de que fue desacreditado, Facebook y YouTube lo eliminaron. Twitter permitió el video en tuits donde se expuso como falso, pero dijo que sería eliminado si se publicaba para engañar a la gente. Los piratas informáticos insertaron la desinformación en un rastreo de noticias de texto en vivo en la estación de televisión Ucrania 24, y el video apareció brevemente en el sitio web de la estación además de afirmaciones falsas de que Zelenskyy había huido de la capital de su país, Kiev . No quedó claro de inmediato quién creó el deepfake, a lo que Zelenskyy respondió con su propio video, diciendo: "No planeamos deponer las armas. Hasta nuestra victoria". ^[189]

A fines de 2022, los propagandistas pro-China comenzaron a difundir videos deepfake que pretendían ser de "Wolf News" y que utilizaban actores sintéticos. La tecnología fue desarrollada por una empresa londinense llamada Synthesia, que la comercializa como una alternativa barata a los actores reales para videos de capacitación y recursos humanos. ^[190]

En marzo de 2023, un trabajador de la construcción anónimo de Chicago utilizó Midjourney para crear una imagen falsa del Papa Francisco con una chaqueta acolchada blanca de Balenciaga . La imagen se volvió viral y recibió más de veinte millones de visitas. ^[191] El escritor Ryan Broderick la denominó "el primer caso real de desinformación masiva mediante inteligencia artificial". ^[192] Los expertos consultados por Slate caracterizaron la imagen como poco sofisticada: "podrías haberla hecho en Photoshop hace cinco años". ^[193]

En octubre de 2023, el primer día de una conferencia del Partido Laborista, se publicó un clip de audio falso en el que se ve al líder del Partido Laborista británico , Keir Starmer, insultando a sus empleados. El clip pretendía ser una cinta de audio en la que Starmer insultaba a sus empleados. ^[194]

A principios de noviembre de 2023, una famosa actriz del sur de la India , Rashmika Mandanna, cayó víctima de DeepFake cuando un video modificado de una famosa influencer británica-india, Zara Patel, con el rostro de Rashmika comenzó a circular en las redes sociales. Zara Patel afirma no haber estado involucrada en su creación. ^[195]

En abril de 2024, se publicó un video falso que tergiversaba al presidente filipino Bongbong Marcos . Es una presentación de diapositivas acompañada de un audio falso de Marcos que supuestamente ordena a las Fuerzas Armadas de Filipinas y al grupo de trabajo especial que actúen "como sea apropiado" si China ataca a Filipinas. El video se publicó en medio de tensiones relacionadas con la disputa del Mar de China Meridional . ^[196] La Oficina de Comunicaciones Presidenciales ha dicho que no existe tal directiva del presidente y dijo que un actor extranjero podría estar detrás de los medios inventados. ^{[197] La} ​​Kapisanan ng mga Brodkaster ng Pilipinas ha presentado cargos penales en relación con los medios falsos. ^[198]

El 22 de julio de 2024, Claire Contreras, ex partidaria de Marcos, publicó un video de Marcos supuestamente inhalando drogas ilegales. Apodado como el video del polvorón , los medios notaron su coherencia con la insinuación del predecesor de Marcos, Rodrigo Duterte , de que Marcos es un drogadicto; el video también se mostró en una manifestación de Hakbang ng Maisug organizada por personas afines a Duterte. ^[199] Dos días después, la Policía Nacional de Filipinas y la Oficina Nacional de Investigaciones , basándose en sus propios hallazgos, concluyeron que el video fue creado usando IA; además, señalaron inconsistencias con la persona en el video con Marcos, como detalles en las orejas de las dos personas. ^[200]

Antes de las elecciones presidenciales de Estados Unidos de 2024 , se realizaron llamadas telefónicas que imitaban la voz del actual presidente Joe Biden para disuadir a la gente de votar por él. La persona responsable de las llamadas fue acusada de supresión de votantes y de hacerse pasar por un candidato. La FCC propuso multarlo con 6 millones de dólares y a Lingo Telecom , la empresa que supuestamente retransmitió las llamadas, con 2 millones de dólares. ^{[201] [202]}

Twitter (más tarde X ) está tomando medidas activas para manejar los medios sintéticos y manipulados en su plataforma. Para evitar que se propague la desinformación, Twitter está colocando un aviso en los tuits que contienen medios manipulados y/o deepfakes que indican a los espectadores que los medios están manipulados. ^[203] También habrá una advertencia que aparecerá a los usuarios que planeen retuitear, dar me gusta o interactuar con el tuit. ^[203] Twitter también trabajará para proporcionar a los usuarios un enlace junto al tuit que contiene medios manipulados o sintéticos que se vincule a un Momento de Twitter o un artículo de noticias creíble sobre el tema relacionado, como una acción de desacreditación. ^[203] Twitter también tiene la capacidad de eliminar cualquier tuit que contenga deepfakes o medios manipulados que puedan representar un daño para la seguridad de los usuarios. ^[203] Para mejorar la detección de deepfakes y medios manipulados por parte de Twitter, Twitter pidió a los usuarios que estén interesados ​​en asociarse con ellos para trabajar en soluciones de detección de deepfakes que completen un formulario. ^[204]

"En agosto de 2024, los secretarios de estado de Minnesota, Pensilvania, Washington, Michigan y Nuevo México escribieron una carta abierta al propietario de X, Elon Musk, instando a que se realizaran modificaciones en el nuevo generador de texto a video de su chatbot de inteligencia artificial Grok , agregado en agosto de 2024, afirmando que había difundido información electoral errónea. ^{[205] [206] [207]}

Facebook ha tomado medidas para fomentar la creación de deepfakes con el fin de desarrollar un software de detección de deepfakes de última generación. Facebook fue el socio destacado en la organización del Deepfake Detection Challenge (DFDC), celebrado en diciembre de 2019, con 2114 participantes que generaron más de 35 000 modelos. ^[208] Los modelos de mayor rendimiento con la mayor precisión de detección fueron analizados en busca de similitudes y diferencias; estos hallazgos son áreas de interés para futuras investigaciones para mejorar y refinar los modelos de detección de deepfakes. ^[208] Facebook también ha detallado que la plataforma eliminará los medios generados con inteligencia artificial utilizada para alterar el habla de un individuo. ^[209] Sin embargo, los medios que se hayan editado para alterar el orden o el contexto de las palabras en el mensaje de una persona permanecerán en el sitio, pero se etiquetarán como falsos, ya que no fueron generados por inteligencia artificial. ^[209]

El 31 de enero de 2018, Gfycat comenzó a eliminar todos los deepfakes de su sitio. ^{[210] [211]} En Reddit , el subreddit r/deepfakes fue prohibido el 7 de febrero de 2018, debido a la violación de la política de "pornografía involuntaria". ^{[212] [213] [214] [215] [216]} En el mismo mes, representantes de Twitter declararon que suspenderían las cuentas sospechosas de publicar contenido deepfake no consensuado. ^[217] El sitio de chat Discord ha tomado medidas contra los deepfakes en el pasado, ^[218] y ha adoptado una postura general contra los deepfakes. ^{[211] [219]} En septiembre de 2018, Google añadió "imágenes pornográficas sintéticas involuntarias" a su lista de prohibiciones, lo que permite a cualquiera solicitar el bloqueo de resultados que muestran sus desnudos falsos. ^{[220] [ verificar sintaxis de cita ]} En febrero de 2018, Pornhub dijo que prohibiría los videos deepfakes en su sitio web porque se considera "contenido no consensual" que viola sus términos de servicio. ^[221] También declararon previamente a Mashable que eliminarían el contenido marcado como deepfakes. ^[222] Los escritores de Motherboard informaron que buscar "deepfakes" en Pornhub todavía arrojó múltiples videos deepfakes recientes. ^[221]

Facebook ha declarado anteriormente que no eliminaría los deepfakes de sus plataformas. ^[223] En cambio, los videos serán marcados como falsos por terceros y luego tendrán una prioridad menor en los feeds de los usuarios. ^[224] Esta respuesta fue motivada en junio de 2019 después de que un deepfake que presentaba un video de 2016 de Mark Zuckerberg circulara en Facebook e Instagram . ^[223]

En mayo de 2022, Google cambió oficialmente los términos del servicio de sus colaboraciones Jupyter Notebook , prohibiendo el uso de su servicio de colaboración con el propósito de crear deepfakes. ^[225] Esto se produjo unos días después de que se publicara un artículo de VICE, que afirmaba que "la mayoría de los deepfakes son pornografía no consensuada" y que el uso principal del popular software deepfake DeepFaceLab (DFL), "la tecnología más importante que impulsa a la gran mayoría de esta generación de deepfakes" que a menudo se usaba en combinación con Google Colabs, sería crear pornografía no consensuada, señalando el hecho de que, entre muchos otros ejemplos conocidos de implementaciones de DFL de terceros, como deepfakes encargados por The Walt Disney Company , videos musicales oficiales y la serie web Sassy Justice de los creadores de South Park , la página de GitHub de DFL también se vincula al sitio web de pornografía deepfake Mr. Deepfakes y los participantes del servidor Discord de DFL también participan en Mr. Deepfakes . ^[226]

The examples and perspective in this section may not represent a worldwide view of the subject. You may improve this section, discuss the issue on the talk page, or create a new section, as appropriate. (November 2021) (Learn how and when to remove this message)

En Estados Unidos, ha habido algunas respuestas a los problemas planteados por los deepfakes. En 2018, se presentó al Senado de Estados Unidos la Malicious Deep Fake Prohibition Act ^[227] ; en 2019, la representante estadounidense por el noveno distrito congresual de Nueva York, Yvette Clarke , presentó la Deepfakes Accountability Act ^[228] . Varios estados también han introducido leyes sobre deepfakes, incluidos Virginia, ^[229] Texas, California y Nueva York; ^[230] se han presentado cargos tan variados como robo de identidad , acoso cibernético y pornografía vengativa , mientras que se instan a establecer estatutos más integrales. ^[220]

Entre los esfuerzos legislativos de Estados Unidos, el 3 de octubre de 2019, el gobernador de California, Gavin Newsom, firmó los proyectos de ley de la Asamblea n.º 602 y n.º 730. ^{[231] [232]} El proyecto de ley de la Asamblea n.º 602 proporciona a las personas que son objeto de contenido deepfake sexualmente explícito creado sin su consentimiento una causa de acción contra el creador del contenido. ^[231] El proyecto de ley de la Asamblea n.º 730 prohíbe la distribución de medios de audio o visuales deepfake maliciosos dirigidos a un candidato que se postula para un cargo público dentro de los 60 días posteriores a su elección. ^[232] La representante estadounidense Yvette Clarke presentó la HR 5586: Ley de Responsabilidad de Deepfakes en el 118.º Congreso de los Estados Unidos el 20 de septiembre de 2023 en un esfuerzo por proteger la seguridad nacional de las amenazas que plantea la tecnología deepfake. ^[233] La representante estadounidense María Salazar presentó el 10 de enero de 2024 la ley HR 6943: No AI Fraud Act (Ley de No al Fraude con Inteligencia Artificial) en el 118.º Congreso de los Estados Unidos , con el fin de establecer derechos de propiedad específicos sobre la fisicalidad individual, incluida la voz. ^[234]

En noviembre de 2019, China anunció que las deepfakes y otras imágenes falsificadas sintéticamente deberían llevar un aviso claro sobre su falsedad a partir de 2020. El incumplimiento podría considerarse un delito, según declaró la Administración del Ciberespacio de China en su sitio web. ^[235] El gobierno chino parece reservarse el derecho de procesar tanto a los usuarios como a las plataformas de vídeo en línea que no cumplan las normas. ^[236] La Administración del Ciberespacio de China, el Ministerio de Industria y Tecnología de la Información y el Ministerio de Seguridad Pública emitieron conjuntamente la Disposición sobre la Administración del Servicio de Información de Internet de Síntesis Profunda en noviembre de 2022. ^[237] Las Disposiciones de Síntesis Profunda actualizadas de China (Disposiciones Administrativas sobre Síntesis Profunda en Servicios de Información Basados ​​en Internet) entraron en vigor en enero de 2023. ^[238]

En el Reino Unido, los productores de material deepfake podrían ser procesados ​​por acoso, pero la producción deepfake no fue un delito específico ^[239] hasta 2023, cuando se aprobó la Ley de Seguridad en Línea , que ilegalizó los deepfakes; el Reino Unido planea ampliar el alcance de la Ley para penalizar los deepfakes creados con "intención de causar angustia" en 2024. ^{[240] [241]}

En Canadá, en 2019, el Communications Security Establishment publicó un informe que decía que las deepfakes podrían usarse para interferir en la política canadiense, en particular para desacreditar a los políticos e influir en los votantes. ^{[242] [243]} Como resultado, existen múltiples formas para que los ciudadanos de Canadá lidien con las deepfakes si son atacados por ellas. ^[244] En febrero de 2024, el proyecto de ley C-63 se presentó en el 44.º Parlamento canadiense para promulgar la Ley de Daños en Línea , que modificaría el Código Penal y otras leyes. Una versión anterior del proyecto de ley, C-36, fue eliminada por la disolución del 43.º Parlamento canadiense en septiembre de 2021. ^{[245] [246]}

En la India, no existen leyes o regulaciones directas sobre la IA o los deepfakes, pero hay disposiciones en el Código Penal de la India y la Ley de Tecnología de la Información 2000/2008, que se pueden consultar para obtener recursos legales, y la nueva propuesta de Ley de la India Digital tendrá un capítulo sobre la IA y los deepfakes en particular, según el Ministro de Estado Rajeev Chandrasekhar. ^[247]

En Europa, la Ley de Inteligencia Artificial (AI Act) de la Unión Europea de 2024 adopta un enfoque basado en el riesgo para regular los sistemas de IA, incluidos los deepfakes. Establece categorías de "riesgo inaceptable", "riesgo alto", "riesgo específico/limitado o de transparencia" y "riesgo mínimo" para determinar el nivel de obligaciones regulatorias para los proveedores y usuarios de IA. Sin embargo, la falta de definiciones claras para estas categorías de riesgo en el contexto de los deepfakes crea desafíos potenciales para una implementación efectiva. Los académicos legales han expresado inquietudes sobre la clasificación de los deepfakes destinados a la desinformación política o la creación de imágenes íntimas no consensuadas. Existe un debate sobre si dichos usos siempre deben considerarse sistemas de IA de "alto riesgo", lo que conduciría a requisitos regulatorios más estrictos. ^[248]

En agosto de 2024, la Comisión de Protección de Datos de Irlanda (DPC) inició un proceso judicial contra X por su uso ilegal de los datos personales de más de 60 millones de usuarios de la UE/EEE, con el fin de entrenar sus tecnologías de IA, como su chatbot Grok . ^[249]

En 2016, la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) lanzó el programa Media Forensics (MediFor) que fue financiado hasta 2020. ^[250] MediFor tenía como objetivo detectar automáticamente la manipulación digital en imágenes y videos, incluidos los Deepfakes . ^{[251] [252]} En el verano de 2018, MediFor celebró un evento en el que las personas compitieron para crear videos, audio e imágenes generados por IA, así como herramientas automatizadas para detectar estos deepfakes. ^[253] Según el programa MediFor, estableció un marco de tres niveles de información (integridad digital, integridad física e integridad semántica) para generar una puntuación de integridad en un esfuerzo por permitir la detección precisa de medios manipulados. ^[254]

En 2019, DARPA organizó un "día de proponentes" para el programa Semantic Forensics (SemaFor) donde los investigadores fueron impulsados ​​a prevenir la propagación viral de medios manipulados por IA. ^[255] DARPA y el Programa Semantic Forensics también estaban trabajando juntos para detectar medios manipulados por IA a través de esfuerzos en el entrenamiento de computadoras para utilizar el sentido común y el razonamiento lógico. ^[255] Construidos sobre las tecnologías de MediFor, los algoritmos de atribución de SemaFor infieren si los medios digitales se originan de una organización o individuo en particular, mientras que los algoritmos de caracterización determinan si los medios fueron generados o manipulados con fines maliciosos. ^[256] En marzo de 2024, SemaFor publicó un catálogo analítico que ofrece al público acceso a recursos de código abierto desarrollados bajo SemaFor. ^{[257] [258]}

El Panel Internacional sobre el Entorno de la Información se lanzó en 2023 como un consorcio de más de 250 científicos que trabajan para desarrollar contramedidas efectivas a los deepfakes y otros problemas creados por incentivos perversos en las organizaciones que difunden información a través de Internet. ^[259]

• En el número de mediados de diciembre de 1986 de la revista Analog se publicó la novela corta "Picaper" de Jack Wodhams. Su trama gira en torno a vídeos mejorados o generados digitalmente producidos por hábiles piratas informáticos al servicio de abogados y figuras políticas sin escrúpulos. ^[260]
• La película The Running Man de 1987, protagonizada por Arnold Schwarzenegger, muestra un gobierno autocrático que utiliza computadoras para reemplazar digitalmente las caras de los actores con las de fugitivos buscados para que parezca que los fugitivos han sido neutralizados.
• En el tecno-thriller de 1992 A Philosophical Investigation de Philip Kerr , "Wittgenstein", el personaje principal y asesino en serie, hace uso tanto de un software similar a deepfake como de un traje de realidad virtual para tener sexo con un avatar de Isadora "Jake" Jakowicz, la teniente de policía asignada para atraparlo. ^[261]
• La película de 1993 Rising Sun , protagonizada por Sean Connery y Wesley Snipes, presenta a otro personaje, Jingo Asakuma, quien revela que un disco de computadora ha alterado digitalmente las identidades personales para implicar a un competidor.
• La tecnología deepfake es parte de la trama de la serie de televisión de BBC One de 2019 The Capture . La primera serie sigue al ex sargento del ejército británico Shaun Emery, quien está acusado de agredir y secuestrar a su abogado. Se revela que las imágenes de CCTV manipuladas por expertos lo incriminaron y engañaron a la policía que investiga el caso. ^{[262] [263]} La segunda serie sigue al político Isaac Turner, quien descubre que otro deepfake está empañando su reputación hasta que la "corrección" finalmente se expone al público.
• En junio de 2020, el artista de deepfakes de YouTube Shamook creó un deepfake de la película Forrest Gump de 1994 al reemplazar la cara del querido actor Tom Hanks por la de John Travolta . Creó esta pieza usando 6.000 imágenes fijas de alta calidad de la cara de John Travolta de varias de sus películas estrenadas casi al mismo tiempo que Forrest Gump . Shamook, luego, creó un perfil facial de 180 grados que introdujo en un software de aprendizaje automático (DeepFaceLabs), junto con la cara de Tom Hanks de Forrest Gump . ^[264] El humor y la ironía de este deepfake se remontan a 2007, cuando John Travolta reveló que rechazó la oportunidad de interpretar el papel principal en Forrest Gump porque había dicho que sí a Pulp Fiction en su lugar. ^[265]
• Al Davis vs. la NFL : La estructura narrativa de este documental de 2021, parte de la serie documental 30 for 30 de ESPN , utiliza versiones deepfake de los dos personajes centrales de la película, ambos fallecidos: Al Davis , dueño de los Las Vegas Raiders durante la permanencia del equipo en Oakland y Los Ángeles , y Pete Rozelle , el comisionado de la NFL que frecuentemente se enfrentaba con Davis. ^{[266] [267]}
• La tecnología deepfake aparece en "Impawster Syndrome", el episodio 57 de la serie policial canadiense Hudson & Rex , emitido por primera vez el 6 de enero de 2022, en el que un miembro del equipo de policía de St. John's es investigado por sospecha de robo y asalto debido a imágenes de CCTV manipuladas usando su imagen. ^[268]
• Usando tecnología deepfake en su video musical para su sencillo de 2022, " The Heart Part 5 ", el músico Kendrick Lamar se transformó en figuras parecidas a Nipsey Hussle , O.J. Simpson y Kanye West , entre otros. ^[269] La tecnología deepfake en el video fue creada por Deep Voodoo, un estudio dirigido por Trey Parker y Matt Stone , quienes crearon South Park . ^[269]
• Aloe Blacc honró a su colaborador de mucho tiempo Avicii cuatro años después de su muerte al interpretar su canción " Wake Me Up " ^[270] en inglés , español y mandarín , utilizando tecnologías deepfake. ^[271]
• En enero de 2023, ITVX lanzó la serie Deep Fake Neighbour Wars , en la que varias celebridades fueron interpretadas por actores que experimentaban conflictos estúpidos, y la cara de la celebridad fue falsificada en ellos. ^[272]
• En octubre de 2023, Tom Hanks compartió en su página de Instagram una foto de un aparente deepfake en el que se le veía promocionando "un plan dental" . Hanks advirtió a sus fans: "TENGA CUIDADO... No tengo nada que ver con eso". ^[96]

• 15.ai
• Arte de inteligencia artificial
• Animación facial por computadora
• Teoría de la Internet muerta
• Clonación digital
• Captura de movimiento facial
• Guerra de quinta generación
• Inteligencia artificial generativa
• Hiperrealidad
• Tecnología de reemplazo de identidad
• Personajes interactivos en línea
• Regulación de la inteligencia artificial
• EstiloGAN
• Medios sintéticos
• Valle inquietante
• Actor virtual
• Fotografía de desnudos falsos