OnceLabs
Empresa tecnológica estadounidense

ElevenLabs Inc.
Tipo de empresaEmpresa privada
IndustriaInteligencia artificial
Fundado2022
Fundadores
  • Piotr Dąbkowski (director técnico)
  • Mati Staniszewski (director ejecutivo)
SedeCiudad de Nueva York, Estados Unidos
Sitio weboncelabs.io
Parte de una serie sobre
Inteligencia artificial
Objetivos principales
Aproches
Aplicaciones
Filosofía
Historia
Glosario

ElevenLabs es una empresa de software que se especializa en el desarrollo de software de síntesis de voz con sonido natural utilizando aprendizaje profundo .

Se la ha reconocido como una de las principales empresas detrás del actual auge de la IA . [1]

Historia

ElevenLabs fue cofundada en 2022 por Piotr Dąbkowski, exingeniero de aprendizaje automático de Google , y Mati Staniszewski, exestratega de implementación de Palantir . [2] Ambos se criaron en Polonia y, según se informa, su inspiración para fundar ElevenLabs surgió al ver películas estadounidenses mal dobladas . [3] [4]

Dąbkowski y Staniszewski inicialmente consideraron diferentes opciones de financiación, incluida la posibilidad de colaborar con un acelerador de startups. En enero de 2023 revelaron que habían conseguido una ronda de financiación inicial de 2 millones de dólares. La especialización de la startup en inteligencia de voz por IA, un campo aún emergente en Europa , jugó un papel importante a la hora de atraer inversores. La financiación inicial estuvo liderada principalmente por Credo Ventures, a la que se unió Concept Ventures. [5]

En enero de 2023, ElevenLabs lanzó públicamente su plataforma beta . [6]

En junio de 2023, ElevenLabs recaudó una ronda de financiación de Serie A de 19 millones de dólares con una valoración de unos 100 millones de dólares, [7] [8] a pesar de que la empresa no tenía oficinas y solo tenía 15 empleados. [4] [8] La ronda de financiación fue codirigida por la firma de capital de riesgo Andreessen Horowitz , el exdirector ejecutivo de GitHub Nat Friedman y el empresario Daniel Gross . También participaron personas destacadas como SV Angel , Mike Krieger (cofundador de Instagram), Brendan Iribe (cofundador de Oculus), Mustafa Suleyman (cofundador de Deepmind) y Tim O'Reilly (fundador de O'Reilly Media). También se anunció que Andreessen Horowitz se uniría a la junta directiva de ElevenLabs. [3]

El 22 de enero de 2024, ElevenLabs recaudó 80 millones de dólares adicionales en financiación de Serie B , lo que elevó la valoración total de la empresa a 1100 millones de dólares. La ronda de financiación estuvo liderada por Andreessen Horowitz, Friedman, Gross y Sequoia Capital . Además, la empresa anunció una serie de nuevos productos, entre ellos su Voice Marketplace, AI Dubbing Studio y una aplicación móvil. [9]

Productos

ElevenLabs es conocido principalmente por su software de conversión de texto a voz asistido por IA basado en navegador , Speech Synthesis, que puede producir un habla realista al sintetizar la emoción vocal y la entonación . [10] La empresa afirma que sus modelos están entrenados para interpretar el contexto del texto y ajustar la entonación y el ritmo en consecuencia. [11] Utiliza algoritmos avanzados para analizar los aspectos contextuales del texto, con el objetivo de detectar emociones como la ira, la tristeza, la felicidad o la alarma, lo que permite al sistema comprender el sentimiento del usuario, [12] lo que da como resultado una inflexión más realista y humana. La startup está en proceso de patentar esta tecnología. [5] En su sitio beta, los usuarios pueden enviar texto y generar archivos de audio a partir de una selección de voces predeterminadas. Los usuarios que pagan tienen la posibilidad de cargar muestras de voz personalizadas para crear nuevos estilos vocales utilizando la herramienta de clonación de voz de la empresa. [13]

Voice Library es la función de la empresa para compartir perfiles de voz únicos creados con su tecnología Voice Design. Estos perfiles de voz prediseñados permiten a los usuarios seleccionar la voz que mejor se adapte a sus necesidades, en lugar de crear una desde cero. [14] Actualmente, hay más de 1000 voces creadas por la comunidad en la biblioteca. Otra herramienta llamada VoiceLab permite a los usuarios clonar voces a partir de unos pocos fragmentos cortos de audio y crear voces sintéticas completamente nuevas. [3]

El 20 de junio de 2023, ElevenLabs lanzó una herramienta de reconocimiento de IA llamada AI Speech Classifier, que, según afirma, es la primera de su tipo. [3] Se puede acceder a la herramienta a través de una API y está diseñada para determinar si una muestra de audio cargada se origina a partir de la tecnología de IA patentada de ElevenLabs. [4] La empresa ha expresado su intención de colaborar con otros desarrolladores de IA para crear un sistema de detección universal que pueda adoptarse en toda la industria. [15]

En julio de 2023, ElevenLabs anunció "Projects", una herramienta para crear contenido hablado de larga duración, como audiolibros y segmentos de diálogo con voces sintéticas o personalizadas que tienen en cuenta el contexto. [4] [16] La herramienta se lanzó en septiembre. En agosto, ElevenLabs amplió sus capacidades de generación de voz a 28 idiomas. Utilizando un modelo de IA interno, detecta automáticamente idiomas como el coreano , el holandés y el vietnamita , lo que permite la generación de voz multilingüe "emocionalmente rica". La empresa también anunció que su tecnología había salido oficialmente de su fase beta . [17] [18]

En octubre de 2023, ElevenLabs presentó "AI Dubbing", una herramienta capaz de traducir el habla a más de 20 idiomas. La función es capaz de preservar la voz, las emociones y la entonación originales del hablante, empleando métodos propios para manejar tareas como la eliminación de ruido, la diferenciación de hablantes, la transcripción y la sincronización del habla traducida con el audio original. [19]

En mayo de 2024, ElevenLabs lanzó un modelo de texto a música . [20] En junio de 2024, ElevenLabs lanzó la aplicación ElevenLabs Reader en iOS y Android, que permite a los usuarios escuchar artículos, archivos PDF y ePubs con voces de IA en su teléfono. [21] En julio de 2024, ElevenLabs lanzó "Voice Isolator", que elimina el ruido de fondo del audio. [22]

Usos

Los casos de uso de ElevenLabs abarcan una variedad de sectores.

Los creadores de contenido han utilizado ElevenLabs para podcasts, narraciones y programas de comedia. [23] [24] [25] En marzo de 2023, el comediante Drew Carey utilizó la herramienta de clonación de voz de ElevenLabs para recrear su voz para un episodio de su programa de radio, Friday Night Freakout . [11] En abril de 2023, el presentador de radio y televisión polaco Jaroslaw Kuzniar utilizó una versión sintetizada de su voz para ofrecer una serie de podcasts sobre la invasión rusa de Ucrania . [26] Seth Godin también ha utilizado ElevenLabs para narrar su podcast centrado en IA. [3]

Tim Green , exjugador de la NFL y autor, utiliza la tecnología de clonación de voz con inteligencia artificial de ElevenLabs para su podcast, "Tim Green's Nothing Left Unsaid". [27] A Green le diagnosticaron una forma de esclerosis lateral amiotrófica de progresión lenta , lo que afectó su capacidad para comunicarse verbalmente. La tecnología de inteligencia artificial le permite presentar y participar en conversaciones profundas con varios invitados utilizando una versión clonada de su voz de grabaciones anteriores. Este uso innovador de la tecnología de ElevenLabs le permite a Green seguir contribuyendo a debates importantes a pesar de su condición.

En marzo de 2023, Super-Hi-Fi, un servicio de automatización de streaming, se asoció con ElevenLabs para lanzar un servicio de radio totalmente automatizado llamado "AI Radio", utilizando el software de ElevenLabs para dar voz a su DJ virtual a partir de indicaciones generadas con ChatGPT . [28] ElevenLabs también ha sido empleado para narrar juegos y dar voz a personajes de juegos en asociaciones con el desarrollador de juegos sueco Paradox Interactive y Magicave, con sede en el Reino Unido. [3] [29]

Los editores y autores han utilizado ElevenLabs para narrar audiolibros y boletines informativos. [5] [30] El 13 de junio de 2023, Storytel anunció una asociación exclusiva con ElevenLabs. A través de esta colaboración, ElevenLabs creará voces adaptadas específicamente a los mercados principales de Storytel y producirá audiolibros narrados por IA. Se implementó una función de cambio de voz llamada VoiceSwitcher para mejorar la personalización para los usuarios, brindando experiencias de escucha únicas personalizadas para cada individuo. [31] [32]

ElevenLabs se ha utilizado para generar audio para doblar videos en diferentes idiomas, incluso por parte de creadores de contenido. [5] [8] La plataforma tiene la capacidad de replicar con precisión casi cualquier acento en cualquier idioma. [33] Los fanáticos famosos han utilizado ElevenLabs para crear mensajes inspiradores utilizando las voces de sus celebridades favoritas. [34]

En febrero, el periodista de VICE Joseph Cox publicó los hallazgos de que había grabado cinco minutos de sí mismo hablando y luego había usado ElevenLabs para crear deepfakes de voz que derrotaron el sistema de autenticación de voz de un banco . [35]

En julio, la representante estadounidense Jennifer Wexton utilizó ElevenLabs para crear una réplica de su voz después de perderla por una parálisis supranuclear progresiva (PSP) similar a la enfermedad de Parkinson. [36]

ElevenLabs establece unas directrices explícitas en relación con el uso de su tecnología, prohibiendo la clonación de voces con fines abusivos como el fraude, la discriminación, el discurso de odio o el abuso en línea, aunque sí apoya el uso de su plataforma para “caricaturas, parodias y sátiras” y “discursos artísticos y políticos que contribuyan a los debates públicos”. La empresa afirma su autoridad para suspender las cuentas y el contenido de los usuarios que infrinjan estas directrices, y también destaca su compromiso de cooperar con las autoridades y denunciar cualquier actividad ilegal de acuerdo con las leyes aplicables. [3] En enero, la empresa admitió que su plataforma se ha utilizado para “casos de uso indebido de clonación de voces” [37] y endureció sus salvaguardas contra el uso vejatorio de su tecnología. [38]

En enero de 2024, el operador de autobuses Stagecoach East Midlands introdujo nuevos anuncios de próxima parada en su flota de autobuses de Grimsby y Skegness utilizando las voces George y Lily de Elevenlabs, reemplazando la voz de texto a voz de Amazon Polly Amy existente.

Recepción

Tras su lanzamiento en enero de 2023, ElevenLabs cobró impulso rápidamente y fue elogiada por la calidad de su salida de voz, los rápidos tiempos de generación y un "generoso nivel gratuito". También ha sido elogiada por su capacidad para pronunciar con precisión nombres con pronunciaciones únicas o poco comunes, abordando una deficiencia común en herramientas similares que a menudo se centran principalmente en nombres occidentales. [39] La empresa alcanzó más de un millón de usuarios registrados entre su lanzamiento y junio de 2023. [3] [4] [40]

Crítica y controversia

ElevenLabs fue criticado después de que los usuarios pudieron abusar de su software para generar declaraciones controvertidas en el estilo vocal de celebridades, funcionarios públicos y otras personas famosas, [41] [42] [43] [44] [38] particularmente atrayendo la atención después de que los usuarios de 4chan usaran la herramienta para compartir mensajes de odio. [45] [15] La capacidad del software para replicar fielmente voces reales ha generado preocupaciones éticas , y los críticos lo compararon con deepfaking . [46] En respuesta, la compañía dijo que trabajaría para mitigar el posible abuso a través de salvaguardas y verificación de identidad . [6] Posteriormente, la compañía ha limitado el acceso a su función de clonación de voz a los suscriptores pagos, [47] citando el requisito de proporcionar información de pago como un medio para mejorar la rendición de cuentas, [48] y ha implementado prohibiciones a los usuarios que violan repetidamente los términos del servicio.

En el período previo a las primarias demócratas de enero de 2024 en New Hampshire , se enviaron a miles de residentes llamadas automáticas generadas por IA supuestamente de Joe Biden alentando a los votantes a no votar el día de las primarias. La oficina del fiscal general de New Hampshire inició una investigación sobre el incidente y lo vinculó a una empresa con sede en Texas, y los expertos en audio concluyeron que la llamada se realizó mediante ElevenLabs. En respuesta al incidente, el director ejecutivo Mati Staniszewski declaró que la empresa estaba "dedicada a prevenir el uso indebido de las herramientas de IA de audio", pero no proporcionó ningún comentario sobre incidentes específicos. [49]

Se han planteado preocupaciones adicionales sobre la ética de la fuente de los datos de entrenamiento de ElevenLabs, y varios actores de voz afirman que ElevenLabs utilizó muestras de sus voces sin su consentimiento. [50] Por lo tanto, ElevenLabs, junto con otras empresas de su categoría, ha sido vista como un desafío potencial para el sector de la actuación de voz. [18]

Véase también

Referencias

  1. ^ Kanetkar, Callum Burroughs, Riddhi. "El miedo a perderse algo es real para los capitalistas de riesgo que pagan grandes primas para invertir en empresas emergentes de IA en este momento". Business Insider . Consultado el 10 de diciembre de 2023 .{{cite web}}: CS1 maint: varios nombres: lista de autores ( enlace )
  2. ^ Kanetkar, Riddhi. "Esta startup, fundada por ex empleados de Google y Palantir, utiliza IA para generar voces en off realistas. Aquí está la presentación de 14 diapositivas que ElevenLabs utilizó para recaudar 2 millones de dólares". Business Insider . Consultado el 9 de febrero de 2023 .
  3. ^ abcdefgh "Ahora escucha esto: la startup de IA de clonación de voz ElevenLabs obtiene $19 millones de a16z y otros pesos pesados". VentureBeat . 20 de junio de 2023 . Consultado el 25 de julio de 2023 .
  4. ^ abcde Wiggers, Kyle (20 de junio de 2023). «La plataforma de generación de voz ElevenLabs recauda 19 millones de dólares y lanza una herramienta de detección». TechCrunch . Consultado el 25 de julio de 2023 .
  5. ^ abcd Kanetkar, Riddhi. "La startup de inteligencia artificial ElevenLabs, fundada por ex empleados de Google y Palantir, está lista para recaudar 18 millones de dólares con una valoración de 100 millones de dólares. Echa un vistazo a la presentación de 14 diapositivas que utilizó para su pre-semilla de 2 millones de dólares". Business Insider . Consultado el 25 de julio de 2023 .
  6. ^ ab "Ya se está abusando de una nueva herramienta de voz con inteligencia artificial para crear clips de audio de celebridades deepfake". Engadget . Consultado el 3 de febrero de 2023 .
  7. ^ "Las pruebas y tribulaciones de la tecnología de voz de IA". Financial Times . 21 de junio de 2023 . Consultado el 25 de julio de 2023 .
  8. ^ abc Hunt, Simon (20 de junio de 2023). «La empresa de inteligencia artificial ElevenLabs alcanza una valoración de 100 millones de dólares a los pocos meses de su lanzamiento». Evening Standard . Consultado el 25 de julio de 2023 .
  9. ^ "ElevenLabs lanza nuevos productos de inteligencia artificial de voz y recauda $80 millones en financiación de serie B". 22 de enero de 2024.
  10. ^ "La IA generativa llega al doblaje cinematográfico: la startup de IA de audio ElevenLabs recauda fondos de presemilla". Sifted . 23 de enero de 2023 . Consultado el 3 de febrero de 2023 .
  11. ^ ab Ashworth, Boone (12 de abril de 2023). "La IA puede clonar la voz de tu presentador de podcast favorito". Wired . Consultado el 25 de abril de 2023 .
  12. ^ Personal de WIRED. "Este podcast no está alojado por clones de voz de IA. Lo juramos". Wired . ISSN  1059-1028 . Consultado el 25 de julio de 2023 .
  13. ^ Frauenfelder, Mark (12 de enero de 2023). «El software te permite diseñar nuevas voces sintéticas desde cero». Boing Boing . Consultado el 3 de febrero de 2023 .
  14. ^ "A medida que la IA generativa crece, esta startup británica obtiene 2 millones de dólares para imitar voces humanas — TFN". Tech Funding News . 25 de enero de 2023 . Consultado el 5 de febrero de 2023 .
  15. ^ ab Thompson, Stuart A. (12 de marzo de 2023). «Fabricar deepfakes es más barato y fácil gracias a la IA» The New York Times . ISSN  0362-4331 . Consultado el 25 de julio de 2023 .
  16. ^ Bonk, Lawrence. "La nueva y poderosa herramienta de inteligencia artificial de ElevenLabs te permite crear un audiolibro completo en minutos". Lifewire . Consultado el 25 de julio de 2023 .
  17. ^ "El generador de voz de IA de ElevenLabs ahora puede falsificar tu voz en 30 idiomas". Gizmodo . 22 de agosto de 2023 . Consultado el 25 de septiembre de 2023 .
  18. ^ ab Wiggers, Kyle (22 de agosto de 2023). "Las herramientas de generación de voz de ElevenLabs salen de la versión beta". TechCrunch . Consultado el 25 de septiembre de 2023 .
  19. ^ Sharma, Shubham (10 de octubre de 2023). "ElevenLabs presenta AI Dubbing, que traduce video y audio a 20 idiomas". VentureBeat . Consultado el 28 de noviembre de 2023 .
  20. ^ Morrison, Ryan (10 de mayo de 2024). "ElevenLabs está lanzando un nuevo generador de música con inteligencia artificial, y tienes que escuchar estos clips para apreciarlo". Tom's Guide . Consultado el 14 de mayo de 2024 .
  21. ^ "ElevenLabs lanza Reader, una aplicación de texto a audio". Maginative . 25 de junio de 2024 . Consultado el 24 de julio de 2024 .
  22. ^ Sharma, Shubham (4 de julio de 2024). "ElevenLabs lanza un aislador de voz de IA gratuito para competir con Adobe". VentureBeat . Consultado el 24 de julio de 2024 .
  23. ^ Knibbs, Kate. "Los podcasts de IA generativa ya están aquí. Prepárese para aburrirse". Wired . ISSN  1059-1028 . Consultado el 25 de julio de 2023 .
  24. ^ Suciu, Peter. "La parodia de Arrested Succession en YouTube presenta una 'narración' generada por Ron Howard con inteligencia artificial". Forbes . Consultado el 25 de julio de 2023 .
  25. ^ Fadulu, Lola (6 de julio de 2023). "¿Puede la IA ser divertida? Esta compañía lo cree". The New York Times . ISSN  0362-4331 . Consultado el 25 de julio de 2023 .
  26. ^ "Sztuczna inteligencja czyta głosem Jarosława Kuźniara. Rewolucja w radiu i podcastach". Press.pl (en polaco). 9 de abril de 2023 . Consultado el 25 de abril de 2023 .
  27. ^ "Nada queda sin decir de Tim Green".
  28. ^ McLane, Paul (29 de marzo de 2023). "AI Radio Demonstrstrates AI Partnership" (La radio de IA demuestra su colaboración con la IA). Radioworld . Consultado el 25 de abril de 2023 .
  29. ^ "Magicave anuncia el juego Beneath The Six con un narrador de IA". VentureBeat . 6 de julio de 2023 . Consultado el 26 de julio de 2023 .
  30. ^ "Una empresa de voces generadas por IA toma medidas drásticas después de que 4chan creara voces de celebridades para abusar de personas". www.vice.com . 30 de enero de 2023 . Consultado el 3 de febrero de 2023 .
  31. ^ Anderson, Porter (13 de junio de 2023). «'Voces de IA' en audiolibros: Storytel en colaboración con ElevenLabs». Publishing Perspectives . Consultado el 25 de julio de 2023 .
  32. ^ "Storytel firma una alianza estratégica con ElevenLabs y anuncia el próximo lanzamiento de la nueva función VoiceSwitcher". Bloomberg.com . 13 de junio de 2023 . Consultado el 25 de julio de 2023 .
  33. ^ Wise, James (30 de junio de 2023). «Imagina que tu hijo te pide dinero. Excepto que no es él, sino una estafa de inteligencia artificial». The Guardian . ISSN  0261-3077 . Consultado el 25 de julio de 2023 .
  34. ^ Hunter-Tilney, Ludovic (27 de mayo de 2023). "¿Puede la IA convertirme en una estrella musical?". Financial Times . Consultado el 25 de julio de 2023 .
  35. ^ Newman, Lily Hay. "Las falsificaciones de voz generadas por IA no son tan buenas... todavía". Wired . ISSN  1059-1028 . Consultado el 25 de julio de 2023 .
  36. ^ Eric Hal Schwartz (15 de julio de 2024). "Una congresista estadounidense perdió la voz a causa de una enfermedad, ahora la IA se la ha devuelto". TechRadar . Consultado el 24 de julio de 2024 .
  37. ^ Hern, Alex; Milmo, Dan (24 de febrero de 2023). «Todo lo que quería saber sobre IA, pero tenía miedo de preguntar». The Guardian . ISSN  0261-3077 . Consultado el 25 de julio de 2023 .
  38. ^ ab Milmo, Dan; Hern, Alex (20 de mayo de 2023). "Las elecciones en el Reino Unido y los Estados Unidos corren el riesgo de sufrir desinformación impulsada por la inteligencia artificial, dicen los expertos". The Guardian . ISSN  0261-3077 . Consultado el 25 de julio de 2023 .
  39. ^ Desai, Saahil (17 de julio de 2023). "Un robot de voz me dejó sin palabras". The Atlantic . Consultado el 25 de septiembre de 2023 .
  40. ^ "Su clon de IA puede engañar a su familia, a su banco, pero no a su videoconferencia - Resumen de noticias tecnológicas - WSJ Podcasts". WSJ . Consultado el 25 de julio de 2023 .
  41. ^ Jiménez, Jorge (31 de enero de 2023). «Empresa de inteligencia artificial promete cambios tras el uso de una herramienta de 'clonación de voz' para obligar a los famosos a decir cosas horribles». PC Gamer . Consultado el 3 de febrero de 2023 .
  42. ^ "La gente sigue siendo terrible: herramienta de clonación de voz con inteligencia artificial utilizada indebidamente para clips de celebridades falsos". PCMag Oriente Medio . 31 de enero de 2023 . Consultado el 25 de julio de 2023 .
  43. ^ "Internet en pie de guerra porque un usuario de 4Chan utiliza un simulador de voz de IA para falsificar la voz de Emma Watson y hacerla leer la autobiografía de Hitler - FandomWire". fandomwire.com . 2 de febrero de 2023 . Consultado el 3 de febrero de 2023 .
  44. ^ "La carrera del software de IA generativa ha comenzado". Fortune . Consultado el 3 de febrero de 2023 .
  45. ^ Vincent, James (31 de enero de 2023). "Los usuarios de 4chan adoptan una herramienta de clonación de voz con inteligencia artificial para generar discursos de odio contra celebridades". The Verge . Consultado el 3 de febrero de 2023 .
  46. ^ "¿Ver para creer? Lucha mundial para combatir los deepfakes". news.yahoo.com . Consultado el 3 de febrero de 2023 .
  47. ^ @elevenlabsio (31 de enero de 2023). "Gracias a todos por sus consejos. Nos encanta lo que están creando, pero un grupo de actores usa nuestra tecnología con fines maliciosos. Decidimos tomar las siguientes medidas para abordar los problemas" ( Tweet ) . Consultado el 25 de abril de 2023 a través de Twitter .
  48. ^ @elevenlabsio (31 de enero de 2023). "Esto mantendrá nuestras herramientas accesibles y nos permitirá luchar contra posibles usos indebidos. Los detalles de pago no siempre evitarán los abusos, pero hacen que los usuarios de VoiceLab sean menos anónimos y los obligan a pensar dos veces antes de compartir contenido inapropiado" ( Tweet ) . Consultado el 25 de abril de 2023 – vía Twitter .
  49. ^ Knibbs, Kate. "Los investigadores dicen que la llamada automática Deepfake a Biden probablemente se realizó con herramientas de la startup de inteligencia artificial ElevenLabs". Wired . ISSN  1059-1028 . Consultado el 15 de febrero de 2024 .
  50. ^ "Tus actores de doblaje favoritos denuncian que los sitios de inteligencia artificial copian voces sin consentimiento". Kotaku . 13 de febrero de 2023 . Consultado el 10 de diciembre de 2023 .
  • Sitio web oficial
Retrieved from "https://en.wikipedia.org/w/index.php?title=ElevenLabs&oldid=1256595082"