La herramienta de Google DeepMind puede generar bandas sonoras para una variedad de metraje tradicional,incluido material de archivo,películas mudas y más.

Imagen: Google

Google DeepMind dio a conocer que a través de Inteligencia Artificial (IA) Generativa,con simples indicaciones en texto,puede crear audio para musicalizar videos.

“Hoy compartimos el progreso de nuestra tecnología de video a audio (V2A),que hace posible la generación audiovisual sincronizada. V2A combina píxeles de video con indicaciones de texto en lenguaje natural para generar paisajes sonoros ricos para la acción en pantalla”,explicó la compañía.

Añadió que su tecnología V2A se puede combinar con modelos de generación de video comoVeopara crear tomas con una partitura dramática,efectos de sonido realistas o diálogos que coincidan con los personajes y el tono de un video.

También puede generar bandas sonoras para una variedad de metraje tradicional,películas mudas y más,abriendo una gama más amplia de oportunidades creativas.

“Es importante destacar que V2A puede generar una cantidad ilimitada de bandas sonoras para cualquier entrada de video. Opcionalmente,se puede definir un ‘mensaje positivo’ para guiar la salida generada hacia los sonidos deseados,o un ‘mensaje negativo’ para alejarlo de los sonidos no deseados.

“Esta flexibilidad brinda a los usuarios más control sobre la salida de audio de V2A,lo que permite experimentar rápidamente con diferentes salidas de audio y elegir la mejor combinación”,explicó el equipo de Google DeepMind.

Cómo funciona la creación de audio con IA

Google dijo que su sistema V2A comienza codificando la entrada de video en una representación comprimida.

Luego,el modelo de difusión refina iterativamente el audio a partir del ruido aleatorio.

Este proceso está guiado por la entrada visual y las indicaciones en lenguaje natural proporcionadas para generar un audio realista y sincronizado que se alinea estrechamente con la indicación.

Finalmente,la salida de audio se decodifica,se convierte en una forma de onda de audio y se combina con los datos de video.

Google aún no menciona cuándo estará disponible su herramienta,pues aún se encuentra en fase de desarrollo.

A continuación compartimos algunos ejemplos del video con el promt que se coloca para generar la música.

Prompt para audio: Music,Transcript: “this turkey looks amazing,I’m so hungry”.

Prompt para audio: A slow mellow harmonica plays as the sun goes down on the prairie.

Prompt para audio: Cute baby dinosaur chirps,jungle ambience,egg cracking