La suite ELK para monitorización de salud y rendimiento de nuestras aplicaciones
La monitorización es otra de las piezas fundamentales en el desarrollo de software, nos ayuda a …
leer másCreación de vídeo utilizando Inteligencia Artificial
ago. 14, 2023
Para la creación de Futureland, un festival de música electrónica imaginario, utilizamos casi exclusivamente herramientas de Inteligencia Artificial, con Midjourney, RunwayML y AudioCraft en un Google Colab hemos generado imagen y audio para luego juntarlo con un programa de edición de vídeo con el que añadir unos pequeños efectos de transición y texto.
De Midjourney ya hemos hablado en otras ocasiones, en mi blog puedes ver un completo artículo sobre cómo crear imágenes a partir de un texto descriptivo, para este crearemos un vídeo desde cero por lo que si ya tienes Discord instalado y Midjourney configurado te recomiendo ir abriéndolo.
En caso de no tenerlo instalado basta con descargarlo de su página y unirnos al canal oficial. Ten en cuenta que todo lo que se genere utilizando el canal público será visible por los demás, inicia una conversación con el bot si quieres que tus creaciones sean privadas.
Los requisitos y precios son los siguientes:
- Midjourney: Regala unos créditos gratuitamente al crearnos la cuenta y luego cuesta 10 dólares al mes por apróximadamente 200 horas de uso mensuales
- RunwayML: Nos regalan 105 segundos de uso (4 segundos cada video) al crear una nueva cuenta y luego tendremos que pagar 15 dólares por mes si se elige la opción mensual.
- AudioCraft: Lo utilizaremos en un Google Colab gratuito con límites de uso por tiempo y consumo que de no ser elevado no supondrá coste alguno.
El video de Futureland se creó imitando los vídeos promocionales de un conocido festival de música llamado Tomorrowland, el resultado actual es bastante pobre debido a lo limitado de las capacidades de los algoritmos actuales para convertir imagen a video pero nos permite hacernos una idea de lo que se puede llegar a conseguir con estas herramientas y lo que en un futuro será la creación de contenido digital.
Futuro no muy lejano en el que cualquiera desde su casa, sin necesidad de actores, cámaras, etc, podrá crear una película basándose en un guión y una serie de imágenes y audios generados por una Inteligencia Artificial en base a nuestros requisitos. Es importante tener en cuenta que las herramientas que aquí se utilizarán están en fases muy tempranas de desarrollo por lo que a partir de ahora no harán más que mejorar tanto en calidad como en opciones de uso.
Vamos a ver el proceso de creación de un video similar utilizando las mismas herramientas pero dándole un enfoque diferente, un vídeo algo tenebroso, cómo si de las escenas de un trailer para una película de terror se tratase.
Creación de imágenes con Midjourney
Voy a dar por supuesto que ya tenemos Midjourney instalado y configurado, se utiliza a través de Discord y para generar imágenes utilizamos el comando imagine.
El lenguaje idóneo para comunicarse con herramientas como Midjourney es el Inglés por lo que los prompt serán en este idioma. Aquí te dejo las descripciones utilizadas e imágenes seleccionadas, cabe mencionar que
el proceso consta en gran parte de prueba y error, no siempre se obtienen los resultados deseados a la primera y hay que ir iterando hasta conseguir lo que buscamos.
Close shot of a dilapidated mansion, silhouetted against the moon’s pale glow, with twisted trees leaning inwards. Windows shattered, ivy consuming walls, and shadows dancing ominously. Deep dark night
Esta primera captura de la imagen del exterior de nuestra casa encantada dará lugar a la primera escena del video. La idea es ir acercándonos a la casa para posteriormente entrar en ella revelando parte del misterio que acoge. Por tanto, el siguiente prompt debería describir la imagen de la entrada a la casa, para mantener el estilo de la anterior vamos a utilizar su enlace:
https://s.mj.run/FjZotcaya10 A close-up image of the entrance to the haunted house
De esta forma podemos hacer que se conserve el estilo de la casa y su entorno, no es perfecto y puede pasar que sea necesario repetir el proceso para obtener un resultado acorde al contexto de nuestra “historia” y que éste no se vea afectado. La selección de las imágenes más relevantes depende de nuestras necesidades y de la historia que queramos contar, ahora vamos a generar una de la puerta principal a la mansión, seguimos conservando el estilo utilizando el enlace a la imagen anteriormente generada:
https://s.mj.run/FjZotcaya10 The front door ajar inviting you to enter
Ya vamos juntando los elementos que intervendrán en nuestro video, hemos recorrido la parte exterior de nuestra casa encantada por lo que ahora es el momento idóneo para adentrarnos en ella y descubrir qué misterios esconde. Generaremos una imagen de uno de los habitáculos de entrada a nuestra casa, un recibidor y un misterioso espejo, utilizaremos de nuevo la imagen de la puerta principal y el siguiente prompt:
https://s.mj.run/FjZotcaya10 The hall of the abandoned haunted mansion, old and decrepit furniture, a mysterious mirror hangs on the wall
Para terminar añadiremos algún elemento creepy a la escena, por ejemplo la imagen de una extraña figura asomándose al espejo:
https://s.mj.run/zo1bI5ZB3vs A monster from the underworld looming out of the mirror
Ahora ya tenemos las imágenes necesarias para crear nuestro video, vamos a pasar a la siguiente herramienta, RunwayML. Con las imágenes descargadas, una por una, las pasamos por la herramienta Gen-2 (imagen a video) para añadir “movimiento” a cada una de ellas, lo haremos sin introducir nada en el prompt para que el propio algoritmo se encargue de animar nuestra escena. Si ponemos algún texto en el prompt el algoritmo ignorará nuestra imagen y creará algo que no tiene nada que ver con lo que queremos, por lo que es importante no introducir nada.
Creación de sonido con Audiocraft
Tras haber generado y descargado nuestras imágenes animadas pasamos a la herramienta AudioCraft para generar los sonidos de nuestro video. El proceso es similar a los pasos realizados hasta el momento, tenemos que describir los instrumentos y sonidos que intervienen en las escenas.
Utilizaremos un Google Colab para poder hacer uso del algoritmo de generación de sonidos en el que lo único que tenemos que
hacer es ejecutar cada una de las celdas mediante el botón play que aparece en ellas hasta llegar a la última, en la que introduciremos los prompts describiendo el sonido que queremos generar, tras darle al botón play en esta parte nos aparecerán los audios para escuchar
y descargar utilizando el menú contextual del ratón sobre cada elemento.
A continuación os dejo los prompts que he utilizado para crear los sonidos de nuestro video de ejemplo:
Haunting harmonics, aggressive percussive strikes using sul tasto or col legno techniques
Bowed or struck, producing distant whale calls or ghostly whispers
Distant haunting lullabies, carried by the wind
High-pitched oscillations without physical contact
Composición del video
Ahora que ya tenemos todo lo necesario para construir nuestro video sólo nos queda juntarlo con cualquier herramienta de edición de video, yo he utilizado Shotcut, una herramienta gratuita y de código abierto. Para darle un toque más original he mezclado el final de las imágenes con el principio, de esta forma el video se reproduce en bucle y no se nota el corte entre transiciones.
Lo mismo para el audio, además de repetir una de las partes para que el audio no se corte repentinamente. En esta parte ya depende de la destreza de cada uno y el objetivo del video. Este es el resultado final:
Por ahora la creación de videos con IA está en pañales y los resultados son mera curiosidad pero nos augura lo que en un futuro no muy lejano podremos hacer con este tipo de herramientas, cómo será la creación de contenido digital, películas, videojuegos o música. Pronto podremos crear contenido de forma automática y sin necesidad de conocimientos técnicos ni actores o instrumentos, bastará con nuestra imaginación y un poco de ayuda de la IA.