Cuáles son las funciones que tendrá Lumiere AI de Google para crear vídeos desde texto

Los avances en la inteligencia artificial están invadiendo lo que nos rodea de forma impresionante. Gracias a esto, Google da un paso adelante en un nuevo entorno de la inteligencia artificial con el lanzamiento de Lumiere, una sorprendente IA capaz de transformar texto e imágenes estáticas en videos realistas.

A diferencia de otras plataformas de inteligencia artificial que a menudo generan movimientos falsos e innecesarios al crear videos, evidenciando su origen en la IA, Lumiere aborda un terreno inexplorado hasta ahora. Genera videos completos de una sola vez, eliminando la necesidad de unir fotogramas por separado y aumentar la resolución, permitiendo la creación de vídeos con movimientos más fluidos y realistas.

Presentado en la plataforma Github con ejemplos demostrativos, Lumiere ofrece diversas funciones que tienen un enorme potencial en múltiples industrias, desde el entretenimiento hasta la educación, ofreciendo un alto nivel de realismo y naturalidad en la creación de videos mediante IA.

Funciones de Lumiere para crear videos con IA

La creación de videos con Lumiere pronto será una realidad para el público en general. Aunque aún está en desarrollo, se cree que esta herramienta permitirá a los usuarios generar todo tipo de videos a partir de textos o imágenes con un resultado alucinante. Veamos algunas de las funciones:

  • Texto a vídeo: Lumiere recibe indicaciones a través de texto plano para convertirlas en video. 
  • Imagen a vídeo: Convierte imágenes fijas en videos realistas y con un alto grado de naturalidad.
  • Copiar estilos de referencia: Lumiere permite la creación de logos animados o imágenes caricaturescas a partir de una imagen realista de referencia.
  • Complementar estilos: Transforma objetos o personas en un video para que adopten un estilo diferente, como convertir una figura humana en Origami o recrearla con bloques de madera.
  • Animar objetos fijos: Da vida a objetos en imágenes estáticas, como una mariposa en una planta o las llamas de una hoguera, añadiendo movimiento a elementos originalmente estáticos.
  • Completar videos: Lumiere puede completar videos incompletos o áreas cortadas con notable precisión, ofreciendo una solución de relleno en partes eliminadas.
  • Cambios en tiempo real: Permite realizar cambios instantáneos en videos, como la sustitución de la vestimenta, simplemente seleccionando la zona deseada y describiendo el cambio deseado.

Como crea videos Lumiere frente a otras plataformas de IA

Lo que distingue a Lumiere de otras IA es su enfoque de difusión espacio-temporal. Mediante un modelo de difusión de texto a imagen previamente entrenado y un muestreo descendente y ascendente tanto espacial como temporal, Lumiere es capaz de generar videos de baja resolución y velocidad de cuadro completa en una sola pasada del modelo. 

Ahora, te estarás preguntando ¿Qué es la difusión espacial-temporal? Te lo explicaremos con un ejemplo:

Difusión Espacial: Supongamos que estás dibujando en una hoja de papel. La difusión espacial en Lumiere sería como hacer que los colores y las formas se extiendan y se mezclen de una manera increíble, ¡como si tu dibujo cobrara vida y se moviera!

Difusión Temporal: Ahora, piensa en un cómic o una historieta. Cada cuadro cuenta una parte de la historia, ¿verdad? La difusión temporal en Lumiere sería como tomar esos cuadros y hacer que se sucedan uno tras otro muy rápidamente, ¡como si estuvieras viendo una película hecha a partir de tus dibujos.

En conclusión, esta combinación de espacio y tiempo forma la magia de Lumiere, permitiendo la generación de vídeos únicos.

Con Lumiere, Google está marcando un avance en la generación de contenido audiovisual, llevando la inteligencia artificial a nuevas alturas y ofreciendo un vistazo emocionante al futuro de la creación de videos.

Sigue nuestro trabajo en:

Comparte en: