El video digital es un campo mucho más complejo que el procesamiento de imágenes estáticas. Y así también lo es su creación con herramientas que incluyen a los modelos de inteligencia artificial.
Por ello causa admiración la aparición de Lumiere, un modelo de difusión de texto a video desarrollado por Google Research, aún en proceso de investigación, que usa una arquitectura distinta a las que ya existen en el mercado y que se basan en la síntesis de fotogramas distantes entre sí en la línea de tiempo completados con técnicas de superresolución de imágenes, lo que puede resultar en una falta de fluidez y realismo.
En contraste, Lumiere presenta la arquitectura Space-Time U-Net (STUNet), la cual permite que el modelo haga procesamientos con un solo paso en toda la duración temporal, generando videos en los que plasma de una manera muy consistente la instrucción de texto (o prompt). En esta etapa del proyecto, los videos tienen una duración de 5 segundos con una alta calidad de resolución.
Pero Lumiere de Google Research también puede generar vídeos a partir de imágenes individuales si es que se le dan las instrucciones respectivas con referencias de estilo u otros detalles personalizados. En este contexto, es capaz de construir animaciones en regiones específicas de una imagen individual mientras el resto permanece estático; también puede generar secuencias de imágenes basadas en estilos concretos, y utilizar técnicas de inpainting, tanto para alterar ciertos elementos visuales del video como para restaurar videos incompletos rellenando las partes que le faltan.
Cómo apreciar los trabajos hechos con Lumiere
Según el paper del proyecto, Lumiere está dirigido a los usuarios novatos que deseen generar contenido audiovisual de una manera creativa y flexible. Sin embargo, ponen énfasis en los riesgos que trae esta tecnología, que de caer en malas manos puede propiciar la generación masiva de contenido falso o inadecuado. Si quieres apreciar los trabajos hechos con Lumiere solo tienes que entrar en su página alojada en GitHub https://lumiere-video.github.io/.
Imagen: Lumiere