El viernes, Meta anunció una vista previa de película generalun nuevo conjunto de modelos de IA diseñados para crear y procesar video, audio e imágenes, incluida la creación de un video fotorrealista a partir de una sola imagen de una persona. La compañía afirma que los modelos superan a otros modelos de superposición de vídeo cuando los evalúan humanos, lo que nos acerca a un futuro en el que cualquiera pueda superponer un vídeo completo de cualquier tema bajo demanda.

La compañía aún no tiene planes sobre cuándo o cómo lanzará estas capacidades al público, pero Meta dice que Movie Gen es una herramienta que puede permitir a las personas «mejorar su creatividad inherente» en lugar de reemplazar a los artistas y animadores humanos. La empresa prevé aplicaciones futuras como la creación y edición sencilla de vídeos del “día de la vida” para plataformas de redes sociales o la creación de saludos de cumpleaños animados personalizados.

Movie Gen se basa en el trabajo anterior de Meta en composición de video, siguiendo el generador de video Make-A-Scene de 2022 y el modelo de composición de fotografías de Emu. Utilizando mensajes de texto como instrucciones, este último sistema puede crear videos personalizados con voces nuevas, editar e insertar cambios en videos existentes y convertir fotografías de personas en videos personales realistas.

Meta no es el único juego que existe cuando se trata de composición de videos con IA. Google mostró un nuevo modelo llamado «Veo» en mayo, y Meta dice que en las pruebas de preferencia humana, la producción de Movie Gen superó a Sora de OpenAI, Runway Gen-3 y el modelo de video chino. kling.

El modelo de creación de video de Movie Gen puede crear videos HD de 1080p de hasta 16 segundos de duración a 16 fotogramas por segundo a partir de descripciones de texto o entrada de imágenes. Meta afirma que el modelo puede manejar conceptos complejos como movimiento de objetos, interacciones sujeto-objeto y movimientos de cámara.

Sin embargo, como hemos visto con generadores de vídeo de IA anteriores, la capacidad de Movie Gen para crear escenas coherentes en torno a un tema determinado probablemente dependerá de los conceptos de los vídeos de ejemplo que Meta utilizó para entrenar su modelo de síntesis de vídeo. Cabe señalar que los resultados de los generadores de vídeo suelen diferir significativamente de los resultados típicos y obtener un resultado consistente puede requerir mucho ensayo y error.