¿Qué es Imagen a Video?

Los modelos de imagen a video amplían el proceso de difusión utilizado en texto a video condicionándose a una entrada visual en lugar de partir de ruido puro. La imagen original se codifica en una representación latente que sirve de ancla para la generación de fotogramas. Luego, el modelo predice cómo debe evolucionar la escena con el tiempo: los objetos se mueven, la iluminación cambia, las cámaras se desplazan.

Un texto descriptivo opcional guía aún más la animación. Por ejemplo, subir una foto de una cascada con la indicación "alejamiento lento, niebla que asciende" le dice al modelo tanto cómo se ve la escena (a partir de la imagen) como cómo debe moverse (a partir del texto). Este doble condicionamiento produce resultados más controlables que cualquiera de las dos entradas por separado.

La coherencia temporal es fundamental. El modelo utiliza mecanismos de atención temporal para garantizar que el sujeto mantenga una identidad, unas proporciones y una iluminación consistentes en todos los fotogramas generados. Modelos avanzados como Sora 2 y Wan 2.6 pueden manejar movimientos complejos —una persona caminando, el cabello ondeando al viento— manteniendo estables el rostro y la ropa.

La canalización suele incluir un codificador de imágenes (VAE o CLIP vision), una red de eliminación de ruido (DiT o U-Net con capas temporales) y un decodificador que convierte los fotogramas latentes de nuevo en espacio de píxeles. Algunos modelos añaden una pasada de superresolución para el resultado final.