¿Qué es el Texto a Video?

Los sistemas de texto a video se basan en modelos de difusión entrenados con millones de pares de video y texto. Durante el entrenamiento, el modelo aprende a asociar descripciones de lenguaje con el movimiento, la iluminación y la composición visual. En el momento de la inferencia, parte de ruido aleatorio y refina los fotogramas de forma iterativa hasta que coinciden con el prompt.

El prompt de texto primero se codifica en una representación latente mediante un modelo de lenguaje (a menudo un codificador estilo CLIP o un gran modelo de lenguaje). Esta representación condiciona el proceso de eliminación de ruido en cada paso, orientando la salida hacia la escena descrita. Las capas de atención temporal garantizan la coherencia entre fotogramas para que el resultado parezca un video fluido en lugar de una presentación de diapositivas.

Las arquitecturas modernas como DiT (Diffusion Transformers) han reemplazado a las antiguas estructuras U-Net en los modelos más avanzados. Estas arquitecturas basadas en transformadores escalan mejor con la capacidad de cómputo y producen un movimiento de mayor fidelidad. Sora 2, por ejemplo, utiliza un enfoque de parches espaciotemporales que trata el video como una secuencia de parches 3D, lo que permite una salida nativa de duración y resolución variables.

Los pasos de posprocesamiento pueden incluir el escalado por superresolución, la interpolación de fotogramas para una reproducción más fluida y el filtrado de seguridad. La salida final suele entregarse como un archivo MP4 con una resolución de 720p a 1080p.