NVIDIA presentó una red neuronal para generar video por descripción

empresa nvidia Anunciado un nuevo modelo VideoLDM AI que crea videos cortos basados ​​en texto. Fue desarrollado en colaboración con investigadores de la Universidad de Cornell.

VideoLDM tiene en cuenta hasta 4100 millones de parámetros, 2700 millones de los cuales se entrenan en vídeo. Los clips generados pueden tener hasta 2048 × 1280 píxeles en 24 fotogramas y tener una duración de hasta 4,7 segundos.

La red neuronal es capaz de crear escenas simples con un par de palabras en la solicitud y algo más complejo. Algunos ejemplos:

• Fuegos artificiales.

• Un soldado de asalto está aspirando la playa.

• Un viajero camina solo en un bosque de niebla al atardecer.

Hay más ejemplos en sitio web del proyecto.

Esta red neuronal de NVIDIA aún no es de dominio público. Fue presentado como trabajo de investigación en el marco de la Conferencia sobre Visión Artificial y Reconocimiento de Patrones.

Los desarrolladores notaron un progreso impresionante y rápido en el aprendizaje, pero no hablaron sobre el posible futuro de la red neuronal. Sin embargo, podemos suponer que pronto obtendremos un video analógico completo.