2D to 4DV? AI Gaussian Splatting
Quería probar de hacer un pseudo "4DV" gaussian splatting a partir de un video 2D.
Probé herramientas como Marionette y QuickMagic para hacer el MOCAP a partir del video 2D. Todavía se pierden muchos detalles y se necesitaría limpiar la animación para que diera mejores resultados.
Importé la animación a Unreal Engine, donde utilice el primer fotograma de referencia para recrear un poco la escena con cajas básicas. Creo que si se utilizara metahumans y assets de Megascan se podrían conseguir mejores resultados. Pero el experimento trata de intentar automatizar al máximo el proceso..
Con esto cree un video control que utilice en comfyUI Wan2.1/VACE, para obtener un resultado final donde se han perdido bastantes detalles de la animación y la escena.. y no me convence mucho.. pero sirve de idea de como añadir al workflow ciertas herramientas IA, que a medida que vayan mejorando tienen potencial para hacer cualquier cosa que se te pase por la cabeza.
#quickmagic #unreal #engine #comfyUI #wan2.1 #VACE #MOCAP #4DV #gaussian #splatting