Sincronización labial con Blender 2.8 y Rhubarb Lip Sync

Bienvenidos a esta nueva entrada en la sección de vídeotutoriales dedicada a la sincronización labial con Blender 2.8 y Rhubarb Lip Sync.

Rhubarb Lip Sync es una herramienta de código abierto creada por Daniel S. Wolf que permite realizar animaciones labiales a partir de grabaciones de audio. Se integra en Blender a través de un Addon desarrollado por Scaredyfish que puede instalarse de la manera habitual.

En las páginas de ambos proyectos que se encuentran en Github puedes encontrar los archivos con los que empezar a trabajar, así como otra mucha más información de utilidad:
- Programa
- Addon para Blender

Flujo de trabajo:

1. Preparación:
- Descarga el software.
- Prepara el archivo de audio y su correspondiente transcripción en un archivo de texto normal.

2. Instalación del software:
- Abre Blender e instala el Addon (Edit > Preferences > Addon > Install Addon).
- Configura la herramienta (Recuerda que si utilizas un idioma distinto al inglés, funcionará mejor la opción "phonetic").

3. Creación de las "Shape Keys" o "Claves de forma":
- En este caso utilizamos a Suzanne con un modificador Subsurface.
- Añadimos una imagen de referencia para modelar los fonemas (cortesía de yogyog.org).
- Creamos cada una de las formas (en este caso mediante edición de malla) y las renombramos adecuadamente.

4. Creación y configuración de un esqueleto para alojar la "Librería de Poses":
- Insertamos un hueso y bloqueamos sus ejes YZ (Modo Pose).
- Dentro del Modo de Edición duplicamos los huesos hasta conseguir el número deseado (8).
- A continuación cambiamos sus nombres para una mejor identificación.

5. Asociación de "Controladores" ("Drivers") a los huesos:
- Seleccionamos nuestro modelo y en el apartado de las "Shape Keys" hacemos clic derecho sobre "Value" > "Add Driver".
- En la ventana de configuración seleccionamos "Valor Promedio" ("Averaged Value") y el hueso correspondiente de nuestro esqueleto. Además, asignamos un "Espacio" de tipo "Local" y nos aseguramos que tenemos seleccionado "Type: X Location".
- Aplicamos esta configuración a todas nuestras formas.

6. Trabajo con la "Librería de Poses":
- En su correspondiente pestaña añadimos una nueva "Librería de Poses" que alojará las poses que articulan los fonemas de nuestro modelo.
- Para crear cada pose seleccionamos el hueso y lo desplazamos a su respectiva ubicación.
- Seleccionamos TODOS los huesos y hacemos clic en el botón (+) para añadir una nueva pose.
- Limpiamos la pose (Alt-G) y repetimos con el resto de poses.

7. Rhubarb lip sync
- Vamos al correspondiente apartado dentro de la pestaña "Object Data Properties".
- Asociamos cada pose con su correspondiente fonema utilizando la lista desplegable.
- Seleccionamos los archivos de audio y el texto con su correspondiente transcripción.
- Seleccionamos todos los huesos y pulsamos el botón "Rhubarb lipsync" para iniciar el proceso de sincronización automática.
- Si desplegamos una nueva vista y la configuramos como "Graph Editor" podemos observar las curvas que se han generado.

Esta entrada sigue a grandes rasgos el esquema de trabajo del vídeo de Yogyog.org a quien agradezco su magnífico trabajo de divulgación y la oportunidad de abrirme los ojos a esta estupenda herramienta.

En resumen, el tema de esta entrada es algo más complejo de lo habitual pero espero que el vídeo y sus explicaciones consigan hacer más fácil vuestra introducción en este tipo de trabajos.

Aquí puedes descargar los archivos de edición de este tutorial.