À propos du projet

Rhubarb Lip Sync est un outil en ligne de commande qui analyse les enregistrements audio et génère automatiquement des données d'animation buccale 2D. Il fonctionne sous Windows, macOS et Linux, et peut traiter des fichiers audio WAV et Ogg Vorbis. **Fonctionnement** L'outil utilise la reconnaissance vocale pour déterminer ce qui est dit à chaque instant de l'enregistrement, puis associe les sons aux formes de bouche appropriées. Deux reconnaisseurs sont disponibles : PocketSphinx (par défaut, pour la parole anglaise) et un reconnaisseur phonétique indépendant de la langue (pour les enregistrements non anglais). Les utilisateurs peuvent également fournir un fichier texte de dialogue pour améliorer la précision de la reconnaissance, en particulier lorsque la performance enregistrée s'écarte du script. **Formes de bouche** Rhubarb Lip Sync utilise entre 6 et 9 positions de bouche. Les 6 formes de base (A à F) suivent le standard Hanna-Barbera, couvrant les consonnes et voyelles courantes. Trois formes étendues (G, H, X) sont optionnelles et couvrent respectivement les sons dents supérieures-lèvre inférieure, les sons 'L' avec langue relevée, et la position de repos/inactivité. **Formats de sortie** L'outil peut exporter les données d'animation au format TSV (horodatages et noms de formes séparés par des tabulations), XML ou JSON. Pour l'intégration avec Moho et OpenToonz, il peut générer des fichiers de données de commutation .dat. La sortie spécifie quelle forme de bouche afficher à chaque instant de l'enregistrement. **Intégrations** - Adobe After Effects : animer le dialogue directement dans le flux de travail de compositing - Moho et OpenToonz : produire des fichiers de données de commutation .dat, avec prise en charge des conventions de nommage Preston Blair - Spine par Esoteric Software : un outil graphique pour importer des projets, exécuter le lip sync et réimporter les résultats - Vegas Pro par Magix : deux scripts de plugin pour une intégration directe au montage vidéo **Utilisation en ligne de commande** Une invocation de base ressemble à : ``` rhubarb -o output.txt my-recording.wav ``` Les options clés incluent `--recognizer` pour choisir entre les modes pocketSphinx et phonetic, `--exportFormat` pour le format de sortie, `--dialogFile` pour fournir un texte de référence, `--extendedShapes` pour contrôler quelles formes de bouche optionnelles sont utilisées, et `--quiet` / `--machineReadable` pour le scripting et l'automatisation. L'outil prend en charge le multithreading et peut émettre des messages d'état JSON structurés pour l'intégration avec d'autres applications. **Compilation depuis les sources** Nécessite CMake 3.10+, un compilateur compatible C++17 et Boost. Le projet inclut une configuration CI et des instructions de compilation pour les plateformes courantes.