프로젝트 소개

Rhubarb Lip Sync은 오디오 녹음을 분석하여 2D 입 모양 애니메이션 데이터를 자동 생성하는 명령줄 도구입니다. Windows, macOS, Linux에서 작동하며 WAV 및 Ogg Vorbis 오디오 파일을 처리할 수 있습니다. **작동 방식** 이 도구는 음성 인식을 사용하여 녹음의 각 지점에서 말하는 내용을 결정한 다음, 소리를 적절한 입 모양에 매핑합니다. 두 가지 인식기가 제공됩니다: PocketSphinx(기본값, 영어 음성용)와 언어 독립적인 음성 인식기(비영어 녹음용)입니다. 사용자는 대화 텍스트 파일을 제공하여 인식 정확도를 향상시킬 수 있으며, 특히 녹음된 연기가 대본에서 벗어날 때 유용합니다. **입 모양** Rhubarb Lip Sync은 6~9개의 입 위치를 사용합니다. 6가지 기본 모양(A~F)은 Hanna-Barbera 표준을 따르며 일반적인 자음과 모음을 다룹니다. 세 가지 확장 모양(G, H, X)은 선택 사항이며 각각 윗니-아랫입술, 혀를 올린 'L' 소리, 그리고 대기/휴식 위치를 다룹니다. **출력 형식** 이 도구는 애니메이션 데이터를 TSV(탭으로 구분된 타임스탬프와 모양 이름), XML 또는 JSON으로 내보낼 수 있습니다. Moho 및 OpenToonz 통합을 위해 .dat 스위치 데이터 파일을 생성할 수 있습니다. 출력은 녹음 중 각 시점에 표시할 입 모양을 지정합니다. **통합** - Adobe After Effects: 합성 워크플로우 내에서 직접 대화 애니메이션 - Moho 및 OpenToonz: Preston Blair 명명 규칙을 지원하는 .dat 스위치 데이터 파일 생성 - Esoteric Software의 Spine: 프로젝트 가져오기, 립싱크 실행, 결과 재가져오기를 위한 그래픽 도구 - Magix의 Vegas Pro: 직접 비디오 편집 통합을 위한 두 개의 플러그인 스크립트 **명령줄 사용법** 기본 호출 예시: ``` rhubarb -o output.txt my-recording.wav ``` 주요 옵션으로는 `--recognizer`(pocketSphinx와 phonetic 모드 선택), `--exportFormat`(출력 형식), `--dialogFile`(참조 텍스트 제공), `--extendedShapes`(사용할 선택적 입 모양 제어), 그리고 스크립팅 및 자동화를 위한 `--quiet` / `--machineReadable`이 있습니다. 이 도구는 멀티스레딩을 지원하며 다른 응용 프로그램과의 통합을 위해 구조화된 JSON 상태 메시지를 출력할 수 있습니다. **소스에서 빌드** CMake 3.10+, C++17 호환 컴파일러, Boost가 필요합니다. 프로젝트에는 일반적인 플랫폼에 대한 CI 구성과 빌드 지침이 포함되어 있습니다.