オープンソース。新しい可能性。

LiveTalkingは、テキストや音声でアバターを駆動し、音声と映像を同期させたリアルタイム対話を実現するオープンソースのストリーミング型デジタルヒューマンエンジンである。ernerf、musetalk、wav2lip、Ultralight-Digital-Humanなどのモデルに対応し、音声クローン、発話中断、全身動画合成、モーション制御、カスタムアバター生成を備える。LLMとTTSを連携させ、WebRTC、RTMP、仮想カメラで出力でき、ブラウザ、HTTP API、デスクトップクライアントから利用可能。仮想配信者、AIカスタマーサービス、オンライン教育、音声アシスタント、大画面解説、短動画の大量制作などに適している。

FaceFusionは、コマンドラインインターフェースを介して顔交換および関連処理を提供するオープンソースの顔操作プラットフォームであり、ジョブキュー、バッチモード、ヘッドレスモード、WindowsおよびmacOS用インストーラを備えています。

Hoho Avatarは、Canvas 2Dレンダリングを用いて、音声に反応して口を動かす2Dアバターを作成するためのオープンソースのTypeScriptツールキットです。