duix-avatar

Duix.Avatar est un projet d'avatar IA gratuit et open source développé par Duix.com. Il s'agit d'un outil de synthèse vidéo entièrement hors ligne, conçu pour les systèmes Windows et Ubuntu, qui clone l'apparence et la voix d'un utilisateur pour créer des vidéos d'humains numériques pilotées par du texte et de la voix. Les fonctionnalités principales incluent : - Un clonage précis de l'apparence et de la voix grâce à des algorithmes d'IA qui capturent les traits du visage et reproduisent les caractéristiques vocales. - Des avatars virtuels pilotés par texte et voix, utilisant le traitement du langage naturel pour convertir le texte en parole et animer les expressions et les actions de l'avatar. - Une synthèse vidéo efficace avec une synchronisation labiale audio-vidéo. - La prise en charge de huit langues : anglais, japonais, coréen, chinois, français, allemand, arabe et espagnol. Les avantages clés incluent un fonctionnement entièrement hors ligne pour la protection de la vie privée, une interface conviviale et la possibilité d'importer plusieurs modèles. Le projet utilise un déploiement basé sur Docker avec trois images Docker principales (fun-asr, fish-speech-ziming et duix.avatar). Les exigences matérielles incluent une carte graphique NVIDIA (RTX 4070 recommandée), 32 Go de RAM et plus de 100 Go d'espace disque libre. Il prend en charge les installations sur Windows 10 et Ubuntu 22.04. Le projet fournit des API ouvertes pour l'entraînement des modèles, la synthèse audio et la synthèse vidéo, accessibles localement via des points de terminaison HTTP. Il propose également un service API commercial distinct pour les entreprises nécessitant une assurance de niveau de service de niveau entreprise. Le projet indique utiliser fun-asr pour l'ASR et fish-speech-ziming pour le TTS. Il autorise l'utilisation commerciale gratuite mondiale, les entreprises dépassant 100 000 utilisateurs ou 10 millions de dollars de revenus annuels devant conclure un accord de licence commerciale.