Об этом проекте

Duix.Avatar — это бесплатный и открытый проект AI-аватара, разработанный Duix.com. Это полностью офлайн-инструмент синтеза видео, предназначенный для систем Windows и Ubuntu, который клонирует внешность и голос пользователя для создания видео с цифровыми людьми, управляемыми текстом и голосом. Основные функции включают: - Точное клонирование внешности и голоса с использованием алгоритмов ИИ для захвата черт лица и воспроизведения характеристик голоса. - Виртуальные аватары, управляемые текстом и голосом, с использованием обработки естественного языка для преобразования текста в речь и управления выражениями и действиями аватара. - Эффективный синтез видео с синхронизацией аудио и видео, включая синхронизацию губ. - Поддержка восьми языков: английского, японского, корейского, китайского, французского, немецкого, арабского и испанского. Ключевые преимущества включают полностью офлайн-работу для защиты конфиденциальности, удобный интерфейс и поддержку импорта нескольких моделей. Проект использует развёртывание на основе Docker с тремя основными Docker-образами (fun-asr, fish-speech-ziming и duix.avatar). Требования к оборудованию включают видеокарту NVIDIA (рекомендуется RTX 4070), 32 ГБ RAM и более 100 ГБ свободного места на диске. Поддерживается установка на Windows 10 и Ubuntu 22.04. Проект предоставляет открытые API для обучения моделей, синтеза аудио и синтеза видео, доступные локально через HTTP-эндпоинты. Также предлагается отдельный коммерческий API-сервис для бизнес-пользователей, которым требуется корпоративная гарантия SLA. Проект признаёт использование fun-asr для ASR и fish-speech-ziming для TTS. Он поддерживает глобальное бесплатное коммерческое использование; компаниям с более чем 100 000 пользователей или годовой выручкой сверх 10 миллионов долларов требуется коммерческое лицензионное соглашение.