Об этом проекте

ComfyUI-H3-FaceRefine — это набор пользовательских узлов ComfyUI для постобработки видео MiniMax H3. Он решает проблему, когда H3 плохо отображает лица, потому что голова занимает лишь небольшую часть исходного кадра. Конвейер обнаруживает и отслеживает лицо, нормализует обрезку до большего холста, пропускает эту обрезку через H3 и вшивает сгенерированное лицо обратно в исходное видео, используя записанное преобразование обрезки. Его подход смоделирован на основе FaceDetailer из Impact Pack, но расширен для покадровой работы с видео. Основные компоненты включают: - H3 Load Video + Face Select: загружает видео и аудио, обнаруживает лица, опционально обнаруживает жесткие склейки и выбирает субъект до запуска графа. Может использовать ручной интерфейс Pick faces, правила ранжирования или эталонное изображение личности. - H3 Face Track + Crop: отслеживает выбранного субъекта в каждом кадре, создает обрезки и данные преобразования, выводит размеры холста и количество кадров, обрабатывает сглаживание, интерполяцию, отсутствующие лица и границы кадров. - H3 Per-Frame Denoise: применяет покадровое управление шумоподавлением в виде патча пути модели, принимая и возвращая вход MODEL. - H3 Face Stitch Back: компонует улучшенный вывод H3 обратно в исходные кадры и сохраняет исходный аудиопоток. Выбор субъекта поддерживает автоматические режимы ранжирования, такие как самый большой, самый маленький, самый левый, самый правый, самый верхний, самый нижний, самый центральный, ближайший к координатам X/Y и оценка детектора. Выбор на основе личности может использовать InsightFace для фотографических лиц, в то время как CLIP Vision или CCIP рекомендуются для иллюстрированного или аниме-материала. Требуется предоставленный пользователем детектор лиц, например face_yolov8m.pt; для нефотографического контента рекомендуется детектор аниме-лиц. Пакет использует PySceneDetect для опционального обнаружения жестких склеек. При наличии склейки разделяют видео на сцены, чтобы субъект мог быть выбран отдельно для каждой сцены, и отслеживание не сглаживается через склейку. Если PySceneDetect недоступен, видео обрабатывается как одна сцена. Отчеты отслеживания определяют диапазоны потерянных кадров, и потерянные кадры могут быть подсвечены в предварительном просмотре. Когда субъект исчезает, трекер избегает переключения на другого человека и может интерполировать обрезку, одновременно затухая композит, чтобы сохранить исходные пиксели. Включены два аннотированных шаблона рабочих процессов: Auto Select, где правило ранжирования выбирает лицо, и Manual Select, где пользователь выбирает одно лицо на сцену. Шаблоны доступны через браузер шаблонов ComfyUI, а также могут быть загружены из каталога example_workflows. Они используют количество кадров и размеры холста узла отслеживания, чтобы генерация H3 была согласована с исходным клипом. Установка выполняется путем клонирования репозитория в ComfyUI/custom_nodes и перезапуска ComfyUI. Узлы появляются в меню MiniMax H3/Face Refine. Пакеты Python, включая ultralytics, scipy, insightface и scenedetect, могут быть установлены из требований проекта. Требуется свежая сборка ComfyUI с основными узлами MiniMax H3, а также модель H3, текстовый кодировщик и VAE, если они еще не установлены. Примеры рабочих процессов дополнительно используют VideoHelperSuite для сохранения, ComfyUI-H3-NativeAudioLock для обработки аудио/липсинка и Impact Pack для регистрации папок моделей. Компоненты SAM и GGUF присутствуют, но отключены по умолчанию; модели SAM, поддержка загрузчика GGUF, CLIP Vision, модели InsightFace и turbo LoRAs являются опциональными в зависимости от конфигурации рабочего процесса. Для видео, загруженных путем вставки абсолютного пути, пакет обслуживает локальные предварительные просмотры за пределами входного каталога ComfyUI. Установка H3_FACEREFINE_STRICT_PATHS в непустое значение ограничивает эти маршруты файлами внутри собственной папки ComfyUI, что полезно, когда ComfyUI доступен за пределами localhost.