Об этом проекте

Director — это фреймворк для создания ИИ-агентов, которые работают с видео с помощью инструкций на естественном языке. Он позиционируется как чат-ассистент для медиа-рабочих процессов и построен на инфраструктуре VideoDB для хранения, индексации и потоковой передачи видео. Проект включает более 20 предустановленных агентов для таких задач, как суммаризация видео, поиск конкретных моментов, создание хайлайтов и клипов, организация медиатеки, генерация фильмов по сценариям, дубляж или редактирование аудио и видео, перевод контента и добавление субтитров. Агенты также могут добавлять оверлеи, извлекать кадры, компилировать контент и подключаться к внешним LLM, базам данных и генеративным ИИ-API. Основные компоненты: бэкенд-движок рассуждений, чат-интерфейс, видеоплеер и представление коллекции для просмотра медиа. Движок рассуждений интерпретирует запросы пользователя, поддерживает контекст, выбирает и координирует несколько агентов, разбивает работу на шаги и сообщает о прогрессе. Примеры рабочих процессов включают загрузку видео, обнаружение сцен, создание клипа и публикацию результата в Slack. Director можно запускать локально или развертывать в облачной среде. Документированная настройка требует Python 3.9+, Node.js 22.8.0+, npm и ключей API, настраиваемых через файлы окружения. Скрипт установки подготавливает окружения фронтенда и бэкенда, а команды Make запускают оба сервиса вместе или по отдельности. Поддерживаются macOS и Linux, а также Windows через WSL. Также предоставлены ссылки на однокликовое развертывание для Render и Railway. Разработчики могут добавлять пользовательских агентов, дублируя образец агента, переименовывая класс и метаданные, реализуя логику запуска, определяя поддерживаемые типы контента, публикуя прогресс и финальные ответы, обрабатывая ошибки и регистрируя агента в чат-обработчике. Репозиторий включает локальную документацию, обслуживаемую с помощью MkDocs, и принимает вклады сообщества и новые интеграции агентов.