director

Director est un framework permettant de créer des agents IA qui travaillent avec la vidéo au moyen d’instructions en langage naturel. Il est présenté comme un assistant basé sur le chat pour les flux de travail multimédias et repose sur l’infrastructure de VideoDB pour le stockage, l’indexation et la diffusion de vidéos. Le projet inclut plus de 20 agents prédéfinis pour des tâches telles que résumer des vidéos, rechercher des moments spécifiques, créer des temps forts et des clips, organiser des bibliothèques multimédias, générer des films à partir de scripts, doublager ou éditer de l’audio et de la vidéo, traduire du contenu et ajouter des sous-titres. Les agents peuvent également ajouter des incrustations, extraire des images, compiler du contenu et se connecter à des LLM, bases de données et API d’IA générative externes. Les principaux composants sont un moteur de raisonnement backend, une interface utilisateur basée sur le chat, un lecteur vidéo et une vue collection pour parcourir les médias. Le moteur de raisonnement interprète les demandes des utilisateurs, conserve le contexte, sélectionne et coordonne plusieurs agents, décompose le travail en étapes et signale la progression. Des exemples de flux de travail incluent le téléversement d’une vidéo, la détection de scènes, la création d’un clip et le partage du résultat sur Slack. Director peut être exécuté localement ou déployé dans un environnement cloud. La configuration documentée nécessite Python 3.9+, Node.js 22.8.0+, npm et des clés API configurées via des fichiers d’environnement. Un script de configuration prépare les environnements frontend et backend, tandis que des commandes Make peuvent exécuter les deux services ensemble ou séparément. macOS et Linux sont pris en charge, ainsi que Windows via WSL. Des références de déploiement en un clic pour Render et Railway sont également fournies. Les développeurs peuvent ajouter des agents personnalisés en dupliquant l’agent d’exemple, en renommant la classe et les métadonnées, en implémentant la logique run, en définissant les types de contenu pris en charge, en publiant la progression et les réponses finales, en gérant les erreurs et en enregistrant l’agent dans le gestionnaire de chat. Le dépôt inclut une documentation locale servie avec MkDocs et accepte les contributions communautaires ainsi que les nouvelles intégrations d’agents.