À propos du projet

by2kb est un outil open-source conçu pour transformer le contenu vidéo en artefacts structurés et durables pour une base de connaissances. Sa fonction principale est de prendre une URL de vidéo (prenant actuellement en charge Bilibili et YouTube) ou un fichier multimédia local et de générer trois sorties Markdown spécifiques : une transcription brute préservant les preuves, un résumé court pour une évaluation rapide, et des notes d'étude détaillées. L'outil est conçu comme « agent-first », ce qui signifie qu'il est optimisé pour être utilisé avec des agents IA (tels que Hermes) qui peuvent gérer la récupération multimédia et la génération de résumés avec leur propre authentification de modèle. Cependant, il prend également en charge une utilisation autonome via une clé API compatible OpenAI. by2kb gère le pipeline de traitement multimédia, y compris la récupération audio, l'exécution de la reconnaissance vocale automatique (ASR) via faster-whisper local ou des fournisseurs cloud comme Doubao, et la normalisation de la transcription. Les fonctionnalités clés incluent : 1. **Pipeline rentable :** Il tente d'abord de récupérer les sous-titres natifs (coût le plus bas), puis passe à l'extraction du flux audio et à l'ASR, et enfin au téléchargement complet du média si nécessaire. 2. **Séparation des préoccupations :** Il sépare strictement la transcription « brute » (les preuves) des sorties « mises à jour » ou « résumées » (résumés générés par IA) pour éviter les hallucinations ou la perte de données. 3. **Compétences personnalisables :** Les utilisateurs peuvent définir des instructions de traitement réutilisables basées sur Markdown (compétences) pour des tâches comme le nettoyage de la ponctuation, la détection de chapitres ou des formats de résumé spécifiques. 4. **Intégration :** Il s'intègre avec des bots de messagerie (via le plugin Hermes) et des bases de connaissances locales comme Obsidian ou des systèmes de fichiers. by2kb nécessite Python 3.12+, pipx et ffmpeg. Il convient aux utilisateurs qui souhaitent archiver et étudier du contenu vidéo sans dépendre d'extensions de navigateur ou de services exclusivement cloud, en mettant l'accent sur le contrôle local et des artefacts Markdown portables.