このプロジェクトについて

by2kbは、動画コンテンツを構造化された永続的なナレッジベース成果物に変換するために設計されたオープンソースツールです。その主な機能は、動画URL(現在はBilibiliとYouTubeをサポート)またはローカルメディアファイルを受け取り、3つの特定のMarkdown出力を生成することです:証拠を保持する生の文字起こし、迅速な評価のための短い要約、そして長文の学習ノートです。 このツールは「エージェントファースト」として設計されており、つまり、独自のモデル認証を使用してメディア取得と要約生成を処理できるAIエージェント(Hermesなど)と組み合わせて使用するように最適化されています。ただし、OpenAI互換のAPIキーを使用したスタンドアロン使用もサポートしています。by2kbは、オーディオの取得、ローカルのfaster-whisperやDoubaoなどのクラウドプロバイダーを介した自動音声認識(ASR)の実行、文字起こしの正規化を含むメディア処理パイプラインを処理します。 主な機能は次のとおりです: 1. **コスト効率の高いパイプライン:** まずネイティブ字幕の取得を試み(最も低コスト)、次にオーディオストリームの抽出とASRにフォールバックし、最後に必要に応じて完全なメディアダウンロードを行います。 2. **関心の分離:** 「生の」文字起こし(証拠)を「更新された」または「要約」出力(AI生成の要約)から厳密に分離し、幻覚やデータ損失を防ぎます。 3. **カスタマイズ可能なスキル:** ユーザーは、句読点のクリーンアップ、チャプター検出、特定の要約形式などのタスクのために、再利用可能なMarkdownベースの処理指示(スキル)を定義できます。 4. **統合:** IMボット(Hermesプラグイン経由)やObsidianなどのローカルナレッジベースまたはファイルシステムと統合します。 by2kbには、Python 3.12以上、pipx、およびffmpegが必要です。ブラウザ拡張機能やクラウドのみのサービスに依存せずに動画コンテンツをアーカイブおよび学習したいユーザーに適しており、ローカル制御とポータブルなMarkdown成果物を重視しています。