aethergraph

AetherGraphは、数十億規模の進化するグラフ上でのGNN学習向けに設計された高性能なグラフサンプリングおよび特徴量配信ライブラリです。RustコアとPythonバインディングを組み合わせ、GPUメモリの限界を超える大規模グラフを効率的に処理できます。 **主な機能:** - **3つのグラフモード:** 静的CSRグラフ（NVMeからメモリマッピング）、動的C-treeグラフ（単一ライター取り込み、ロックフリーリーダー）、異種グラフ（型付きサンプリングによるマルチリレーショナル） - **高性能:** io_uring非同期NVMe読み取り、NVMeパススルー、圧縮グラフファイル（Elias-Fano + StreamVByte）、半精度特徴量（f16/bf16）、キャッシュ局所性のためのRabbit Order頂点再順序付け - **リアルタイム特徴量:** GPUDirect RDMA配信（5us未満）によるライブ特徴量更新、CPUをバイパス - **PyTorch Geometric統合:** 標準のData/HeteroData出力を備えたNeighborLoaderのドロップイン代替 - **分散学習:** 複製トポロジー（各ワーカーにローカルなグラフ）によるRay Data統合 - **ストレージの柔軟性:** アウトオブコアページング、プロセス間での共有特徴量メモリ、圧縮フォーマット、階層型キャッシュ - **フリースレッドCPythonサポート:** RustロックによるNo-GILビルド **パフォーマンスベンチマーク:** PyGのC++カーネルより1.2～1.5倍高速なサンプリング、動的グラフ操作では毎秒900万挿入、毎秒3800万読み取りを達成。 **インストール:** `pip install aethergraph`、オプションでPyG統合。プラットフォーム固有の機能（io_uring、RDMA、GPUDirectなど）は実行時にグレースフルデグラデーションします。 **ライセンス:** MIT OR Apache-2.0