इस प्रोजेक्ट के बारे में

AetherGraph एक उच्च-प्रदर्शन ग्राफ़ सैंपलिंग और फ़ीचर सर्विंग लाइब्रेरी है, जिसे अरबों-स्तरीय विकसित ग्राफ़ पर GNN प्रशिक्षण के लिए डिज़ाइन किया गया है। यह एक Rust कोर को Python बाइंडिंग्स के साथ जोड़ता है, जिससे GPU मेमोरी सीमाओं से अधिक बड़े ग्राफ़ को कुशलता से संभाला जा सकता है। **मुख्य विशेषताएँ:** - **तीन ग्राफ़ मोड:** स्थिर CSR ग्राफ़ (NVMe से मेमोरी-मैप्ड), गतिशील C-tree ग्राफ़ (एकल-लेखक अंतर्ग्रहण, लॉक-मुक्त पाठक), और विषमांगी ग्राफ़ (बहु-संबंधीय, टाइप्ड सैंपलिंग के साथ) - **उच्च प्रदर्शन:** io_uring async NVMe रीड्स, NVMe passthrough, संपीड़ित ग्राफ़ फ़ाइलें (Elias-Fano + StreamVByte), अर्ध-परिशुद्धता फ़ीचर्स (f16/bf16), और कैश लोकैलिटी के लिए Rabbit Order वर्टेक्स पुनःक्रमण - **रीयल-टाइम फ़ीचर्स:** लाइव फ़ीचर अपडेट के लिए GPUDirect RDMA सर्विंग (<5us), CPU को बायपास करते हुए - **PyTorch Geometric एकीकरण:** NeighborLoader के लिए ड्रॉप-इन प्रतिस्थापन, मानक Data/HeteroData आउटपुट के साथ - **वितरित प्रशिक्षण:** Ray Data एकीकरण, प्रतिकृत टोपोलॉजी के साथ (ग्राफ़ प्रत्येक वर्कर के लिए स्थानीय) - **स्टोरेज लचीलापन:** आउट-ऑफ-कोर पेजिंग, प्रक्रियाओं के बीच साझा फ़ीचर मेमोरी, संपीड़ित प्रारूप, और स्तरित कैशिंग - **फ्री-थ्रेडेड CPython समर्थन:** Rust लॉक के साथ No-GIL बिल्ड **प्रदर्शन बेंचमार्क:** PyG के C++ कर्नेल की तुलना में 1.2-1.5x तेज़ सैंपलिंग, गतिशील ग्राफ़ संचालन 9M इन्सर्ट/सेकंड और 38M रीड्स/सेकंड प्राप्त करते हुए। **इंस्टॉलेशन:** `pip install aethergraph`, वैकल्पिक PyG एकीकरण के साथ। प्लेटफ़ॉर्म-विशिष्ट सुविधाएँ (io_uring, RDMA, GPUDirect, आदि) रनटाइम पर सुचारू रूप से कम हो जाती हैं। **लाइसेंस:** MIT OR Apache-2.0