منصوبے کے بارے میں

AetherGraph ایک اعلیٰ کارکردگی والی گراف سیمپلنگ اور فیچر سروسنگ لائبریری ہے جو اربوں پیمانے کے بدلتے ہوئے گرافوں پر GNN تربیت کے لیے ڈیزائن کی گئی ہے۔ یہ Rust کور کو Python بائنڈنگز کے ساتھ جوڑتی ہے، جس سے GPU میموری کی حدود سے بڑے گرافوں کی مؤثر طریقے سے ہینڈلنگ ممکن ہوتی ہے۔ **اہم خصوصیات:** - **تین گراف موڈز:** جامد CSR گراف (NVMe سے میموری میپڈ)، متحرک C-tree گراف (سنگل رائٹر انجیسٹ، لاک فری ریڈرز)، اور متفاوت گراف (ملٹی ریلیشنل ٹائپڈ سیمپلنگ کے ساتھ) - **اعلیٰ کارکردگی:** io_uring ایسنک NVMe ریڈز، NVMe پاس تھرو، کمپریسڈ گراف فائلیں (Elias-Fano + StreamVByte)، ہاف پریسیژن فیچرز (f16/bf16)، اور کیش لوکلٹی کے لیے Rabbit Order ورٹیکس ری آرڈرنگ - **ریئل ٹائم فیچرز:** GPUDirect RDMA سروسنگ (<5us) لائیو فیچر اپ ڈیٹس کے لیے، CPU کو بائی پاس کرتے ہوئے - **PyTorch Geometric انٹیگریشن:** NeighborLoader کے لیے ڈراپ اِن متبادل معیاری Data/HeteroData آؤٹ پٹس کے ساتھ - **ڈسٹری بیوٹڈ ٹریننگ:** Ray Data انٹیگریشن ریپلیکیٹڈ ٹوپولوجی کے ساتھ (گراف ہر ورکر کے لیے لوکل) - **اسٹوریج لچک:** آؤٹ آف کور پیجنگ، پروسیسز کے درمیان مشترکہ فیچر میموری، کمپریسڈ فارمیٹس، اور ٹائرڈ کیشنگ - **فری تھریڈڈ CPython سپورٹ:** Rust لاکس کے ساتھ No-GIL بلڈز **کارکردگی بینچ مارکس:** PyG کے C++ کرنل سے 1.2-1.5x تیز سیمپلنگ، متحرک گراف آپریشنز 9M انسرٹس/سیکنڈ اور 38M ریڈز/سیکنڈ حاصل کرتے ہوئے۔ **انسٹالیشن:** `pip install aethergraph` اختیاری PyG انٹیگریشن کے ساتھ۔ پلیٹ فارم مخصوص خصوصیات (io_uring، RDMA، GPUDirect، وغیرہ) رن ٹائم پر بخوبی کم ہو جاتی ہیں۔ **لائسنس:** MIT OR Apache-2.0