इस प्रोजेक्ट के बारे में

PeerDB एक ETL/ELT उपकरण है जो PostgreSQL में और बाहर डेटा स्थानांतरित करने पर केंद्रित है। यह कई स्ट्रीमिंग मोड का समर्थन करता है: लॉग-आधारित CDC (अनुशंसित और सक्रिय रूप से अनुरक्षित), टाइमस्टैम्प या पूर्णांकों का उपयोग करके कर्सर-आधारित प्रतिकृति, और XMIN-आधारित प्रतिकृति। क्वेरी प्रतिकृति (QRep) और XMIN मिरर प्रकारों को बहिष्कृत चिह्नित किया गया है लेकिन वे कार्यात्मक बने हुए हैं। सक्रिय रूप से अनुरक्षित स्रोतों में Postgres, MySQL, MongoDB, CockroachDB और BigQuery शामिल हैं। सक्रिय रूप से अनुरक्षित गंतव्य ClickHouse, ClickHouse Cloud और Postgres हैं। कई गंतव्य कनेक्टर (S3, Snowflake, BigQuery, ElasticSearch, Kafka, Redpanda, Confluent, Azure Event Hubs, Google Pub/Sub) बहिष्कृत हैं लेकिन फिर भी कार्यात्मक हैं; BigQuery एक स्रोत के रूप में समर्थित बना हुआ है। एक विशिष्ट विशेषता ETL के लिए Postgres-संगत SQL इंटरफ़ेस है, ताकि उपयोगकर्ता परिचित क्लाइंट उपकरणों (psql, pgAdmin), BI उपकरणों, माइग्रेशन/संस्करणीकरण उपकरणों, और Airflow जैसे मौजूदा शेड्यूलरों के साथ प्रतिकृति का प्रबंधन कर सकें। परियोजना Postgres-नेटिव अनुकूलन पर जोर देती है: समानांतर प्रारंभिक लोड, TOAST कॉलमों का प्रबंधन, jsonb, सरणियों और भू-स्थानिक प्रकारों सहित समृद्ध डेटा-प्रकार मैपिंग, और स्कीमा परिवर्तनों के लिए समर्थन। यह दोष-सहिष्णुता तंत्रों का भी वर्णन करती है जैसे स्थिति प्रबंधन, स्वचालित पुनःप्रयास और आइडेम्पोटेंसी प्रबंधन, साथ ही आउट-ऑफ-मेमोरी विफलताओं से बचने के लिए विन्यास योग्य बैचिंग और समानांतरता। आरंभ करना एक शेल स्क्रिप्ट के माध्यम से होता है जो Postgres को कैटलॉग के रूप में, Temporal, PeerDB सर्वर, फ्लो API और वर्कर्स, तथा PeerDB UI के लिए Docker कंटेनर लाती है। एक स्थानीय विकास पथ स्थानीय रूप से इमेज बनाता है और प्रोटोबफ जनरेशन के लिए buf कंपाइलर की आवश्यकता होती है। README नोट करता है कि जब ClickHouse Docker के बाहर चलता है, तो MinIO स्टेजिंग एक्सेस को AWS_ENDPOINT_URL_S3 और नेटवर्क/सुरक्षा-समूह नियमों के माध्यम से विन्यस्त किया जाना चाहिए। एंड-टू-एंड परीक्षण स्थानीय रूप से Tilt-ऑर्केस्ट्रेटेड Docker Compose के माध्यम से समर्थित है, जिसमें Postgres, MySQL (GTID और फ़ाइल-स्थिति वेरिएंट), MariaDB और MongoDB से ClickHouse तक के परीक्षण लॉन्चर शामिल हैं। डेटा स्टोर संसाधनों को संरक्षित करने के लिए मैन्युअल आरंभीकरण का उपयोग करते हैं, और नामित वॉल्यूम Tilt UI में सफाई विकल्प के साथ स्थायित्व प्रदान करते हैं। PeerDB को ClickHouse Cloud में मूल रूप से भी पेश किया जाता है। परियोजना AGPLv3 के अंतर्गत लाइसेंस प्राप्त है (README बैज Elv2 का संदर्भ देता है, जबकि लाइसेंस अनुभाग AGPLv3 बताता है)।