منصوبے کے بارے میں

PeerDB ایک ETL/ELT ٹول ہے جو PostgreSQL میں اور باہر ڈیٹا کی منتقلی پر مرکوز ہے۔ یہ کئی اسٹریمنگ موڈز کی حمایت کرتا ہے: لاگ پر مبنی CDC (تجویز کردہ اور فعال طور پر برقرار رکھا گیا)، ٹائم اسٹیمپ یا انٹیجرز کا استعمال کرتے ہوئے کرسر پر مبنی ریپلیکیشن، اور XMIN پر مبنی ریپلیکیشن۔ Query Replication (QRep) اور XMIN مرر اقسام کو فرسودہ قرار دیا گیا ہے لیکن یہ فعال رہتی ہیں۔ فعال طور پر برقرار رکھے گئے ذرائع میں Postgres، MySQL، MongoDB، CockroachDB اور BigQuery شامل ہیں۔ فعال طور پر برقرار رکھے گئے اہداف ClickHouse، ClickHouse Cloud اور Postgres ہیں۔ کئی ڈیسٹینیشن کنیکٹرز (S3، Snowflake، BigQuery، ElasticSearch، Kafka، Redpanda، Confluent، Azure Event Hubs، Google Pub/Sub) فرسودہ ہیں لیکن پھر بھی فعال ہیں؛ BigQuery بطور ذریعہ معاون رہتا ہے۔ ایک امتیازی خصوصیت ETL کے لیے Postgres-کمپیٹیبل SQL انٹرفیس ہے، تاکہ صارفین مانوس کلائنٹ ٹولز (psql، pgAdmin)، BI ٹولز، مائیگریشن/ورژننگ ٹولز، اور موجودہ شیڈولرز جیسے Airflow کے ساتھ ریپلیکیشن کا انتظام کر سکیں۔ یہ پروجیکٹ Postgres-native آپٹیمائزیشنز پر زور دیتا ہے: متوازی ابتدائی لوڈز، TOAST کالمز کی ہینڈلنگ، jsonb، arrays اور geospatial اقسام سمیت بھرپور ڈیٹا ٹائپ میپنگ، اور اسکیما تبدیلیوں کی حمایت۔ یہ فالٹ ٹولرنس میکانزم بھی بیان کرتا ہے جیسے اسٹیٹ مینجمنٹ، خودکار دوبارہ کوششیں اور idempotency ہینڈلنگ، نیز آؤٹ آف میموری ناکامیوں سے بچنے کے لیے قابل ترتیب بیچنگ اور متوازیت۔ شروعات ایک شیل اسکرپٹ کے ذریعے ہوتی ہے جو Postgres بطور کیٹلاگ، Temporal، PeerDB سرور، flow API اور workers، اور PeerDB UI کے لیے Docker کنٹینرز شروع کرتا ہے۔ ایک مقامی ڈیولپمنٹ راستہ مقامی طور پر امیجز بناتا ہے اور protobuf جنریشن کے لیے buf کمپائلر درکار ہے۔ README نوٹ کرتا ہے کہ جب ClickHouse Docker سے باہر چلتا ہے، تو MinIO اسٹیجنگ رسائی AWS_ENDPOINT_URL_S3 اور نیٹ ورک/سیکیورٹی گروپ قواعد کے ذریعے ترتیب دینی ہوگی۔ اینڈ ٹو اینڈ ٹیسٹنگ مقامی طور پر Tilt کے ذریعے ترتیب دیے گئے Docker Compose کے ذریعے معاون ہے، جس میں Postgres، MySQL (GTID اور فائل پوزیشن کے متغیرات)، MariaDB اور MongoDB سے ClickHouse تک کے ٹیسٹ لانچرز شامل ہیں۔ ڈیٹا اسٹورز وسائل بچانے کے لیے دستی ابتدا استعمال کرتے ہیں، اور named volumes Tilt UI میں صفائی کے آپشن کے ساتھ پائیداری فراہم کرتے ہیں۔ PeerDB ClickHouse Cloud میں بھی مقامی طور پر پیش کیا جاتا ہے۔ یہ پروجیکٹ AGPLv3 کے تحت لائسنس یافتہ ہے (README بیج Elv2 کا حوالہ دیتا ہے، جبکہ لائسنس سیکشن AGPLv3 بتاتا ہے)۔