smart_openpiskvorky
নতুনsmart_open একটি পাইথন লাইব্রেরি যা S3, GCS, Azure, HDFS, HTTP, SFTP এবং লোকাল স্টোরেজ থেকে বড় ফাইল স্ট্রিমিং করে, কম্প্রেশন সাপোর্টসহ। এটি বিল্ট-ইন open() ফাংশনের বিকল্প হিসেবে কাজ করে।
ওপেন সোর্স। নতুন সম্ভাবনা।
মানসম্মত ওপেন-সোর্স প্রজেক্ট আবিষ্কার করুন, বেনামে প্রজেক্ট জমা দিন এবং নিজের প্রজেক্ট দাবি করে সম্পাদনা করুন।
Topic: streaming-data清除
connectredpanda-data
নতুনRedpanda Connect একটি ডিক্লারেটিভ স্ট্রিম প্রসেসর যা একটি YAML ফাইলের মাধ্যমে অনেক সোর্স ও সিঙ্কের মধ্যে ডেটা স্থানান্তর করে, সাথে CDC কানেক্টর, Bloblang ম্যাপিং, অন্তত-একবার ডেলিভারি এবং অন্তর্নির্মিত মেট্রিক্স ও ট্রেসিং।
fluviofluvio-community
নতুনFluvio হলো Rust-এ লেখা একটি বিতরণকৃত, প্রোগ্রামেবল ইভেন্ট স্ট্রিমিং ইঞ্জিন, যা প্রতিক্রিয়াশীল অ্যাপ্লিকেশনের জন্য চলমান ডেটা সংগ্রহ ও রূপান্তর করতে ডিজাইন করা হয়েছে।
materializeMaterializeInc
নতুনMaterialize একটি রিয়েল-টাইম ডেটা ইন্টিগ্রেশন প্ল্যাটফর্ম, যা স্ট্রিমিং ও ট্রানজ্যাকশনাল ডেটার উপর ক্রমবর্ধমানভাবে আপডেট হওয়া, দৃঢ়ভাবে সামঞ্জস্যপূর্ণ SQL ভিউ বজায় রাখে। এটি PostgreSQL, MySQL, Kafka এবং webhooks থেকে পড়ে এবং PostgreSQL প্রোটোকলের মাধ্যমে ফলাফল পরিবেশন করে।
streaming-pipeline-kafka-sparkKornelius99
ক্যাফকা-সহায়ক ব্রোকার (Redpanda) এবং PySpark Structured Streaming ব্যবহার করে একটি রানলেবল লোকাল রিয়েল-টাইম অ্যানালিটিক্স পাইপলাইন। ক্লিকস্ট্রিম ইভেন্ট সিমুলেট করে, ওয়াটারমার্কিং সহ উইন্ডোয়েড এগ্রিগেশন পরিচালনা করে, সবকিছু docker-compose এর মাধ্যমে।