প্রকল্প সম্পর্কে

smart_open একটি পাইথন ৩ লাইব্রেরি যা বিভিন্ন স্টোরেজ সিস্টেম থেকে খুব বড় ফাইল স্ট্রিমিং করার জন্য একটি ইউনিফাইড, পাইথনিক API প্রদান করে। এর মধ্যে রয়েছে Amazon S3, Google Cloud Storage, Azure Blob Storage, HDFS, WebHDFS, HTTP/HTTPS, SFTP/SCP/SSH এবং লোকাল ফাইলসিস্টেম। এটি পাইথনের বিল্ট-ইন open() ফাংশনের ড্রপ-ইন বিকল্প হিসেবে কাজ করে, সম্পূর্ণ সামঞ্জস্য বজায় রেখে রিমোট URI এবং gzip, bzip2, LZ4, XZ এবং Zstandard ফরম্যাটের জন্য অন-দ্য-ফ্লাই (ডি)কম্প্রেশন সাপোর্ট যোগ করে। লাইব্রেরিটি প্রতিটি ব্যাকএন্ডের জন্য অথেনটিকেশন এবং ট্রান্সপোর্টের বিবরণ পরিচালনা করে, ব্যবহারকারীদের transport_params এর মাধ্যমে কাস্টম ক্লায়েন্ট (যেমন boto3, google-cloud-storage, azure-storage-blob) পাস করার অনুমতি দেয় উন্নত কনফিগারেশনের জন্য। এটি কনটেক্সট ম্যানেজার, সিকিং এবং স্ট্যান্ডার্ড IOBase অপারেশন সাপোর্ট করে। কম্প্রেশন ডিফল্টভাবে ফাইল এক্সটেনশন থেকে অনুমান করা হয়, তবে এটি ওভাররাইড বা নিষ্ক্রিয় করা যেতে পারে। অতিরিক্ত ইউটিলিটিগুলির মধ্যে smart_open.s3.iter_bucket() এর মাধ্যমে S3 বাকেট বিষয়বস্তুর উপর সমান্তরাল ইটারেশন অন্তর্ভুক্ত। ইনস্টলেশন ডিফল্টভাবে ন্যূনতম; প্রতিটি স্টোরেজ ব্যাকএন্ড এবং কম্প্রেশন ফরম্যাটের জন্য ঐচ্ছিক নির্ভরতা এক্সট্রা মাধ্যমে ইনস্টল করা যেতে পারে (যেমন pip install 'smart_open[s3,gcs,azure,http,webhdfs,ssh,zst,lz4]')। প্রকল্পটি ভালোভাবে পরীক্ষিত, MIT-লাইসেন্সড এবং সক্রিয়ভাবে রক্ষণাবেক্ষণ করা হয়।