このプロジェクトについて

smart_openは、Amazon S3、Google Cloud Storage、Azure Blob Storage、HDFS、WebHDFS、HTTP/HTTPS、SFTP/SCP/SSH、ローカルファイルシステムなど、多様なストレージシステムとの間で非常に大きなファイルをストリーミングするための統一されたPythonicなAPIを提供するPython 3ライブラリです。Pythonの組み込みopen()関数のドロップイン代替として動作し、完全な互換性を維持しつつ、リモートURIサポートと、gzip、bzip2、LZ4、XZ、Zstandard形式のオンザフライ（解凍）圧縮を追加します。 このライブラリは各バックエンドの認証と転送の詳細を処理し、ユーザーはtransport_paramsを介してカスタムクライアント（例：boto3、google-cloud-storage、azure-storage-blob）を渡して高度な設定が可能です。コンテキストマネージャ、シーク、標準のIOBase操作をサポートしています。圧縮はデフォルトでファイル拡張子から推測されますが、上書きまたは無効化も可能です。追加ユーティリティには、smart_open.s3.iter_bucket()を使用したS3バケット内容の並列反復処理が含まれます。 デフォルトでのインストールは最小限です。各ストレージバックエンドと圧縮形式のオプション依存関係は、extrasを介してインストールできます（例：pip install 'smart_open[s3,gcs,azure,http,webhdfs,ssh,zst,lz4]'）。このプロジェクトは十分にテストされ、MITライセンスで、積極的にメンテナンスされています。