smart_open

smart_open是一个Python 3库，提供统一、Pythonic的API，用于在多种存储系统之间流式传输非常大的文件，包括Amazon S3、Google Cloud Storage、Azure Blob Storage、HDFS、WebHDFS、HTTP/HTTPS、SFTP/SCP/SSH以及本地文件系统。它可作为Python内置open()函数的直接替代品，保持完全兼容性，同时增加对远程URI和gzip、bzip2、LZ4、XZ及Zstandard等格式的即时（解）压缩支持。 该库处理每个后端的认证和传输细节，允许用户通过transport_params传递自定义客户端（例如boto3、google-cloud-storage、azure-storage-blob）以进行高级配置。它支持上下文管理器、seek操作以及标准IOBase操作。默认情况下，压缩格式根据文件扩展名推断，但可以覆盖或禁用。其他实用工具包括通过smart_open.s3.iter_bucket()对S3存储桶内容进行并行迭代。 默认安装最小化；每个存储后端和压缩格式的可选依赖可通过extras安装（例如pip install 'smart_open[s3,gcs,azure,http,webhdfs,ssh,zst,lz4]'）。该项目经过充分测试，采用MIT许可证，并持续维护。