bacalhau

Bacalhau是一个由社区开发、采用Apache-2.0许可证的分布式数据计算（CoD）框架。其主要方法是将计算调度到数据所在位置附近，而不是将大型数据集复制到中央计算集群。该项目将其描述为一种减少网络传输、延迟以及入站/出站成本的方式，同时支持数据主权和跨组织处理场景。 该软件以单一二进制文件形式分发，可充当客户端、编排器或计算节点。编排器负责作业调度和协调，而计算节点执行任务。其模块化架构支持多种执行引擎，特别是Docker和WebAssembly，以及可插拔的存储和发布器集成。 文档中记录的存储输入包括S3、HTTP/HTTPS、IPFS和本地存储。结果可以发布到本地卷、S3或其他支持的存储后端。Bacalhau支持多种作业类型——批处理、运维、守护进程和服务——并允许通过CLI命令式或YAML声明式提交作业。 README列出了用例，例如分布式日志处理、区域数据仓库、车队管理、分布式机器学习和边缘计算。提供了Linux/macOS CLI安装脚本，以及指向安装、提交首个作业和发布结果文档的链接。该项目还提供了社区渠道和贡献指南。