bacalhau

Bacalhau é um framework desenvolvido pela comunidade, licenciado sob Apache-2.0, para Computação Distribuída sobre Dados (CoD). Sua principal abordagem é agendar a computação perto de onde os dados residem, em vez de copiar grandes conjuntos de dados para um cluster de computação central. O projeto apresenta isso como uma forma de reduzir transferências de rede, latência e custos de entrada/saída, ao mesmo tempo que suporta soberania de dados e cenários de processamento entre organizações. O software é distribuído como um único binário que pode operar como cliente, orquestrador ou nó de computação. O orquestrador é responsável pelo agendamento e coordenação de jobs, enquanto os nós de computação executam as tarefas. Sua arquitetura modular suporta múltiplos mecanismos de execução, especificamente Docker e WebAssembly, juntamente com integrações de armazenamento e publicação plugáveis. As entradas de armazenamento documentadas incluem S3, HTTP/HTTPS, IPFS e armazenamento local. Os resultados podem ser publicados em volumes locais, S3 ou outros backends de armazenamento suportados. O Bacalhau suporta vários tipos de jobs — batch, ops, daemon e service — e permite que os jobs sejam submetidos imperativamente através da CLI ou declarativamente com YAML. O README lista casos de uso como processamento distribuído de logs, armazenamento regional de dados, gerenciamento de frotas, aprendizado de máquina distribuído e computação de borda. Um script de instalação para CLI Linux/macOS é fornecido, juntamente com links para documentação sobre instalação, submissão dos primeiros jobs e publicação de resultados. O projeto também oferece canais da comunidade e um guia de contribuição.