bacalhau

Bacalhau est un framework développé par la communauté, sous licence Apache-2.0, pour le calcul distribué sur les données (Compute over Data, CoD). Son approche principale consiste à planifier le calcul à proximité de l'endroit où les données résident, plutôt que de copier de grands ensembles de données vers un cluster de calcul central. Le projet présente cela comme un moyen de réduire les transferts réseau, la latence et les coûts d'entrée/sortie, tout en prenant en charge la souveraineté des données et les scénarios de traitement inter-organisationnels. Le logiciel est distribué sous la forme d'un binaire unique pouvant fonctionner comme client, orchestrateur ou nœud de calcul. L'orchestrateur est responsable de la planification et de la coordination des tâches, tandis que les nœuds de calcul exécutent les tâches. Son architecture modulaire prend en charge plusieurs moteurs d'exécution, notamment Docker et WebAssembly, ainsi que des intégrations de stockage et de publication enfichables. Les entrées de stockage documentées incluent S3, HTTP/HTTPS, IPFS et le stockage local. Les résultats peuvent être publiés vers des volumes locaux, S3 ou d'autres backends de stockage pris en charge. Bacalhau prend en charge plusieurs types de tâches — batch, ops, daemon et service — et permet de soumettre des tâches de manière impérative via la CLI ou déclarative avec YAML. Le README répertorie des cas d'utilisation tels que le traitement distribué de journaux, l'entreposage régional de données, la gestion de flottes, l'apprentissage automatique distribué et l'informatique de périphérie. Un script d'installation en ligne de commande pour Linux/macOS est fourni, ainsi que des liens vers la documentation pour l'installation, la soumission des premières tâches et la publication des résultats. Le projet propose également des canaux communautaires et un guide de contribution.