bacalhau

Bacalhau es un marco de trabajo desarrollado por la comunidad, con licencia Apache-2.0, para cómputo distribuido sobre datos (CoD). Su enfoque principal es programar la computación cerca de donde residen los datos, en lugar de copiar grandes conjuntos de datos a un clúster de cómputo central. El proyecto presenta esto como una forma de reducir la transferencia de red, la latencia y los costos de entrada/salida, al tiempo que respalda la soberanía de los datos y los escenarios de procesamiento entre organizaciones. El software se distribuye como un único binario que puede operar como cliente, orquestador o nodo de cómputo. El orquestador es responsable de la programación y coordinación de trabajos, mientras que los nodos de cómputo ejecutan las tareas. Su arquitectura modular admite múltiples motores de ejecución, específicamente Docker y WebAssembly, junto con integraciones de almacenamiento y publicación conectables. Las entradas de almacenamiento documentadas incluyen S3, HTTP/HTTPS, IPFS y almacenamiento local. Los resultados se pueden publicar en volúmenes locales, S3 u otros backends de almacenamiento compatibles. Bacalhau admite varios tipos de trabajos: por lotes, operaciones, daemon y servicio, y permite enviar trabajos de forma imperativa a través de la CLI o declarativa con YAML. El README enumera casos de uso como procesamiento distribuido de registros, almacenamiento de datos regional, gestión de flotas, aprendizaje automático distribuido y computación en el borde. Se proporciona un script de instalación de CLI para Linux/macOS, junto con enlaces a documentación sobre instalación, envío de primeros trabajos y publicación de resultados. El proyecto también ofrece canales comunitarios y una guía de contribución.