bacalhau

Bacalhauは、コミュニティ開発のApache-2.0ライセンスのフレームワークで、データ上の分散コンピュート（Compute over Data、CoD）を実現します。その主なアプローチは、大規模なデータセットを中央のコンピュートクラスターにコピーするのではなく、データが存在する場所の近くで計算をスケジュールすることです。このプロジェクトは、これをネットワーク転送、レイテンシー、イングレス/エグレスコストを削減し、データ主権と組織間の処理シナリオをサポートする方法として提示しています。 このソフトウェアは、クライアント、オーケストレーター、またはコンピュートノードとして動作可能な単一のバイナリとして配布されています。オーケストレーターはジョブのスケジューリングと調整を担当し、コンピュートノードはタスクを実行します。そのモジュラーアーキテクチャは、特にDockerとWebAssemblyの複数の実行エンジンと、プラグ可能なストレージおよびパブリッシャー統合をサポートしています。 文書化されたストレージ入力には、S3、HTTP/HTTPS、IPFS、およびローカルストレージが含まれます。結果は、ローカルボリューム、S3、またはその他のサポートされているストレージバックエンドに公開できます。Bacalhauは、バッチ、オペレーション、デーモン、サービスのいくつかのジョブタイプをサポートし、CLIを介して命令的に、またはYAMLで宣言的にジョブを提出できます。 READMEには、分散ログ処理、リージョナルデータウェアハウジング、フリート管理、分散機械学習、エッジコンピューティングなどのユースケースがリストされています。Linux/macOS CLIインストールスクリプトが提供され、インストール、最初のジョブの提出、結果の公開に関するドキュメントへのリンクも含まれています。このプロジェクトは、コミュニティチャンネルとコントリビューションガイドも提供しています。