Argo Workflows

Argo Workflows は、Kubernetes 上でジョブをオーケストレーションするための、オープンソースかつ CNCF を卒業したワークフローエンジンで、クラスタの上に付け足す別システムとしてではなく、完全に Kubernetes のカスタムリソース定義(CRD)として実装されています。ワークフローは一連のステップ、あるいはタスクの有向非巡回グラフ(DAG)として定義され、各ステップはそれぞれ独自のコンテナとして実行されます。そのため、学習ジョブからデータ変換まで、コンテナで実行できるものであれば何でも、余計な接着コードなしにワークフローのステップになります。

機械学習パイプライン、バッチ・データ処理、インフラ自動化、CI/CD でよく使われており、Kubernetes 自身のスケジューリングとスケーリングを活用して、単一のワーカーではなくクラスタ全体で多数のステップを並列実行できます。

Argo Workflows は、すでに Kubernetes を運用していて、既存のクラスタを使ってコンテナベースのパイプラインをオーケストレーションしたいチームに向いています。カタログ内の Temporal とは異なるニッチで、Temporal のワークフローは Kubernetes ネイティブなコンテナステップではなく、言語 SDK 内の汎用的な関数です。