Argo Workflows

Argo Workflows ist eine quelloffene, von der CNCF graduierte Workflow-Engine zur Orchestrierung von Jobs auf Kubernetes, die vollständig als Kubernetes-Custom-Resource-Definitions implementiert ist, statt als separates System, das auf einen Cluster aufgesetzt wird. Ein Workflow wird als Abfolge von Schritten oder als gerichteter azyklischer Graph (DAG) von Tasks definiert, wobei jeder Schritt in seinem eigenen Container läuft – sodass alles, was in einem Container laufen kann, von einem Trainingsjob bis zu einer Datentransformation, ohne zusätzlichen Klebecode zu einem Workflow-Schritt wird.

Es wird häufig für Machine-Learning-Pipelines, Batch- und Datenverarbeitung, Infrastrukturautomatisierung und CI/CD eingesetzt und nutzt dabei Kubernetes' eigene Scheduling- und Skalierungsfähigkeiten, um viele parallele Schritte über einen Cluster statt nur einen einzelnen Worker laufen zu lassen.

Argo Workflows eignet sich für Teams, die bereits Kubernetes betreiben und containerbasierte Pipelines mit dem bereits genutzten Cluster orchestrieren möchten – eine andere Nische als Temporal (ebenfalls in diesem Katalog), dessen Workflows allgemeine Funktionen in einem Sprach-SDK statt Kubernetes-nativer Container-Schritte sind.