Prefect
Python-native Workflow-Orchestrierungsplattform zum Erstellen, Planen und Überwachen von Datenpipelines mit gewöhnlichem Python-Code.
Überblick
Prefect lässt Entwickler Workflows als gewöhnliche, mit Task und Flow dekorierte Python-Funktionen definieren, statt eine separate DSL oder ein YAML-Format zu lernen. Es übernimmt automatisch Scheduling, Wiederholungsversuche, Caching und Fehlerbehandlung, und seine UI bietet Einblick in jeden Lauf ohne zusätzlichen Instrumentierungscode.
Prefect eignet sich für Daten- und Plattformteams, die ETL-, ML- oder Datenpipeline-Workflows in Python bauen und eine nah am gewöhnlichen Code bleibende Orchestrierung wollen – eine andere Nische als Temporal oder Argo Workflows (ebenfalls in diesem Katalog), die auf allgemeine verteilte Anwendungs-Workflows statt datenpipeline-spezifisches Scheduling zielen.
- Kategorien
- Automatisierung
- Schlagwörter
- workflow-orchestrationdata-pipelinepythondagetl
- Sprachen
- Python
- Lizenz
- Apache-2.0
Ähnliche Projekte
Kestra
Apache-2.0Deklarative, YAML-basierte Orchestrierungsplattform zum Planen und Orchestrieren von Datenpipelines, ETL-Jobs und Geschäftsworkflows.
- Automatisierung
Argo Workflows
Apache-2.0Kubernetes-natives Workflow-Engine, die jeden Schritt einer Pipeline als Container ausführt und parallele Jobs sowie mehrstufige DAGs direkt auf einem Cluster orchestriert.
- Automatisierung
Temporal
MITPlattform für dauerhafte Ausführung, mit der Entwickler zuverlässige, lang laufende Workflows als gewöhnlichen Code schreiben – Wiederholungsversuche, Zustand und Fehlerbehebung werden automatisch gehandhabt.
- Automatisierung
SeaTunnel
Apache-2.0Verteilte Datenintegrationsplattform zum Verschieben und Transformieren von Daten zwischen Datenbanken, Data Lakes und Messaging-Systemen im großen Maßstab.
- Backend
Einen Fehler entdeckt? Änderung auf GitHub vorschlagen.