Prefect
通常の Python コードでデータパイプラインを構築・スケジュール・監視できる、Python ネイティブのワークフローオーケストレーションプラットフォームです。
概要
Prefect は、別の DSL や YAML 形式を学ぶ代わりに、タスクとフローとしてデコレートされた通常の Python 関数としてワークフローを定義できるようにします。スケジューリング、リトライ、キャッシュ、失敗処理を自動的に扱い、その UI は追加の計装コードなしにすべての実行を可視化します。
Prefect は、Python で ETL・機械学習・データパイプラインのワークフローを構築し、通常のコードに近いオーケストレーションを求めるデータ・プラットフォームチームに向いています。カタログ内の Temporal や Argo Workflows とは異なるニッチで、それらはデータパイプライン特化のスケジューリングではなく、汎用的な分散アプリケーションワークフローを対象としています。
- カテゴリ
- オートメーション
- 言語
- Python
- ライセンス
- Apache-2.0
関連プロジェクト
Kestra
Apache-2.0データパイプライン、ETL ジョブ、業務ワークフローのスケジューリングとオーケストレーションのための、YAML ベースの宣言的オーケストレーションプラットフォームです。
- オートメーション
Argo Workflows
Apache-2.0パイプラインの各ステップをコンテナとして実行する Kubernetes ネイティブなワークフローエンジンで、並列ジョブや複数ステップの DAG をクラスタ上で直接オーケストレーションします。
- オートメーション
Temporal
MIT開発者が通常のコードとして信頼性の高い長時間実行ワークフローを書けるようにする持続的実行プラットフォームで、リトライ・状態管理・障害復旧は自動的に処理されます。
- オートメーション
SeaTunnel
Apache-2.0データベース、データレイク、メッセージングシステム間で大規模にデータを移動・変換するための、分散型データ統合プラットフォームです。
- バックエンド
誤りを見つけましたか? GitHub で修正を提案する