Prefect
Plataforma de orquestación de workflows nativa de Python para construir, programar y monitorizar pipelines de datos con código Python normal.
Descripción general
Prefect permite a los desarrolladores definir workflows como funciones Python normales decoradas como tasks y flows, en lugar de aprender un DSL o formato YAML aparte. Gestiona automáticamente la programación, los reintentos, la caché y el manejo de fallos, y su UI ofrece visibilidad de cada ejecución sin código de instrumentación adicional.
Prefect encaja en equipos de datos y plataforma que construyen workflows de ETL, ML o pipelines de datos en Python y quieren una orquestación cercana al código normal, un nicho distinto al de Temporal o Argo Workflows (también en este catálogo), orientados a workflows de aplicaciones distribuidas de propósito general en lugar de programación específica de pipelines de datos.
- Categorías
- Automatización
- Palabras clave
- workflow-orchestrationdata-pipelinepythondagetl
- Lenguajes
- Python
- Licencia
- Apache-2.0
Proyectos relacionados
Kestra
Apache-2.0Plataforma de orquestación declarativa basada en YAML para programar y orquestar pipelines de datos, trabajos ETL y workflows de negocio.
- Automatización
Argo Workflows
Apache-2.0Motor de workflows nativo de Kubernetes que ejecuta cada paso de un pipeline como un contenedor, orquestando trabajos en paralelo y DAGs de varios pasos directamente en un clúster.
- Automatización
Temporal
MITPlataforma de ejecución duradera que permite a los desarrolladores escribir workflows fiables y de larga duración como código normal, gestionando automáticamente reintentos, estado y recuperación de fallos.
- Automatización
SeaTunnel
Apache-2.0Plataforma de integración de datos distribuida para mover y transformar datos entre bases de datos, data lakes y sistemas de mensajería a gran escala.
- Backend
¿Encontraste un error? Sugiere una edición en GitHub.