Prefect

Prefect는 별도의 DSL이나 YAML 형식을 배우는 대신, task와 flow로 데코레이트된 일반 Python 함수로 워크플로를 정의할 수 있게 해줍니다. 스케줄링, 재시도, 캐싱, 실패 처리를 자동으로 처리하며, UI는 추가 계측 코드 없이도 모든 실행을 볼 수 있게 해줍니다.

Prefect는 Python으로 ETL, ML, 데이터 파이프라인 워크플로를 구축하며 일반 코드에 가까운 오케스트레이션을 원하는 데이터·플랫폼 팀에 적합합니다. 카탈로그에 있는 Temporal이나 Argo Workflows와는 다른 영역으로, 그것들은 데이터 파이프라인 전용 스케줄링이 아니라 범용 분산 애플리케이션 워크플로를 대상으로 합니다.