Beam

Apache Beam은 통합된 배치/스트림 API를 사용해 데이터 파이프라인을 한 번만 작성하면, (카탈로그에 있는) Flink와 Spark를 포함한 서로 다른 기반 실행 엔진에서 엔진마다 다시 작성하지 않고도 동일한 파이프라인을 실행할 수 있게 해줍니다. 이를 통해 파이프라인 로직이 특정 처리 엔진에 종속되는 것을 피할 수 있습니다.

Beam은 실행 엔진 간 파이프라인 이식성을 원하는 팀이나, (Beam을 프로그래밍 모델로 사용하는) Google Cloud Dataflow 위에 구축하는 팀에 적합합니다. Flink나 Spark 자체와는 다른 계층으로, 그것들은 Beam 파이프라인이 실제로 실행되는 엔진입니다.