Flink
지속적이고 무한한 데이터 스트림에 대해 정확히 한 번(exactly-once) 처리를 보장하며 연산하는 분산 스트림 처리 엔진입니다.
개요
Apache Flink는 고정된 배치가 아니라 지속적인 스트림으로 데이터를 처리하며, 이벤트가 도착하는 즉시 낮은 지연 시간과 장애 후에도 유지되는 정확히 한 번의 처리 보장 아래 집계, 조인, 패턴 감지를 수행합니다. 배치 처리도 스트리밍의 특수한 경우로 지원합니다.
Flink는 예약된 배치가 아니라 데이터가 도착하는 즉시 처리해야 하는 실시간 데이터 파이프라인, 사기 탐지, 이벤트 기반 분석을 구축하는 팀에 적합하며, (카탈로그에 있는) Apache Kafka와 이벤트 소스로 흔히 짝을 이룹니다.
- 카테고리
- 분석
- 언어
- Java
- 라이선스
- Apache-2.0
광고
관련 프로젝트
Beam
Apache-2.0여러 실행 엔진에 걸쳐 이식 가능하게 실행할 수 있는 배치·스트림 데이터 처리 파이프라인을 정의하기 위한 통합 프로그래밍 모델입니다.
- 분석
ClickHouse
Apache-2.0대규모 데이터셋에 대한 실시간 분석 쿼리를 위해 만들어진 컬럼형 데이터베이스로, 집계 리포트를 초 단위나 분 단위가 아니라 밀리초 단위로 생성합니다.
- 분석
Druid
Apache-2.0지속적으로 유입되는 스트리밍 데이터와 과거 이벤트 데이터에 대해 대규모로 1초 미만의 쿼리를 수행하도록 만들어진 실시간 분석 데이터베이스입니다.
- 분석
Spark
Apache-2.0대규모 배치·스트림 데이터 처리를 위한 통합 분석 엔진으로, 가장 널리 채택된 빅데이터 프레임워크 중 하나입니다.
- 분석
잘못된 정보를 발견하셨나요? GitHub에서 수정 제안하기