Flink
継続的で無限のデータストリームに対して、Exactly-once の正確性保証のもとで計算を行う、分散型ストリーム処理エンジンです。
- 活発にメンテナンスされている
- 財団の支援あり
- 寛容なライセンス
概要
Apache Flink は、固定バッチではなく継続的なストリームとしてデータを処理し、イベントが到着した時点で低レイテンシかつ Exactly-once の処理保証(障害後も含む)のもとで集計、結合、パターン検出を計算します。バッチ処理もストリーミングの特殊なケースとしてサポートしています。
Flink は、スケジュールされたバッチではなく、データが到着した時点で処理する必要があるリアルタイムデータパイプライン、不正検知、イベント駆動の分析を構築するチームに向いています。(カタログにもある) Apache Kafka とイベントソースとして組み合わせて使われることが一般的です。
このカタログに掲載されている理由
カタログ評価: ★★★★☆ (4/5)
Leading stream-processing engine, a strong representative pick for real-time analytics.
- 基盤プロジェクト
- 財団によるガバナンス
- カテゴリ
- アナリティクス
- 言語
- Java
- ライセンス
- Apache-2.0
関連プロジェクト
Spark
Apache-2.0大規模なバッチ・ストリームデータ処理のための統合分析エンジンで、最も広く採用されているビッグデータフレームワークの1つです。
活発にメンテナンスされている
- アナリティクス
ClickHouse
Apache-2.0大量のデータセットに対するリアルタイムな分析クエリのために構築された列指向データベースで、集計レポートを秒単位や分単位ではなくミリ秒単位で生成します。
活発にメンテナンスされている
- アナリティクス
Beam
Apache-2.0複数の実行エンジンにまたがってポータブルに実行できる、バッチ・ストリームデータ処理パイプラインを定義するための統一プログラミングモデルです。
活発にメンテナンスされている
- アナリティクス
Druid
Apache-2.0継続的にストリーミングされる、および過去のイベントデータに対して、サブ秒単位のクエリを大規模に実行するために構築された、リアルタイム分析データベースです。
活発にメンテナンスされている
- アナリティクス
誤りを見つけましたか? GitHub で修正を提案する