Flink

継続的で無限のデータストリームに対して、Exactly-once の正確性保証のもとで計算を行う、分散型ストリーム処理エンジンです。

概要

Apache Flink は、固定バッチではなく継続的なストリームとしてデータを処理し、イベントが到着した時点で低レイテンシかつ Exactly-once の処理保証(障害後も含む)のもとで集計、結合、パターン検出を計算します。バッチ処理もストリーミングの特殊なケースとしてサポートしています。

Flink は、スケジュールされたバッチではなく、データが到着した時点で処理する必要があるリアルタイムデータパイプライン、不正検知、イベント駆動の分析を構築するチームに向いています。(カタログにもある) Apache Kafka とイベントソースとして組み合わせて使われることが一般的です。

誤りを見つけましたか? GitHub で修正を提案する