Spark
大規模なバッチ・ストリームデータ処理のための統合分析エンジンで、最も広く採用されているビッグデータフレームワークの1つです。
概要
Apache Spark は、分散したマシンのクラスタ全体で非常に大規模なデータセットを処理し、Python、Scala、Java など複数の言語で、バッチ処理、ストリーミング、SQL クエリ、機械学習ワークロードを1つの統合されたエンジンと API を通じてサポートします。10年以上にわたり、標準的なビッグデータ処理フレームワークであり続けています。
Spark は、分散クラスタ全体で大規模なデータ変換、ETL、機械学習パイプラインを実行するチームに向いています。カタログにあるより専門特化した Flink(リアルタイムストリーミング) や Trino(連合 SQL) よりも、より幅広く汎用的なエンジンです。
- カテゴリ
- アナリティクス
- 言語
- Scala, Python, Java
- ライセンス
- Apache-2.0
広告
関連プロジェクト
Beam
Apache-2.0複数の実行エンジンにまたがってポータブルに実行できる、バッチ・ストリームデータ処理パイプラインを定義するための統一プログラミングモデルです。
- アナリティクス
Flink
Apache-2.0継続的で無限のデータストリームに対して、Exactly-once の正確性保証のもとで計算を行う、分散型ストリーム処理エンジンです。
- アナリティクス
ClickHouse
Apache-2.0大量のデータセットに対するリアルタイムな分析クエリのために構築された列指向データベースで、集計レポートを秒単位や分単位ではなくミリ秒単位で生成します。
- アナリティクス
Druid
Apache-2.0継続的にストリーミングされる、および過去のイベントデータに対して、サブ秒単位のクエリを大規模に実行するために構築された、リアルタイム分析データベースです。
- アナリティクス
誤りを見つけましたか? GitHub で修正を提案する