Spark
大規模なバッチ・ストリームデータ処理のための統合分析エンジンで、最も広く採用されているビッグデータフレームワークの1つです。
- 活発にメンテナンスされている
- 財団の支援あり
- 寛容なライセンス
概要
Apache Spark は、分散したマシンのクラスタ全体で非常に大規模なデータセットを処理し、Python、Scala、Java など複数の言語で、バッチ処理、ストリーミング、SQL クエリ、機械学習ワークロードを1つの統合されたエンジンと API を通じてサポートします。10年以上にわたり、標準的なビッグデータ処理フレームワークであり続けています。
Spark は、分散クラスタ全体で大規模なデータ変換、ETL、機械学習パイプラインを実行するチームに向いています。カタログにあるより専門特化した Flink(リアルタイムストリーミング) や Trino(連合 SQL) よりも、より幅広く汎用的なエンジンです。
このカタログに掲載されている理由
カタログ評価: ★★★★★ (5/5)
Foundational big-data processing engine, essential representative project for analytics.
- 基盤プロジェクト
- 財団によるガバナンス
- カテゴリ
- アナリティクス
- 言語
- Scala, Python, Java
- ライセンス
- Apache-2.0
関連プロジェクト
Beam
Apache-2.0複数の実行エンジンにまたがってポータブルに実行できる、バッチ・ストリームデータ処理パイプラインを定義するための統一プログラミングモデルです。
活発にメンテナンスされている
- アナリティクス
Flink
Apache-2.0継続的で無限のデータストリームに対して、Exactly-once の正確性保証のもとで計算を行う、分散型ストリーム処理エンジンです。
活発にメンテナンスされている
- アナリティクス
Trino
Apache-2.0PostgreSQL、データレイク、その他多くのデータソースにまたがる連合クエリを一箇所から実行できる、分散型 SQL クエリエンジンです。
活発にメンテナンスされている
- アナリティクス
ClickHouse
Apache-2.0大量のデータセットに対するリアルタイムな分析クエリのために構築された列指向データベースで、集計レポートを秒単位や分単位ではなくミリ秒単位で生成します。
活発にメンテナンスされている
- アナリティクス
誤りを見つけましたか? GitHub で修正を提案する