SeaTunnel
データベース、データレイク、メッセージングシステム間で大規模にデータを移動・変換するための、分散型データ統合プラットフォームです。
- 活発にメンテナンスされている
- 財団の支援あり
- 寛容なライセンス
概要
Apache SeaTunnel は、データベース、データウェアハウス、オブジェクトストレージ、メッセージキューといった非常に幅広いデータソース・宛先に、あらかじめ用意されたコネクタを通じて接続し、各システムペアごとにカスタムの統合コードを書くことなく、データ同期・変換パイプラインを定義できるようにします。バッチとストリーミングの両方のデータ移動に対応しています。
SeaTunnel は、多数の異なるシステム間でデータを移動・変換する必要があるデータエンジニアリングチームに向いています。(カタログにもある) Flink や Spark を補完する存在で、それらはすでに流れているデータを処理するのに対し、SeaTunnel は異種システム間の最初の接続・移動のステップを担います。
このカタログに掲載されている理由
カタログ評価: ★★☆☆☆ (2/5)
Data integration/ETL connector platform, overlaps with Apache Beam/Flink in adjacent categories.
- 新興
- 財団によるガバナンス
- カテゴリ
- バックエンド
- 言語
- Java
- ライセンス
- Apache-2.0
関連プロジェクト
Kestra
Apache-2.0データパイプライン、ETL ジョブ、業務ワークフローのスケジューリングとオーケストレーションのための、YAML ベースの宣言的オーケストレーションプラットフォームです。
活発にメンテナンスされている
- オートメーション
Prefect
Apache-2.0通常の Python コードでデータパイプラインを構築・スケジュール・監視できる、Python ネイティブのワークフローオーケストレーションプラットフォームです。
活発にメンテナンスされている
- オートメーション
Apache Kafka
Apache-2.0データを永続的で再生可能なログとして保存する分散イベントストリーミングプラットフォームで、従来の1対1のキューイングではなく高スループットなリアルタイムパイプライン向けに構築されています。
活発にメンテナンスされている
- バックエンド
Pulsar
Apache-2.0従来のキューイングとイベントストリーミングを統合し、マルチテナンシーを標準搭載した、分散型メッセージング・ストリーミングプラットフォームです。
活発にメンテナンスされている
- バックエンド
誤りを見つけましたか? GitHub で修正を提案する