SeaTunnel
データベース、データレイク、メッセージングシステム間で大規模にデータを移動・変換するための、分散型データ統合プラットフォームです。
概要
Apache SeaTunnel は、データベース、データウェアハウス、オブジェクトストレージ、メッセージキューといった非常に幅広いデータソース・宛先に、あらかじめ用意されたコネクタを通じて接続し、各システムペアごとにカスタムの統合コードを書くことなく、データ同期・変換パイプラインを定義できるようにします。バッチとストリーミングの両方のデータ移動に対応しています。
SeaTunnel は、多数の異なるシステム間でデータを移動・変換する必要があるデータエンジニアリングチームに向いています。(カタログにもある) Flink や Spark を補完する存在で、それらはすでに流れているデータを処理するのに対し、SeaTunnel は異種システム間の最初の接続・移動のステップを担います。
- カテゴリ
- バックエンド
- 言語
- Java
- ライセンス
- Apache-2.0
関連プロジェクト
Kestra
Apache-2.0データパイプライン、ETL ジョブ、業務ワークフローのスケジューリングとオーケストレーションのための、YAML ベースの宣言的オーケストレーションプラットフォームです。
- オートメーション
Prefect
Apache-2.0通常の Python コードでデータパイプラインを構築・スケジュール・監視できる、Python ネイティブのワークフローオーケストレーションプラットフォームです。
- オートメーション
Apache Kafka
Apache-2.0データを永続的で再生可能なログとして保存する分散イベントストリーミングプラットフォームで、従来の1対1のキューイングではなく高スループットなリアルタイムパイプライン向けに構築されています。
- バックエンド
Apache RocketMQ
Apache-2.0非常に高いスループットで金融グレードのトランザクション信頼性を実現するために構築された、分散型メッセージング・ストリーミングプラットフォームです。
- バックエンド
誤りを見つけましたか? GitHub で修正を提案する