Alluxio
計算エンジンとストレージシステムの間に位置し、両者間の高速で統一的なアクセスのためにデータをキャッシュする、データオーケストレーション層です。
概要
Alluxio は、計算フレームワーク(Spark や Trino など)と1つ以上の基盤ストレージシステム(S3、HDFS など)の間に位置し、統一された名前空間を提示するとともに、頻繁にアクセスされるデータをメモリや高速なローカルディスクにキャッシュすることで、基盤データを移動させることなく分析ワークロードを高速化します。計算とストレージの所在地を分離します。
Alluxio は、リモートまたは低速なストレージに対して分析エンジンを実行し、キャッシュと統一の層を求めるデータプラットフォームチームに向いています。カタログに既にあるオブジェクトストレージシステム(MinIO、SeaweedFS)とは異なる役割で、ストレージそのものではなく、ストレージの前段に位置します。
- カテゴリ
- ストレージ
- 言語
- Java
- ライセンス
- Apache-2.0
広告
関連プロジェクト
CubeFS
Apache-2.0クラウドネイティブで大規模なデータ集約型アプリケーション向けに構築された、分散ファイルシステム兼オブジェクトストレージシステムです。
- ストレージ
Appwrite
BSD-3-Clause認証、データベース、ストレージ、関数、リアルタイム API を提供するオープンソースのバックエンドプラットフォームです。セルフホストでもマネージドクラウドでも利用できます。
- バックエンド
- データベース
- 認証・セキュリティ
Ceph
LGPL-2.1単一の統合クラスタから、オブジェクト・ブロック・ファイルストレージを提供する、業界標準の分散ストレージシステムです。
- ストレージ
JuiceFS
Apache-2.0S3 のようなオブジェクトストレージにデータを保存し、馴染みのあるファイルシステムのセマンティクスとクラウド規模のストレージを組み合わせた、分散型 POSIX ファイルシステムです。
- ストレージ
誤りを見つけましたか? GitHub で修正を提案する