Apache Kafka

Apache Kafka は、継続的なイベントストリームを大規模に発行・保存・処理するための分散イベントストリーミングプラットフォームです。従来のメッセージブローカーとは異なり、Kafka は設定可能な保持期間の間、イベントを追記専用の順序付きログに保持するため、複数の独立したコンシューマーが同じメッセージを奪い合うことなく、それぞれ自分のペースで同じイベントストリームを読み――そして読み直す――ことができます。

このログベースのモデルにより、Kafka はイベントソーシング、リアルタイム分析パイプライン、そして共有可能で再生可能な唯一の情報源を中心に多数のプロデューサーとコンシューマーを接続する用途に適しており、パイプライン内でデータを直接処理するための Kafka Streams や ksqlDB も利用できます。Kafka は分散クラスタとして稼働するよう設計されており、非常に高い書き込み・読み取りスループットを維持できるよう構築されています。

Kafka は、永続性とリプレイを必要とするイベント駆動アーキテクチャやリアルタイムデータパイプラインを構築するチームに向いており、カタログ内の RabbitMQ を置き換えるのではなく補完する関係にあります。RabbitMQ のキューとルーティングのモデルは、従来型のバックグラウンドジョブやタスクキューのワークロードによりよく適しています。