Apache Kafka

Apache Kafka ist eine verteilte Event-Streaming-Plattform zum Veröffentlichen, Speichern und Verarbeiten kontinuierlicher Event-Ströme in großem Maßstab. Anders als ein klassischer Message-Broker behält Kafka Events für eine konfigurierbare Aufbewahrungsdauer in einem geordneten, nur anhängenden Log, sodass mehrere unabhängige Consumer denselben Event-Strom in ihrem eigenen Tempo lesen – und erneut lesen – können, ohne um dieselbe Nachricht zu konkurrieren.

Dieses log-basierte Modell macht Kafka gut geeignet für Event Sourcing, Echtzeit-Analyse-Pipelines und das Verbinden vieler Producer und Consumer um eine gemeinsame, wiederabspielbare Quelle der Wahrheit, wobei Kafka Streams und ksqlDB zur direkten Datenverarbeitung innerhalb der Pipeline zur Verfügung stehen. Kafka ist für den Betrieb als verteiltes Cluster ausgelegt und darauf gebaut, sehr hohen Schreib- und Lesedurchsatz zu bewältigen.

Kafka eignet sich für Teams, die ereignisgesteuerte Architekturen oder Echtzeit-Datenpipelines mit Bedarf an Dauerhaftigkeit und Replay bauen – als Ergänzung, nicht als Duplikat zu RabbitMQ (ebenfalls in diesem Katalog), dessen Queue-und-Routing-Modell besser zu klassischen Hintergrundaufgaben- und Task-Queue-Workloads passt.