跳至内容
FindOpenSource

Apache Kafka

将数据存储为可持久回放日志的分布式事件流平台,专为高吞吐实时数据管道而构建,而非传统的点对点队列。

概述

Apache Kafka 是一个分布式事件流平台,用于大规模发布、存储和处理持续不断的事件流。与传统消息代理不同,Kafka 会在可配置的保留期内,将事件保存在一个有序的、只追加写入的日志中,因此多个相互独立的消费者可以按各自的节奏读取——乃至重新读取——同一条事件流,而不会争抢同一条消息。

这种基于日志的模型使 Kafka 非常适合事件溯源、实时分析管道,以及围绕一个可共享、可回放的事实来源连接大量生产者和消费者;同时还提供 Kafka Streams 和 ksqlDB,可直接在管道内处理数据。Kafka 被设计为以分布式集群方式运行,能够承受非常高的读写吞吐量。

Kafka 适合那些正在构建事件驱动架构或需要持久性与回放能力的实时数据管道的团队,与目录中的 RabbitMQ 形成互补而非重复——RabbitMQ 的队列与路由模型更适合传统的后台任务和任务队列场景。

分类
后端
关键词
event-streamingmessage-queuestream-processingdistributed-logkafka
编程语言
Java, Scala
许可证
Apache-2.0

发现信息有误?在 GitHub 上提出修改建议