Apache Kafka

Apache Kafka es una plataforma distribuida de streaming de eventos usada para publicar, almacenar y procesar flujos continuos de eventos a gran escala. A diferencia de un bróker de mensajería tradicional, Kafka conserva los eventos en un log ordenado y de solo anexado durante un periodo de retención configurable, de modo que varios consumidores independientes pueden leer —y volver a leer— el mismo flujo de eventos a su propio ritmo sin competir por el mismo mensaje.

Este modelo basado en logs hace que Kafka encaje bien en event sourcing, pipelines de analítica en tiempo real, y en conectar a muchos productores y consumidores alrededor de una fuente de verdad compartida y reproducible, con Kafka Streams y ksqlDB disponibles para procesar datos directamente dentro del pipeline. Kafka está diseñado para ejecutarse como un clúster distribuido y construido para sostener un rendimiento de lectura y escritura muy alto.

Kafka encaja en equipos que construyen arquitecturas orientadas a eventos o pipelines de datos en tiempo real que necesitan durabilidad y reproducción, complementando en lugar de duplicar a RabbitMQ (también en este catálogo), cuyo modelo de colas y enrutamiento se adapta mejor a cargas de trabajo tradicionales de tareas en segundo plano y colas de tareas.