kafka wurde urspünglich bei LinkedIn intern als Plattform für die Verarbeitung von Datenströmen entwickelt und anschließend als Opensource System über apache veröffentlicht. Die Gesamtzahl der Nachrichten, die von den Kafka-Einsätzen von LinkedIn bearbeitet werden, überstieg kürzlich 7 Billionen pro Tag.
Apache Kafka ist ein verteilter, partitionierender und replizierender Service für Datenströme. Er stellt seine Funktionen wie ein klassischer Messaging Broker zur Verfügung, allerdings unter der Verwendung von Konzepten, die sich von den bisher gängigen deutlich unterscheiden.