Cloudflare startet K2: Serverless Event Streaming in der Public Beta

Cloudflare hat die öffentliche Testphase von Cloudflare K2 gestartet und stellt damit einen dauerhaften, serverlosen Event-Streaming-Dienst für seine Entwicklerplattform bereit. Dieser neue Baustein entkoppelt Datenproduzenten von Konsumenten, indem er Ereignisse in einem geordneten Log erfasst. Dies ermöglicht eine asynchrone Verarbeitung sowie die skalierbare Verschiebung von Daten.

Log-Architektur auf Basis von Objektspeicher

K2 wurde entwickelt, um die betrieblichen Herausforderungen beim Einsatz herkömmlicher verteilter Software wie Apache Kafka im Edge-Netzwerk von Cloudflare zu umgehen. Dazu setzt K2 ein partitioniertes Log direkt auf dem R2-Objektspeicher um. Da Objektspeicher Anfügeoperationen (Appends) nativ nicht unterstützen, puffert K2 Schreibvorgänge im Arbeitsspeicher der Edge-Server. Anschließend werden diese Daten als Segmentdateien in R2 geschrieben, wobei atomare Operationen genutzt werden, um exakte Offsets ohne eine dedizierte Koordinationsschicht beizubehalten.

Diese Entkopplung von Rechenleistung und Speicher erlaubt eine unabhängige Skalierung sowie eine langfristige Datenaufbewahrung. Die Nutzung von Objektspeichern bringt jedoch einen Kompromiss bei den Antwortzeiten mit sich: Die anfängliche Erstellungslatenz erreicht beim 99. Perzentil etwa eine Sekunde.

Flexible Verarbeitungsmodelle

K2 unterstützt die stapelweise Übertragung von Nachrichten für unterschiedliche Nutzerszenarien. Entwickler können das Auslesen von Ereignissen auf eine Gruppe von Konsumenten aufteilen, um eine parallele Verarbeitung zu erreichen, oder separate Abonnements einrichten, um jede Nachricht gleichzeitig an mehrere Systeme zu verteilen.

Konsumenten fragen Abonnements ab und erhalten die Daten für eine Zeitspanne von fünf Minuten zur Bearbeitung zugewiesen. Anschließend können sie den erfolgreichen Empfang bestätigen, die Verarbeitung für eine erneute Zustellung ablehnen oder die Zuweisungsdauer verlängern. Die Streams akzeptieren binäre Datenformate und können direkt über HTTP-APIs oder Bindungen an Cloudflare Worker angesprochen werden.

Verfügbarkeit und Produktgrenzen

Cloudflare richtet K2 auf hochskalierbares Daten-Routing und langfristiges Puffern aus. Es grenzt sich damit von Cloudflare Queues ab, die auf einzelne Wiederholungsversuche und komplexe Arbeitsabläufe auf Nachrichtenebene ausgelegt sind, sowie von Basin Pipelines, die auf den Import von JSON-Daten in Speicherziele spezialisiert sind.

Die Public Beta steht Konten mit kostenpflichtigen Workers-Abonnements zur Verfügung, wobei in der Testphase keine nutzungsabhängigen Gebühren anfallen. Die Standardgrenzen liegen bei 10 GB Speicherplatz und einer Durchsatzrate von 30 MB/s pro Stream. Für künftige Aktualisierungen plant Cloudflare die Unterstützung von Kafka-Clients, eine schlüsselbasierte Sortierung sowie Express-Tarife mit geringerer Latenz.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Announcing Cloudflare K2: serverless event streams