Cloudflare lance K2, un service de streaming d’événements serverless en bêta publique

Cloudflare a lancé Cloudflare K2 en bêta publique, introduisant une solution de streaming d'événements serverless et durable pour sa plateforme pour développeurs. Cette brique fondamentale découple les producteurs de données des consommateurs en enregistrant les événements dans un journal ordonné, autorisant ainsi un traitement asynchrone et une circulation massive des données.

Une architecture de journal conçue sur le stockage d'objets

Pour contourner les contraintes opérationnelles liées à l'exécution de systèmes distribués traditionnels comme Apache Kafka sur son réseau edge, Cloudflare a structuré le journal partitionné de K2 sur son stockage d'objets R2. Comme les services de stockage d'objets ne gèrent pas nativement l'ajout continu de données (append), K2 conserve d'abord les écritures en mémoire tampon sur les serveurs edge avant de les transférer sous forme de fichiers de segments vers R2. Il s'appuie sur des opérations atomiques pour garantir des décalages (offsets) stricts sans faire appel à une couche d'orchestration dédiée.

Le découplage entre la couche de calcul et le stockage offre une mise à l'échelle indépendante et une conservation des données à long terme. Néanmoins, l'usage du stockage d'objets implique un compromis sur les temps de réponse : la latence d'écriture initiale atteint environ une seconde au 99e percentile.

Des modes de consommation polyvalents

K2 prend en charge la distribution de messages par lots selon divers scénarios de consommation. Les développeurs peuvent répartir la lecture des événements entre plusieurs consommateurs pour paralléliser le traitement, ou configurer des abonnements distincts afin de diffuser simultanément l'ensemble des messages vers différents systèmes.

Les consommateurs interrogent les abonnements pour obtenir un bail de cinq minutes sur chaque lot. Ils peuvent ensuite valider le traitement (ack), demander un nouvel acheminement en cas d'échec (nack) ou prolonger la durée du bail. Les flux acceptent les formats de données binaires et s'interfacent directement avec des API HTTP ou des liaisons Workers.

Disponibilité et positionnement du produit

Cloudflare destine K2 au routage de données à grande échelle et au tamponnage à long terme. L'outil se distingue de Cloudflare Queues — axé sur le traitement individuel des tentatives et les workflows complexes au niveau des messages — et de Basin Pipelines, orienté vers l'ingestion de données JSON vers des cibles de stockage.

Cette bêta publique est accessible sans surcoût de consommation aux comptes disposant d'un abonnement Workers Paid. Les limites par défaut sont fixées à 10 Go de stockage et 30 Mo/s de débit d'écriture par flux. Cloudflare prévoit ultérieurement la prise en charge des clients Kafka, l'ordonnancement par clé et des niveaux d'accès express réduisant la latence.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: Announcing Cloudflare K2: serverless event streams