Cloudflare lança o K2 Serverless Event Streaming em beta público

A Cloudflare lançou o Cloudflare K2 em beta público, introduzindo um serviço durável de streaming de eventos serverless para a sua Developer Platform. O recurso desacopla produtores de dados de consumidores ao capturar eventos em um log ordenado, permitindo processamento assíncrono e movimentação de dados em escala.

Arquitetura de log baseada em armazenamento de objetos

Projetado para superar os desafios operacionais de executar softwares distribuídos tradicionais como o Apache Kafka na rede edge da Cloudflare, o K2 implementa seu log particionado sobre o armazenamento de objetos R2. Como os armazenamentos de objetos não suportam nativamente operações de append, o K2 armazena as gravações temporariamente em memória nos servidores edge antes de descarregá-las como arquivos de segmento no R2, utilizando operações atômicas para manter offsets estritos sem uma camada de coordenação dedicada.

Esse desacoplamento entre computação e armazenamento permite o dimensionamento independente e a retenção de dados a longo prazo. No entanto, a dependência do armazenamento de objetos introduz um compromisso na latência: as latências iniciais de produção atingem aproximadamente um segundo no 99º percentil.

Modelos flexíveis de consumo

O K2 suporta a entrega de mensagens em lote através de diversos padrões de consumo. Desenvolvedores podem dividir a leitura de eventos entre um grupo de consumidores para processamento paralelo ou criar assinaturas separadas para distribuir cada mensagem para múltiplos sistemas simultaneamente.

Os consumidores fazem polling nas assinaturas para receber um contrato de lote de cinco minutos, após o qual podem confirmar a conclusão (acknowledge), sinalizar falha para reentrega (negatively acknowledge) ou estender o período do contrato. Os streams aceitam formatos de dados binários e interagem diretamente com APIs HTTP ou bindings de Workers da Cloudflare.

Disponibilidade e limites do produto

A Cloudflare posiciona o K2 para roteamento de dados em grande escala e buffer de longo prazo, contrastando-o com o Cloudflare Queues — que lida com tentativas individuais e fluxos de trabalho complexos no nível da mensagem — e com o Basin Pipelines, focado na ingestão de JSON para alvos de armazenamento.

O beta público está disponível para contas com assinaturas Workers Paid, sem cobrança de uso durante a fase de testes. Os limites padrão estão fixados em 10 GB de armazenamento e 30 MB/s de taxa de transferência de produção por stream. A Cloudflare planeja adicionar suporte a clientes Kafka, ordenação baseada em chaves e camadas expressas de menor latência em atualizações futuras.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: Announcing Cloudflare K2: serverless event streams