AWS integra o motor DuckDB diretamente ao Aurora PostgreSQL para consultas unificadas

A Amazon Web Services adicionou suporte nativo para consultar data lakes em Apache Iceberg e Apache Parquet diretamente de seu sistema de gerenciamento de banco de dados Aurora PostgreSQL. Ao embutir o motor analítico DuckDB diretamente no Aurora, a plataforma permite que aplicações executem consultas analíticas combinando transações operacionais em tempo real com registros históricos armazenados no Amazon S3, eliminando a necessidade de mover dados ou manter pipelines tradicionais de extração, transformação e carga (ETL).

Integração do DuckDB elimina pipelines de ETL reverso

A atualização ocorre após a aquisição da DuckLabs B.V., criadora do DuckDB, pela AWS, e marca um esforço significativo para incorporar o banco de dados analítico em toda a infraestrutura da AWS. Anteriormente, combinar tabelas operacionais ativas no Aurora com registros arquivados no S3 exigia pipelines complexos de ETL reverso, que introduziam duplicação de dados, custos adicionais de infraestrutura e sobrecarga de sincronização.

Com o motor DuckDB embutido, o processamento analítico ocorre diretamente dentro do Aurora, sem saltos adicionais de rede. Uma única consulta SQL pode acessar gravações operacionais não confirmadas em tempo real juntamente com registros de data lakes. O Aurora gerencia o desempenho das consultas filtrando registros e selecionando colunas relevantes durante a execução, enquanto armazena em cache os dados acessados com frequência.

Suporte a catálogos externos e inferência de esquema

O recurso suporta catálogos em conformidade com a especificação Iceberg REST Catalog por meio de federação com o AWS Glue. Os desenvolvedores registram um catálogo externo no Glue para configurar tabelas estrangeiras, permitindo que aplicações PostgreSQL combinem dados locais do Aurora com conjuntos de dados Iceberg em catálogos externos. O Aurora também pode inferir esquemas históricos diretamente dos metadados dos arquivos, eliminando a exigência de mapear estruturas de tabelas manualmente.

Para aplicações críticas de baixa latência que buscam desempenho na casa dos milissegundos de um único dígito, as equipes podem copiar registros do data lake diretamente para tabelas nativas do Aurora usando SQL padrão. Consultas de leitura podem ser descarregadas para réplicas de leitura, enquanto operações que materializam dados são executadas no nó gravador do cluster.

Configuração e disponibilidade regional

A capacidade analítica está disponível em todas as regiões comerciais da AWS sem custo inicial pelo recurso. Os usuários pagam pelos recursos de computação subjacentes consumidos pelas consultas e pelas tarifas padrão de requisição do S3 para a leitura de arquivos.

Para habilitar o recurso, é necessário ativar a extensão aurora_analytics e configurar uma função do AWS Identity and Access Management para permitir o acesso ao S3 e ao AWS Glue. A integração é compatível com as versões 17.11 e 18.6 do motor Aurora PostgreSQL ou superiores.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: AWS embeds DuckDB in its PostgreSQL DBMS to speed queries of live and historical data