PyTorch moderniza Table Batched Embeddings com kernels FBTriton

O PyTorch modernizou sua pilha de Table Batched Embeddings (TBE) ao substituir templates legados em C++ CUDA por kernels FBTriton escritos em Python. Os operadores TBE realizam consultas de embedding esparsas e agrupamento (pooling) em várias tabelas de recursos em execuções unificadas na GPU, constituindo uma carga de trabalho central para sistemas de recomendação em grande escala implantados em milhares de GPUs fragmentadas.

Ganhos de desempenho no forward e backward

Em testes de desempenho cobrindo 307 configurações de fragmentos em aceleradores Nvidia GB200 usando pesos FP16 e Adagrad exato por linha, a implementação TBE no Triton alcançou uma aceleração mediana de 1,28× no passo forward em comparação com os kernels CUDA padrão. O ganho de desempenho deriva do acesso otimizado à memória durante os passos backward. O CUDA TBE alterna para sincronização cooperativa de arranjos de threads (CTA) com comprimentos de segmento de 32 consultas por linha, enquanto o FBTriton mantém o processamento em fluxo contínuo até o comprimento de 256. Essa mudança estrutural permitiu que o FBTriton atingisse uma vazão de memória de 3.948 GB/s, contra 678 GB/s do CUDA sob pegadas de memória idênticas.

Mudanças arquitetônicas e classificação na GPU

Para eliminar a sobrecarga de sincronização entre host e dispositivo causada por leituras de volta para a CPU, o FBTriton retém os dados de classificação de carga de trabalho diretamente na GPU. O pipeline utiliza contadores atômicos e somas de prefixo dentro dos blocos de computação para dividir os comprimentos de linha dependentes de dados em blocos fixos de 256 consultas, sem disparar a sincronização de fluxo no nível da CPU.

A atualização adiciona verificação de limites fundida opcional, proporcionando uma aceleração de até 1,24× nas passagens de validação em aceleradores Nvidia B200. Além disso, um caminho opcional de módulo principal move a ordenação de índices e a codificação por comprimento de corrida para o passo forward. Em configurações grandes de B200, essa mudança reduziu a latência de execução combinada de forward e backward de 79,537 ms para 66,183 ms, representando uma redução de latência de 16,8%. O FBTriton também integra recursos específicos de hardware para as arquiteturas Nvidia Blackwell, incluindo roubo de trabalho via hardware, cercas de sincronização em escopo de dispositivo e reduções atômicas em lote via TMA.

Eficiência para desenvolvedores e casos de borda conhecidos

Ao transferir as operações esparsas de forward e backward para o Python, o PyTorch reduz a sobrecarga de manutenção em relação às implementações CUDA baseadas em templates Jinja, além de padronizar a lógica dos kernels entre as arquiteturas de GPU da AMD, Hopper e Blackwell.

O FBTriton não supera o CUDA legado em todas as cargas de trabalho avaliadas. Das 307 configurações de fragmentos testadas, o CUDA manteve maior velocidade de execução em 11 casos de sequências curtas nas quais o comprimento do segmento permanece abaixo de 4 consultas por linha, já que a alocação de warp por linha do CUDA atenua melhor a latência de cargas dependentes em pequenos lotes.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: Modernizing Table Batched Embeddings with FBTriton