vLLM Adota DSL Helion para Autossintonia de Backends de Inferência Linear

Desenvolvedores do ecossistema PyTorch integraram a Helion, uma linguagem de domínio específico (DSL) agnóstica de hardware para escrita de kernels, ao backend linear da biblioteca vLLM. A implementação utiliza autossintonia ahead-of-time (AOT) para otimizar o desempenho de inferência de modelos de linguagem (LLM) em GPUs NVIDIA Hopper, superando as soluções padrão baseadas em CUTLASS, FlashInfer e DeepGEMM nas cargas de trabalho avaliadas.

Arquitetura GEMM Unificada

Em vez de manter kernels customizados separados e heurísticas manuais de despacho para variantes algorítmicas como Split-K e Swap-AB, o backend linear da Helion unifica a multiplicação genérica de matrizes (GEMM) em uma única implementação. As variações algorítmicas são expostas como parâmetros ajustáveis, permitindo que um processo de busca automatizado selecione a variante ideal em conjunto com os parâmetros de agendamento de baixo nível para cada formato de tensor. A avaliação focou em formatos quantizados de 8 bits em GPUs Hopper, cobrindo FP8 Dinâmico, W8A8 INT8 e Block FP8.

Despacho Híbrido e Autossintonia

Para gerenciar a latência, a integração adota uma estratégia de despacho híbrido fundamentada no comprimento da sequência de tokens e na execução por CUDA Graph. Kernels Helion processam tensores pequenos de até 32 tokens durante o replay do CUDA Graph, enquanto dimensões maiores recorrem às bibliotecas padrão. Essa estrutura evita o overhead de execução na CPU em tempo de execução e limita a autossintonia fina a volumes baixos de tokens, típicos da fase de decodificação de LLMs. As configurações de kernel foram ajustadas por formato de entrada com o algoritmo LLMSeededLFBOTreeSearch, utilizando o modelo Claude Opus 4.8 na etapa inicial de busca.

Benchmarks de Kernel e Limitações no Servidor

Testes isolados de kernel em uma GPU NVIDIA H100 demonstraram ganhos de velocidade (média geométrica) em relação às bibliotecas padrão: 1,110× para FP8 Dinâmico, 1,178× para W8A8 INT8 e até 1,177× para Block FP8 frente ao DeepGEMM. Benchmarks de serviço ponta a ponta com variantes do modelo Qwen3 indicaram aumentos de throughput superiores a 10% em tamanhos de lote específicos. No entanto, o processo de autossintonia offline pode exigir horas para processar as dimensões desejadas, e a execução da Helion fora de CUDA Graphs introduz overhead na CPU. O código-fonte e os scripts de ajuste estão disponíveis em um fork dedicado do repositório do vLLM.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: Building a High-Performance and Portable vLLM Linear Backend with Helion