vLLM integra el DSL Helion para la optimización automática de backends lineales

Un grupo de desarrolladores de PyTorch ha integrado Helion, un lenguaje específico de dominio (DSL) concebido para programar kernels independientes del hardware, en el backend de capas lineales de vLLM. Esta implementación recurre a una optimización automática previa (AOT) para elevar el rendimiento en la inferencia de modelos de lenguaje de gran tamaño (LLM) sobre GPUs NVIDIA Hopper, superando los resultados de backends predeterminados como CUTLASS, FlashInfer y DeepGEMM en las pruebas evaluadas.

Arquitectura GEMM unificada

En lugar de codificar y mantener kernels personalizados independientes junto con heurísticas manuales para variaciones como Split-K y Swap-AB, el backend lineal basado en Helion consolida la multiplicación general de matrices (GEMM) en una única estructura. Dichas alternativas algorítmicas se ofrecen como parámetros ajustables, permitiendo que un proceso automatizado identifique la variante idónea y configure la planificación de bajo nivel según la forma de cada tensor. El análisis se enfocó en formatos cuantizados de 8 bits en arquitecturas Hopper, incluyendo FP8 Dynamic, W8A8 INT8 y Block FP8.

Despacho híbrido y ajuste automático

Con el fin de mitigar la latencia, la integración implementa una estrategia de despacho híbrido condicionada por la longitud de la secuencia de tokens y el uso de CUDA Graphs. Los kernels de Helion procesan tensores pequeños de hasta 32 tokens durante la reejecución dentro de CUDA Graphs, delegando los tamaños superiores a las librerías por defecto. Este esquema evita la sobrecarga en la CPU en tiempo de ejecución y limita el ajuste a los recuentos reducidos de tokens característicos de la fase de decodificación. Las configuraciones de los kernels se optimizaron para cada forma mediante el algoritmo de búsqueda asistido por IA LLMSeededLFBOTreeSearch, utilizando Claude Opus 4.8 como semilla.

Pruebas de rendimiento y limitaciones

Las evaluaciones aisladas de los kernels en una GPU NVIDIA H100 mostraron mejoras en la media geométrica respecto a los componentes estándar: 1,110× en FP8 Dynamic, 1,178× en W8A8 INT8 y hasta 1,177× en Block FP8 frente a DeepGEMM. En escenarios completos de servicio con modelos Qwen3, se registraron incrementos de procesamiento superiores al 10 % en tamaños de lote específicos. No obstante, la optimización previa fuera de línea exige horas de cómputo y el uso de Helion fuera de CUDA Graphs genera sobrecarga en la CPU. El código y los scripts correspondientes están disponibles en una bifurcación del repositorio de vLLM.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: Building a High-Performance and Portable vLLM Linear Backend with Helion