Helion-DSL in vLLM integriert: Autotuning für lineare Inference-Backends

PyTorch-Entwickler haben Helion, eine domänenspezifische Sprache (DSL) für die hardwareunabhängige Kernel-Entwicklung, in das lineare Backend von vLLM integriert. Die Implementierung nutzt Ahead-of-Time-Autotuning (AOT), um die Inference-Performance großer Sprachmodelle (LLMs) auf NVIDIA-Hopper-GPUs zu optimieren. In den getesteten Szenarien übertrifft der Ansatz die Standard-Implementierungen von vLLM wie CUTLASS, FlashInfer und DeepGEMM.

Vereinheitlichte GEMM-Architektur

Statt separate benutzerdefinierte Kernel und manuelle Dispatch-Heuristiken für unterschiedliche Algorithmenvarianten wie Split-K und Swap-AB zu pflegen, führt das lineare Backend von Helion die allgemeine Matrixmultiplikation (GEMM) in einer einzigen Implementierung zusammen. Algorithmische Variationen werden als anpassbare Parameter bereitgestellt. Ein automatisierter Suchprozess wählt so für jede Tensorform die optimale Variante zusammen mit Low-Level-Scheduling-Parametern aus. Die Evaluierung konzentrierte sich auf 8-Bit-quantisierte Formate auf Hopper-GPUs, darunter FP8 Dynamic, W8A8 INT8 und Block FP8.

Hybrides Dispatching und Autotuning

Um Latenzen zu steuern, nutzt die Integration eine hybride Dispatch-Strategie, die auf der Token-Sequenzlänge und der Ausführung von CUDA-Graphen basiert. Helion-Kernel verarbeiten kleine Tensorformen mit bis zu 32 Tokens während der CUDA-Graph-Wiedergabe, während größere Formen auf Standardbibliotheken zurückgreifen. Diese Struktur vermeidet Overhead beim CPU-Aufruf zur Laufzeit und beschränkt das feingranulare Autotuning auf kleine Token-Zahlen, wie sie in der Decoding-Phase von LLMs üblich sind. Die Kernel-Konfigurationen wurden pro Eingabeform mithilfe des LLM-gestützten Suchalgorithmus LLMSeededLFBOTreeSearch optimiert, der von Claude Opus 4.8 initialisiert wurde.

Kernel-Benchmarks und Grenzen in der Praxis

Isolierte Kernel-Benchmarks auf einer NVIDIA H100 GPU zeigten geometrische Mittelwerte für Geschwindigkeitszuwächse gegenüber den Standardbibliotheken: 1,110× für FP8 Dynamic, 1,178× für W8A8 INT8 und bis zu 1,177× für Block FP8 gegenüber DeepGEMM. Durchgängige Serving-Benchmarks über verschiedene Varianten des Qwen3-Modells hinweg ergaben für bestimmte Batch-Größen Durchsatzsteigerungen von mehr als 10 %. Das Offline-Autotuning kann jedoch Stunden dauern, um die Zielformen zu verarbeiten, und die Ausführung von Helion außerhalb von CUDA-Graphen verursacht Overheads beim CPU-Aufruf. Der Code und die Tuning-Skripte sind über einen dedizierten Repository-Fork von vLLM zugänglich.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Building a High-Performance and Portable vLLM Linear Backend with Helion