NVIDIA veröffentlicht End-to-End-HSTU-Workflow für Generative Recommender in Dynamo-Triton

NVIDIA hat einen durchgängigen Inferenz-Workflow für Generative-Recommender-Modelle auf Basis von Hierarchical Sequential Transduction Units (HSTU) im Repository recsys-examples veröffentlicht. Die Lösung kombiniert Ahead-of-Time Inductor (AOTI) Compilation von PyTorch, FlexKV-basiertes Key-Value-Caching, den NV Embedding Cache und das Hosting über NVIDIA Dynamo-Triton, um Verzögerungen bei der Auswertung langer Interaktionshistorien von Nutzerinnen und Nutzern zu reduzieren.

Latenzherausforderungen bei sequenziellen Recommender-Systemen

Generative Recommender verarbeiten Abfolgen von Nutzerinteraktionen, kontextuelle Metadaten und Kandidaten-Items als hochdimensionale Ereignis-Streams. Obwohl diese vereinheitlichte Sequenzmodellierung die Personalisierungsqualität gegenüber klassischen mehrstufigen Retrieval- und Ranking-Pipelines verbessert, verursacht sie bei der Verarbeitung langer historischer Datenströme hohe Rechenkosten. Das erneute Berechnen des gesamten Key-Value-Zustands bei jeder Interaktion verschwendet GPU-Ressourcen, wenn sich die bisherige Aktivität kaum verändert hat.

Optimierung von kompilierten Artefakten und Cache-Speicher

Die vorgestellte Bereitstellungsarchitektur begegnet Speicher- und Rechenengpässen durch integrierte Caching- und Kompilierungsschichten. PyTorch AOTI exportiert und kompiliert das trainierte Modell im Voraus in ein natives Archiv, das von C++-Laufzeitumgebungen geladen werden kann. Dies verringert den Overhead der Python-Laufzeit. Um umfangreiche kategoriale Embedding-Tabellen effizient zu verwalten, hält der NV Embedding Cache häufig genutzte Embeddings im GPU-Speicher, während die vollständigen Tabellen im Host-Speicher (CPU) verbleiben.

Für die Attention-Berechnungen nutzt ein KVCacheManager den als paged KV-Tabelle organisierten GPU-Speicher auf Basis einer FlexKV-Laufzeitumgebung. Das System speichert wiederverwendbare Key-Value-Daten aus früheren Nutzerhistorien und unterstützt Operationen wie Lookup, Allokation, Anfügen und Eviction nach einer LRU-Strategie. Spezielle cache-aware Operatoren ermöglichen es dem HSTU-Attention-Kernel, neue Kandidaten-Token anzufügen, ohne die Attention der vergangenen Sequenz erneut zu berechnen.

Deployment-Workflow und Benchmark-Ergebnisse

Der Bereitstellungsprozess umfasst das Erstellen des PyTorch-AOTI-Pakets, das Starten des FlexKV-Dienstes, das Überprüfen der kompilierten Ausgaben über eine native C++-Anwendung sowie das Laden des Pakets in Dynamo-Triton unter Verwendung des Backend-Plattformtyps torch_aoti. NVIDIA hat den Workflow mit einer einzelnen NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU auf dem Dataset KuaiRand-1K mit Sequenzlängen von bis zu 8.320 Token getestet.

Bei Tests mit einer dynamischen Batch-Größe von 8 und einer Hit-Rate des GPU-KV-Caches von 100 % erzielte Dynamo-Triton mit PyTorch AOTI eine 4,47-fache Beschleunigung für ein dreischichtiges HSTU-Modell und eine 5,93-fache Beschleunigung für eine achtschichtige Variante im Vergleich zur selben AOTI-Konfiguration ohne KV-Caching. Die Latenz pro logischer Anfrage sank auf 0,423 ms beim dreischichtigen beziehungsweise 0,678 ms beim achtschichtigen Modell. Entwickler können auf die Build-Skripte und Anleitungen über das recsys-examples-Repository von NVIDIA auf GitHub zugreifen.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Deploying an HSTU Generative Recommender with NVIDIA Dynamo-Triton