NVIDIA publica un flujo de trabajo generativo HSTU a gran escala para Dynamo-Triton

NVIDIA ha publicado en su repositorio recsys-examples un flujo de trabajo completo de inferencia para modelos de recomendación generativa basados en la arquitectura HSTU (Hierarchical Sequential Transduction Unit). La solución integra la compilación AOTI (Ahead-of-Time Inductor) de PyTorch, almacenamiento en caché de clave-valor con FlexKV, NV Embedding Cache y el servidor de inferencia NVIDIA Dynamo-Triton para minimizar los tiempos de respuesta al procesar historiales extensos de usuarios.

Desafíos de latencia en recomendadores secuenciales

Los sistemas de recomendación generativa procesan secuencias de interacción, metadatos contextuales y elementos candidatos como flujos de eventos de alta cardinalidad. Aunque este enfoque unificado supera las canalizaciones tradicionales de recuperación y clasificación multietapa en calidad de personalización, introduce costes de inferencia elevados cuando se atienden solicitudes con historiales extensos. Reevaluar los estados clave-valor completos en cada interacción desperdicia cómputo en la GPU cuando la actividad histórica del usuario permanece en su mayoría sin cambios.

Optimización de artefactos compilados y memoria de caché

La arquitectura detallada resuelve los cuellos de botella de memoria y cómputo combinando capas de compilación y almacenamiento en caché. PyTorch AOTI exporta y compila el modelo previamente entrenado en un archivo nativo ejecutable directamente por un runtime de C++, reduciendo la sobrecarga de Python. Para gestionar tablas de empaquetado categórico de gran tamaño, NV Embedding Cache mantiene las incrustaciones activas en la GPU mientras conserva las tablas completas en la memoria principal de la CPU.

En los cálculos de atención, un gestor KVCacheManager organiza la memoria de la GPU como una tabla de clave-valor paginada respaldada por el motor FlexKV. El sistema almacena datos reutilizables de claves y valores del historial del usuario, admitiendo búsqueda, asignación, incorporación y desalojo mediante una política de tipo LRU. Los operadores adaptados permiten al kernel de atención de HSTU adjuntar nuevos tokens candidatos sin recalcular la atención de la secuencia histórica.

Flujo de despliegue y resultados del rendimiento

El despliegue del modelo requiere generar el paquete de PyTorch AOTI, iniciar el servicio FlexKV, validar los artefactos compilados con un ejecutable C++ nativo y cargar el conjunto en Dynamo-Triton mediante el backend de plataforma torch_aoti. NVIDIA evaluó este proceso en una tarjeta gráfica NVIDIA RTX PRO 6000 Blackwell Workstation Edition utilizando el conjunto de datos KuaiRand-1K con longitudes de secuencia de hasta 8.320 tokens.

En las pruebas con un tamaño de lote dinámico de 8 y una tasa del 100% de aciertos en la caché KV de la GPU, Dynamo-Triton junto con PyTorch AOTI obtuvo una aceleración de 4,47x en un modelo HSTU de tres capas y de 5,93x en la versión de ocho capas frente al mismo entorno AOTI sin caché. La latencia por solicitud lógica fue de 0,423 ms para el modelo de tres capas y de 0,678 ms para la variante de ocho capas. Los scripts de compilación y las guías están disponibles en GitHub dentro del repositorio recsys-examples de NVIDIA.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: Deploying an HSTU Generative Recommender with NVIDIA Dynamo-Triton