AWS publie un guide technique pour le streaming synthétique de texte en parole en temps réel sur SageMaker AI

Amazon Web Services a détaillé un flux de travail technique permettant de servir des modèles vocaux multimodaux à faible latence à l'aide du container Deep Learning spécialisé AWS vLLM-Omni (DLC) sur Amazon SageMaker AI. Cette approche exploite des connexions bidirectionnelles persistantes afin de diffuser le flux audio au fur et à mesure de sa génération, cherchant ainsi à éliminer les temps de silence dans les applications vocales interactives, les agents virtuels et les outils d'accessibilité.

Architecture et transport bidirectionnel

L'architecture étend le runtime standard vLLM au-delà de la simple génération autoregressive de texte afin d'exécuter des flux multimodaux hétérogènes à plusieurs étapes. Le DLC vLLM-Omni v1.5 introduit un middleware de routage et un indicateur de capacité de streaming bidirectionnel qui s'intègrent directement aux infrastructures d'exécution de SageMaker AI. Les communications s'appuient sur un WebSocket full-duplex véhiculé via HTTP/2, se connectant à l'endpoint SageMaker sur le port 8443. Un sidecar SageMaker redirige le trafic directement vers les routes WebSocket internes nativement exposées dans le container, comme la route v1/audio/speech/stream.

Déploiement de Qwen3-TTS avec des pools d'instances

AWS a illustré cette configuration en s'appuyant sur le modèle Qwen3-TTS au sein d'un dépôt d'exemples. Le déploiement tire parti des pools d'instances SageMaker pour gérer la fiabilité du calcul et optimiser les coûts. Un pool d'instances définit une hiérarchie de repli avec des types d'instances GPU compatibles, en donnant la priorité à ml.g6.xlarge avant de basculer sur ml.g6e.xlarge, ml.g5.xlarge ou ml.g4dn.xlarge si la capacité principale est indisponible. SageMaker alloue une seule instance dans cette liste, bien que les développeurs doivent disposer d'un quota actif pour tous les types configurés dans le pool lors de la création de l'endpoint.

Implémentation client et streaming audio

Pour tester cette chaîne de traitement, les développeurs peuvent utiliser Python 3.12 ou une version plus récente, Boto3 à partir de la version 1.40.0 et le client Python SageMaker Runtime HTTP/2 version 0.4.0. L'implémentation s'associe à un client local Gradio qui initialise le flux bidirectionnel, définit les paramètres de sortie audio en modulation d'impulsion codée (PCM) à 24 kHz et transmet les événements textuels. Le client reçoit les marqueurs de cycle de vie audio ainsi que les fragments PCM en temps réel, restituant le son de manière séquentielle tout en affichant des métriques d'octets et de fragments avant la fin complète de la génération.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: Build real-time voice applications with vLLM-Omni on SageMaker AI – Part 1