AWS veröffentlicht technische Anleitung für Echtzeit-Text-zu-Sprache-Streaming auf SageMaker AI

Amazon Web Services hat einen technischen Arbeitsablauf zur Bereitstellung von multimodalen Sprachmodellen mit geringer Latenz vorgestellt. Dabei kommt der spezialisierte AWS vLLM-Omni Deep Learning Container (DLC) auf Amazon SageMaker AI zum Einsatz. Der Ansatz nutzt dauerhafte bidirektionale Verbindungen, um die Audioausgabe direkt während ihrer Erzeugung zu streamen. Dies soll störende Sprechpausen in interaktiven Sprachanwendungen, virtuellen Agenten und Barrierefreiheits-Tools verhindern.

Architektur und bidirektionaler Transport

Die Architektur erweitert die Standard-vLLM-Laufzeitumgebung über die autoregressive Textgenerierung hinaus, um heterogene, mehrstufige multimodale Prozesse zu verarbeiten. Der vLLM-Omni v1.5 DLC führt eine Routing-Middleware sowie eine Kennzeichnung für bidirektionale Streaming-Fähigkeiten ein, die sich in die Laufzeit-Infrastruktur von SageMaker AI integrieren. Die Kommunikation erfolgt über einen Vollduplex-WebSocket per HTTP/2, der sich über Port 8443 mit dem SageMaker-Endpunkt verbindet. Ein SageMaker-Sidecar leitet den Datenverkehr direkt an interne native WebSocket-Routen im Container weiter, wie etwa den Pfad v1/audio/speech/stream.

Bereitstellung von Qwen3-TTS mit Instanz-Pools

AWS veranschaulicht die Konfiguration am Beispiel des Qwen3-TTS-Modells in einem Beispiel-Repository. Das Setup nutzt SageMaker-Instanz-Pools, um Ausfallsicherheit und Kosten der Rechenressourcen zu verwalten. Ein Instanz-Pool legt eine Prioritätenfolge kompatibler GPU-Instanztypen fest. Dabei wird ml.g6.xlarge bevorzugt, bevor bei fehlender Kapazität auf ml.g6e.xlarge, ml.g5.xlarge oder ml.g4dn.xlarge zurückgegriffen wird. SageMaker stellt zwar nur eine einzelne Instanz aus der Liste bereit, Entwickler müssen jedoch während der Endpunkterstellung über aktive Kontingente für alle im Pool konfigurierten Typen verfügen.

Client-Implementierung und Audio-Streaming

Zum Testen der Pipeline benötigen Entwickler Python 3.12 oder neuer, Boto3 ab Version 1.40.0 sowie den SageMaker Runtime HTTP/2 Python-Client ab Version 0.4.0. Die Implementierung wird mit einem lokalen Gradio-Client gekoppelt, der den bidirektionalen Stream startet, die Parameter für die Pulse-Code-Modulation (PCM) auf 24 kHz festlegt und Text-Ereignisse übermittelt. Der Client empfängt Audiosignale sowie PCM-Datenblöcke in Echtzeit. Er gibt den Ton fortlaufend wieder und zeigt Zähler für Datenblöcke sowie Byte-Metriken an, noch bevor die Generierung vollständig abgeschlossen ist.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Build real-time voice applications with vLLM-Omni on SageMaker AI – Part 1