AWS publica una guía técnica para la transmisión de texto a voz en tiempo real en SageMaker AI

Amazon Web Services ha detallado un flujo de trabajo técnico para servir modelos de habla multimodales de baja latencia utilizando el contenedor especializado AWS vLLM-Omni Deep Learning Container (DLC) en Amazon SageMaker AI. Este enfoque emplea conexiones bidireccionales persistentes para transmitir la salida de audio a medida que se genera, con el fin de eliminar las pausas en silencio en aplicaciones de voz interactivas, agentes virtuales y herramientas de accesibilidad.

Configuración arquitectónica y transporte bidireccional

La arquitectura amplía el entorno de ejecución estándar de vLLM más allá de la generación de texto autorregresiva para gestionar flujos de trabajo multimodales complejos en varias etapas. El contenedor DLC vLLM-Omni v1.5 introduce middleware de enrutamiento y una etiqueta de capacidad de transmisión bidireccional que se integra con la infraestructura de ejecución de SageMaker AI. La comunicación se basa en un WebSocket full-duplex transportado sobre HTTP/2, que se conecta al punto de enlace de SageMaker en el puerto 8443. Un proceso sidecar de SageMaker redirige el tráfico directamente a las rutas internas nativas de WebSocket dentro del contenedor, como la ruta v1/audio/speech/stream.

Despliegue de Qwen3-TTS con grupos de instancias

AWS demostró la configuración utilizando el modelo Qwen3-TTS dentro de un repositorio de ejemplo. El sistema utiliza grupos de instancias de SageMaker para gestionar la fiabilidad del cálculo y los costes. Un grupo de instancias establece una jerarquía de reserva de tipos de instancias GPU compatibles, priorizando ml.g6.xlarge antes de recurrir a ml.g6e.xlarge, ml.g5.xlarge o ml.g4dn.xlarge si la capacidad principal no está disponible. SageMaker aprovisiona una sola instancia de la lista, aunque los desarrolladores deben contar con cuota activa para todos los tipos configurados en el grupo durante la creación del punto de enlace.

Implementación del cliente y transmisión de audio

Para probar la canalización, los desarrolladores utilizan Python 3.12 o posterior, la versión 1.40.0 o superior de Boto3 y el cliente Python HTTP/2 de SageMaker Runtime en su versión 0.4.0. La implementación se conecta con un cliente local basado en Gradio que inicia el flujo bidireccional, especifica los ajustes de salida de modulación por impulsos codificados (PCM) a 24 kHz y transmite eventos de texto. El cliente recibe marcadores del ciclo de vida del audio y fragmentos PCM en tiempo real, reproduciendo el audio de forma incremental mientras registra métricas de bytes y contadores de fragmentos antes de que finalice la generación.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: Build real-time voice applications with vLLM-Omni on SageMaker AI – Part 1