Amazon SageMaker AI detalla el aprendizaje por refuerzo multi-turno para agentes de búsqueda

Amazon Web Services detalló un método para entrenar agentes de búsqueda empresarial de múltiples pasos mediante el aprendizaje por refuerzo multi-turno (MTRL) en Amazon SageMaker AI. El enfoque emplea recompensas a nivel de trayectoria para afinar modelos abiertos especializados, ofreciendo una alternativa al uso de costosos modelos de lenguaje de gran escala o al ajuste supervisado estático.

Desafíos en la toma de decisiones de múltiples pasos

El ajuste supervisado estándar requiere demostraciones expertas paso a paso, las cuales resultan difíciles de recopilar para entornos empresariales. Por su parte, el aprendizaje por refuerzo de un solo turno optimiza respuestas aisladas, pasando por alto las dependencias entre rondas de búsqueda interactivas. AWS explicó que el servicio MTRL de SageMaker AI evalúa secuencias completas de múltiples turnos, lo que permite a los modelos aprender cuándo realizar consultas, qué estrategia de recuperación seleccionar y cuándo finalizar una búsqueda.

El servicio MTRL opera de forma serverless con un modelo de precios por token. Utiliza una arquitectura de despliegue asíncrona para separar la generación de las actualizaciones de gradiente, respaldada por algoritmos como la optimización próxima de políticas (PPO) y estimadores de ventaja como GRPO. Las ejecuciones de entrenamiento se pueden reanudar entre trabajos y las métricas de trayectoria se exponen mediante la integración de MLflow dentro de SageMaker AI.

Rendimiento de ajuste en conjuntos de datos de referencia

AWS demostró la configuración al afinar Qwen3.6-27B en la región us-west-2. La configuración de prueba proporcionó al agente dos herramientas: búsqueda léxica BM25 para coincidencias exactas de palabras clave y búsqueda vectorial para consultas semánticas. El sistema calificó las salidas finales utilizando la ganancia acumulada descontada normalizada en el rango 10 (nDCG@10) como recompensa de trayectoria, asignando además una puntuación de penalización de -1 a las ejecuciones que superaban los presupuestos de tokens o los límites de interacción.

En los conjuntos de datos de evaluación reservados, el modelo afinado mejoró la precisión de recuperación en tres de las cuatro referencias. En BrowseComp-Plus, el nDCG@10 aumentó un 23,7 por ciento, mientras que la tasa de errores del agente se redujo del 22,89 por ciento al 0,68 por ciento. La referencia WixQA experimentó un incremento del 18,4 por ciento en nDCG@10 y Wands mostró una mejora del 6 por ciento, aunque FreshStack registró una leve regresión. AWS señaló que la configuración predeterminada de hiperparámetros de MTRL fue suficiente para lograr estos avances.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: Fine-tune a search agent with multi-turn RL on Amazon SageMaker AI