Amazon SageMaker AI detalha aprendizado por reforço multi-turnos para ajuste de agentes de busca

A Amazon Web Services detalhou um método para treinar agentes de busca empresarial de múltiplas etapas usando aprendizado por reforço multi-turnos (MTRL) no Amazon SageMaker AI. A abordagem utiliza recompensas no nível de trajetória para otimizar modelos abertos especializados, oferecendo uma alternativa ao uso de modelos de linguagem de grande porte dispendiosos ou ao ajuste fino supervisionado estático.

Enfrentando desafios em decisões de múltiplas etapas

O ajuste fino supervisionado tradicional exige demonstrações detalhadas passo a passo feitas por especialistas, que são difíceis de obter em ambientes corporativos. Por outro lado, o aprendizado por reforço de turno único otimiza respostas isoladas, perdendo as dependências existentes entre as rodadas interativas de busca. A AWS explicou que o MTRL no SageMaker AI avalia sequências completas de múltiplos turnos, permitindo que os modelos aprendam quando consultar, qual estratégia de recuperação selecionar e o momento de encerrar a busca.

O serviço de MTRL opera de forma sem servidor com tarifação baseada em tokens. Ele utiliza uma arquitetura de rollout assíncrono para separar a geração da atualização de gradientes, contando com suporte a algoritmos como Proximal Policy Optimization (PPO) e estimadores de vantagem como o GRPO. As sessões de treinamento podem ser retomadas entre diferentes tarefas, e as métricas de trajetória ficam acessíveis por meio da integração com o MLflow dentro do SageMaker AI.

Desempenho do ajuste fino em conjuntos de dados de benchmark

A AWS demonstrou essa estrutura ao realizar o ajuste fino do modelo Qwen3.6-27B na região us-west-2. A configuração de teste disponibilizou duas ferramentas ao agente: busca léxica BM25 para correspondência exata de palavras-chave e busca vetorial para consultas semânticas. O sistema pontuou os resultados finais usando o Normalized Discounted Cumulative Gain no rank 10 (nDCG@10) como recompensa de trajetória, atribuindo penalidade de -1 para execuções que ultrapassaram orçamentos de tokens ou limites de interação.

Em conjuntos de dados de avaliação reservados, o modelo ajustado aprimorou a precisão de recuperação em três de quatro benchmarks. No BrowseComp-Plus, o nDCG@10 aumentou 23,7%, enquanto a taxa de falha do agente caiu de 22,89% para 0,68%. O benchmark WixQA registrou ganho de 18,4% no nDCG@10 e o Wands teve melhora de 6%, embora o FreshStack tenha apresentado uma leve regressão. A AWS observou que as configurações padrão de hiperparâmetros do MTRL foram suficientes para alcançar esses ganhos.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: Fine-tune a search agent with multi-turn RL on Amazon SageMaker AI