Amazon SageMaker AI détaille le RL multi-tours pour ajuster les agents de recherche

Amazon Web Services a détaillé une méthode d'entraînement pour les agents de recherche d'entreprise multi-étapes à l'aide de l'apprentissage par renforcement multi-tours (MTRL) sur Amazon SageMaker AI. Cette approche s'appuie sur des récompenses à l'échelle de la trajectoire pour affiner des modèles spécialisés à poids ouverts, offrant une alternative au recours à des modèles de langage majeurs coûteux ou au réglage fin supervisé statique.

Résoudre les défis des décisions multi-étapes

Le réglage fin supervisé traditionnel nécessite des démonstrations étape par étape d'experts, particulièrement difficiles à collecter en entreprise. De son côté, l'apprentissage par renforcement à tour unique optimise des réponses isolées sans prendre en compte les dépendances entre les étapes d'une recherche interactive. AWS explique que la fonction MTRL de SageMaker AI évalue des séquences multi-tours complètes, ce qui permet aux modèles de déterminer quand lancer une requête, quelle stratégie de recherche choisir et quand clore une session.

Le service MTRL fonctionne en mode serverless avec une facturation au jeton. Il exploite une architecture de déploiement asynchrone qui sépare la génération de texte des mises à jour de gradient, en s'appuyant sur des algorithmes comme PPO (Proximal Policy Optimization) et des estimateurs d'avantage tels que GRPO. Les sessions d'entraînement peuvent être reprises d'une tâche à l'autre, et les métriques de trajectoire sont directement intégrées dans MLflow au sein de SageMaker AI.

Performances d'optimisation sur les jeux de données de référence

Pour illustrer cette méthode, AWS a configuré l'ajustement du modèle Qwen3.6-27B dans la région us-west-2. La configuration de test a fourni deux outils à l'agent : la recherche lexicale BM25 pour le traitement exact des mots-clés et la recherche vectorielle pour les requêtes sémantiques. Le système a évalué les résultats finaux à l'aide du gain cumulatif discontinu normalisé au rang 10 (nDCG@10) comme récompense de trajectoire, tout en appliquant une pénalité de -1 en cas de dépassement du budget de jetons ou de la limite d'interactions.

Sur plusieurs jeux de données d'évaluation distincts, le modèle affiné a amélioré la précision de recherche sur trois des quatre benchmarks testés. Pour BrowseComp-Plus, le score nDCG@10 a progressé de 23,7 %, tandis que le taux d'échec de l'agent a chuté de 22,89 % à 0,68 %. Le benchmark WixQA a enregistré une hausse de 18,4 % du nDCG@10 et Wands a progressé de 6 %, malgré une légère régression observée sur FreshStack. AWS a souligné que les paramètres d'hyperparamètres par défaut de MTRL étaient suffisants pour obtenir ces gains.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: Fine-tune a search agent with multi-turn RL on Amazon SageMaker AI