Amazon SageMaker AI zeigt Multi-Turn-RL zum Fine-Tuning von Such-Agenten

Amazon Web Services hat eine Methode zum Training mehrstufiger Such-Agenten für Unternehmen mittels Multi-Turn Reinforcement Learning (MTRL) auf Amazon SageMaker AI vorgestellt. Dieser Ansatz nutzt Belohnungen auf Trajektorienebene, um spezialisierte Open-Weight-Modelle feinzujustieren. Er bietet eine Alternative zu kostenintensiven Frontier-Modellen sowie zum statischen supervised Fine-Tuning.

Lösungen für mehrstufige Entscheidungsprozesse

Klassisches supervised Fine-Tuning setzt Experten-Demonstrationen für jeden Einzelschritt voraus, die in Unternehmensumgebungen schwer zu beschaffen sind. Single-Turn Reinforcement Learning hingegen optimiert isolierte Antworten und übersieht dabei Abhängigkeiten über mehrere Interaktionsrunden hinweg. AWS erläuterte, dass SageMaker AI MTRL vollständige Multi-Turn-Sequenzen auswertet. Dadurch lernen die Modelle, wann sie Suchanfragen stellen, welche Retrieval-Strategie sie wählen und wann sie eine Suche beenden müssen.

Der MTRL-Dienst arbeitet serverlos auf Basis eines Preismodells pro Token. Er nutzt eine asynchrone Rollout-Architektur, um die Generierung von den Gradienten-Updates zu trennen. Unterstützt wird dies durch Algorithmen wie Proximal Policy Optimization (PPO) und Advantage-Schätzer wie GRPO. Trainingsläufe können über mehrere Jobs hinweg fortgesetzt werden, während Trajektorien-Metriken über die MLflow-Integration in SageMaker AI einsehbar sind.

Leistungsfähigkeit bei Benchmark-Datensätzen

AWS demonstrierte den Aufbau durch das Feintuning von Qwen3.6-27B in der Region us-west-2. In der Testkonfiguration standen dem Agenten zwei Werkzeuge zur Verfügung: eine lexikalische BM25-Suche für exakte Schlüsselwort-Übereinstimmungen und eine Vektorsuche für semantische Anfragen. Das System bewertete die Endergebnisse unter Verwendung des Normalized Discounted Cumulative Gain bei Rang 10 (nDCG@10) als Trajektorien-Belohnung. Läufe, die Token-Budgets oder Interaktionslimits überschritten, erhielten einen Strafwert von -1.

Über zurückgehaltene Evaluierungs-Datensätze hinweg verbesserte das feineingestellte Modell die Retrieval-Genauigkeit bei drei von vier Benchmarks. Auf BrowseComp-Plus stieg der nDCG@10-Wert um 23,7 Prozent, während die Fehlerrate des Agenten von 22,89 Prozent auf 0,68 Prozent sank. Der WixQA-Benchmark verzeichnete einen Zuwachs von 18,4 Prozent beim nDCG@10 und Wands zeigte eine Verbesserung um 6 Prozent, obwohl FreshStack einen leichten Rückgang erlitt. Laut AWS reichten die Standard-Hyperparametereinstellungen von MTRL aus, um diese Ergebnisse zu erzielen.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Fine-tune a search agent with multi-turn RL on Amazon SageMaker AI