AWS veröffentlicht aws-ai-ml MCP-Skill für Inferenzoptimierung in SageMaker AI

Amazon Web Services hat den KI-Agenten-Skill aws-ai-ml eingeführt, um die Inferenzoptimierung für generative KI innerhalb von Amazon SageMaker AI zu vereinfachen. Der Skill wird über das Agent Toolkit for AWS bereitgestellt und verbindet sich mit Programmierassistenten, die das Model Context Protocol (MCP) unterstützen, wie etwa Claude Code, Kiro und Codex. Er befähigt KI-Agenten von Entwicklern, Leistungstests auf SageMaker-Endpunkten auszuführen, ausführbaren SageMaker-Python-SDK-v3-Code zu generieren und Bereitstellungskonfigurationen basierend auf konkreten Workload-Zielen zu empfehlen.

Endpunkt-Benchmarking und Metrikvergleiche

Der aws-ai-ml-Skill ermöglicht es KI-Agenten, Lasttests auf bestehenden SageMaker-AI-Endpunkten mithilfe der APIs Workload.synthetic() und start_benchmark() des SageMaker Python SDKs durchzuführen. Anstatt sich auf statische Schätzungen zu verlassen, erfasst das Tool gemessene Kennzahlen wie Anfrage- und Token-Durchsatz, Latenz-Perzentile, die Zeit bis zum ersten Token (Time-to-First-Token), Verzögerungen zwischen Tokens sowie maximale Nebenläufigkeitsgrenzen. Entwickler können zudem automatisierte Vergleiche zwischen separaten Benchmark-Läufen anfordern, um Leistungsveränderungen über verschiedene Instanzen oder Konfigurationsanpassungen hinweg zu bewerten.

Hardware-Empfehlungen aus unterschiedlichen Quellen

Ingenieure, die Hardware-Anforderungen evaluieren, können Modell-Details bereitstellen, um priorisierte Instanz-Empfehlungen zu erhalten, die auf ihre Kosten- oder Durchsatzziele abgestimmt sind. Der Skill unterstützt benutzerdefinierte Modelle, die in Amazon Simple Storage Service (S3) gespeichert sind, Foundation-Modelle aus dem Katalog von Amazon SageMaker JumpStart sowie Open-Source-Modelle, die auf dem Hugging Face Hub gehostet werden. Bei zugriffsgeschützten Hugging-Face-Repositories fordert der KI-Agent Entwickler dazu auf, Lizenzbedingungen zu akzeptieren und Authentifizierungs-Tokens anzugeben, bevor Evaluationscode generiert wird.

Umgebungseinrichtung und Sicherheitsgrenzen

Entwickler können den Skill lokal über das Agent Toolkit for AWS integrieren – wofür die AWS CLI 2.35+ und uv erforderlich sind – oder ihn in Amazon SageMaker Studio über private JupyterLab-Umgebungen mit vorkonfigurierten Umgebungs-Images ausführen. Ausgewählte Assistenten wie Kiro und Claude Code können den Skill zudem zur Laufzeit dynamisch über den AWS MCP Server ermitteln und laden. Der Skill arbeitet unter Nutzung der bestehenden AWS-Zugangsdaten des Entwicklers und holt eine ausdrückliche Benutzerbestätigung ein, bevor Lasttests gestartet werden, die Datenverkehr auf aktiven Endpunkten erzeugen.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: New agent skill: Amazon SageMaker optimized generative AI inference for your coding agent