AWS lanza la habilidad MCP aws-ai-ml para optimizar la inferencia en SageMaker AI

Amazon Web Services ha presentado la habilidad de agente aws-ai-ml para simplificar la optimización de la inferencia de IA generativa en Amazon SageMaker AI. Distribuida a través de Agent Toolkit for AWS, la habilidad se conecta con asistentes de programación compatibles con el protocolo Model Context Protocol (MCP), tales como Claude Code, Kiro y Codex. Esta herramienta capacita a los agentes de desarrollo para ejecutar pruebas de rendimiento en endpoints de SageMaker, generar código ejecutable del SDK v3 de SageMaker para Python y recomendar configuraciones de despliegue según los objetivos de la carga de trabajo.

Pruebas de rendimiento en endpoints y comparativas de métricas

La habilidad aws-ai-ml permite que los agentes de código ejecuten pruebas de carga en endpoints existentes de SageMaker AI utilizando las API Workload.synthetic() y start_benchmark() del SDK de SageMaker para Python. En lugar de depender de estimaciones estáticas, la herramienta registra métricas reales medidas, que incluyen la tasa de procesamiento de solicitudes y tokens, los percentiles de latencia, el tiempo transcurrido hasta el primer token, el retraso entre tokens y los límites máximos de concurrencia. Los desarrolladores también pueden solicitar comparaciones automatizadas entre diferentes ejecuciones de pruebas de rendimiento para evaluar los cambios en el rendimiento tras modificar las instancias o la configuración.

Recomendaciones de hardware desde múltiples fuentes

Los ingenieros que evalúan los requisitos de hardware pueden proporcionar detalles del modelo para recibir recomendaciones clasificadas de instancias que se ajusten a sus objetivos de costo o capacidad de procesamiento. La habilidad admite modelos personalizados almacenados en Amazon Simple Storage Service (S3), modelos base del catálogo de Amazon SageMaker JumpStart y modelos abiertos alojados en Hugging Face Hub. En el caso de repositorios con acceso restringido en Hugging Face, el agente solicita a los desarrolladores que acepten los términos de la licencia y proporcionen tokens de autenticación antes de generar el código de evaluación.

Configuración del entorno y límites de seguridad

Los desarrolladores pueden integrar la habilidad localmente mediante Agent Toolkit for AWS —el cual requiere AWS CLI 2.35+ y uv— o ejecutarla en Amazon SageMaker Studio a través de espacios privados de JupyterLab con imágenes de entorno preconfiguradas. Determinados asistentes, como Kiro y Claude Code, también pueden descubrir y cargar la habilidad de forma dinámica en tiempo de ejecución a través del servidor MCP de AWS. La habilidad funciona utilizando las credenciales existentes de AWS del desarrollador y solicita una confirmación explícita del usuario antes de iniciar pruebas de carga que generen tráfico en endpoints activos.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: New agent skill: Amazon SageMaker optimized generative AI inference for your coding agent