Nvidia y CoreWeave abordan los cuellos de botella de las CPU en la infraestructura de IA orientada a agentes

A medida que la inteligencia artificial basada en agentes evoluciona desde la generación estática de texto hacia la ejecución autónoma de tareas, los requisitos de infraestructura están cambiando. Mientras las unidades de procesamiento gráfico gestionan el razonamiento de los modelos subyacentes, las unidades centrales de procesamiento se encargan cada vez más de ejecutar acciones externas, como llamadas a interfaces de programación de aplicaciones, interacciones con herramientas y consultas a bases de datos. Para solucionar los cuellos de botella de rendimiento resultantes, Nvidia Corp. ha diseñado de forma conjunta su CPU Vera, la cual el proveedor de servicios en la nube CoreWeave Inc. planea integrar en toda su infraestructura.

El crecimiento de las cargas de trabajo expone los límites de ejecución de las CPU

Según Hannah Coutand, directora de marketing de producto en Nvidia, el auge de la IA orientada a agentes y el aprendizaje por refuerzo introduce un elevado volumen de llamadas a herramientas y consultas SQL que ejercen una gran presión sobre las CPU anfitrionas. Nvidia diseñó la CPU Vera específicamente para hacer frente a estos cuellos de botella de ejecución a nivel de sistema. El chip ofrece un alto ancho de banda de memoria, baja latencia y núcleos de CPU rápidos, adaptados para cerrar la brecha de rendimiento entre las decisiones de inferencia del modelo y la ejecución en los entornos secundarios.

Sandboxes de CoreWeave registra triplicar la velocidad de inicio

El proveedor en la nube CoreWeave anunció sus planes para implementar capacidad independiente de la CPU Vera junto con sus ofertas existentes de clústeres de GPU. Harsh Banwait, director sénior de producto en CoreWeave, explicó que la empresa evaluó las CPU Vera dentro de su entorno Sandboxes, unos espacios de ejecución aislados donde los agentes de IA ejecutan tareas durante el aprendizaje por refuerzo y la ejecución de inferencias. En pruebas internas, CoreWeave observó aproximadamente una mejora del triple en los tiempos de inicio de Sandboxes al utilizar las CPU Vera.

Arquitectura de seguridad cointegrada en las bandejas Vera Rubin

La infraestructura para agentes autónomos también requiere barreras de seguridad a nivel de hardware. Nvidia gestiona el cumplimiento en tiempo de ejecución a través de su plataforma Open Agent Safety Platform, que combina los controles de ejecución OpenShell en la CPU Vera con Nvidia Sentry ejecutándose en unidades de procesamiento de datos (DPU) BlueField-4. Ambos componentes residen dentro de una misma bandeja Vera Rubin, lo que proporciona supervisión dedicada del hardware y cumplimiento de normas de seguridad, manteniendo sincronizados el rendimiento de cómputo, memoria y red en todo el sistema.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: Nvidia and CoreWeave tackle the CPU bottleneck in agentic AI infrastructure