Nvidia lanza una plataforma de código abierto para controlar agentes de IA autónomos

Nvidia anunció la Nvidia Open Agent Safety Platform, una plataforma gratuita y de código abierto con controles para gobernar agentes de IA autónomos en el entorno de ejecución, los recursos informáticos y el hardware subyacente. Según SiliconANGLE, la plataforma combina el software OpenShell de Nvidia con Nvidia Sentry.

Controles más allá del modelo

La plataforma refleja la postura de Nvidia de que las instrucciones y las restricciones aplicadas en el nivel de la aplicación no bastan para contener agentes capaces de actuar de forma independiente. Su enfoque establece mecanismos de control en tres capas: los propios agentes, la infraestructura informática que los ejecuta y el hardware que sostiene esa infraestructura.

OpenShell proporciona el entorno de ejecución. Nvidia lo describe como un sistema de código abierto para operar grupos de agentes autónomos en espacios aislados, rastrear sus acciones y aplicar políticas fuera de las barreras de seguridad del modelo de lenguaje de gran tamaño que utilizan. El software está optimizado para las unidades centrales de procesamiento Nvidia Vera y también es compatible con CPU de Intel y Arm.

Supervisión desde el hardware

Nvidia Sentry es el componente de la plataforma orientado al hardware. Se trata de un diseño de referencia basado en Nvidia DOCA y concebido para ejecutarse en unidades de procesamiento de datos BlueField-4. Nvidia afirma que Sentry puede inspeccionar las solicitudes de los agentes, verificar identidades y acciones, y detener un agente cuando supera los límites que tiene asignados.

Este diseño sitúa parte de la supervisión de los agentes por debajo del nivel de la aplicación, de modo que los controles pueden abarcar la infraestructura que ejecuta un agente, en lugar de depender únicamente del modelo o del software que lo envuelve. La fuente describe Sentry como un diseño de referencia, por lo que sus capacidades declaradas siguen siendo una descripción de Nvidia del sistema.

Usuarios y límites señalados

Según Nvidia, SpaceXAI utiliza la plataforma con los agentes de programación de Cursor y el modelo de lenguaje de gran tamaño Grok. Salesforce ha integrado OpenShell con Slack para ofrecer aprobaciones humanas, visibilidad y seguimiento de auditoría, mientras que SAP lo emplea con SAP Business AI Platform. Nvidia también menciona a Figure AI, Gecko Robotics y Skild AI como usuarios de OpenShell en sistemas robóticos.

Nvidia afirma que la plataforma está disponible mediante sus recursos para desarrolladores y GitHub. El informe no aporta pruebas independientes ni evidencia sobre la fiabilidad con la que funcionan los controles a gran escala, por lo que su eficacia en situaciones reales sigue siendo incierta.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: Nvidia debuts enhanced safety controls to rein in rogue AI agents