Nvidia lança plataforma de código aberto para controlar agentes autônomos de IA

A Nvidia anunciou a Nvidia Open Agent Safety Platform, uma plataforma gratuita e de código aberto com controles para governar agentes autônomos de IA no ambiente de execução, nos recursos computacionais e no hardware subjacente. Segundo a SiliconANGLE, a plataforma combina o software OpenShell, da Nvidia, com o Nvidia Sentry.

Controles além do modelo

A plataforma reflete o argumento da Nvidia de que prompts e restrições no nível da aplicação não bastam para conter agentes capazes de agir de forma independente. A abordagem distribui a aplicação das regras por três camadas: os próprios agentes, a infraestrutura computacional que os executa e o hardware que sustenta essa infraestrutura.

O OpenShell fornece o ambiente de execução. A Nvidia o descreve como um sistema de código aberto para operar grupos de agentes autônomos em sandboxes isolados, rastrear suas ações e aplicar políticas fora das barreiras de segurança do modelo de linguagem de grande escala utilizado por eles. O software foi otimizado para as unidades centrais de processamento Nvidia Vera e também é compatível com CPUs da Intel e da Arm.

Monitoramento no nível do hardware

O Nvidia Sentry é o componente da plataforma voltado ao hardware. Trata-se de um projeto de referência de sistema baseado no Nvidia DOCA, destinado a operar em unidades de processamento de dados BlueField-4. A Nvidia afirma que o Sentry pode inspecionar solicitações dos agentes, verificar identidades e ações e interromper um agente quando ele ultrapassa os limites atribuídos.

Esse desenho desloca parte da supervisão dos agentes para baixo da camada da aplicação, permitindo que os controles alcancem a infraestrutura que executa um agente, em vez de depender apenas do modelo ou do software que o envolve. A fonte descreve o Sentry como um projeto de referência; portanto, suas capacidades declaradas continuam sendo uma caracterização da Nvidia sobre o sistema.

Usuários mencionados e limitações

Segundo a Nvidia, a SpaceXAI usa a plataforma com os agentes de programação do Cursor e o modelo de linguagem de grande escala Grok. A Salesforce integrou o OpenShell ao Slack para oferecer aprovações humanas, visibilidade e rastreamento de auditoria, enquanto a SAP o utiliza com sua SAP Business AI Platform. A Nvidia também cita Figure AI, Gecko Robotics e Skild AI como usuárias do OpenShell em sistemas de robótica.

A Nvidia afirma que a plataforma está disponível por meio de seus recursos para desenvolvedores e do GitHub. O relatório não apresenta testes independentes nem evidências sobre a confiabilidade dos controles em larga escala, deixando sua eficácia no mundo real ainda sem resposta.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: Nvidia debuts enhanced safety controls to rein in rogue AI agents