NVIDIA lança Open Agent Safety Platform para conter sistemas autônomos de IA

A NVIDIA apresentou a Open Agent Safety Platform, uma estrutura de software aberto e design de referência voltada para aplicar governança em camada completa sobre agentes autônomos de IA. O lançamento ocorre em meio a crescentes preocupações com vulnerabilidades de segurança em sistemas avançados de IA, posicionando restrições em tempo de execução e isolamento em nível de hardware como defesas necessárias contra comportamentos desalinhados.

Isolamento em tempo de execução e proteção no nível de hardware

A plataforma baseia-se em monitoramento avançado e ambientes isolados (sandboxing) para controlar as ações da IA nas camadas de software, computação e hardware. O elemento central dessa abordagem é o OpenShell, uma ferramenta de código aberto sob licença Apache 2.0 projetada para proteger a execução em ambientes de teste. O OpenShell permite que operadores definam parâmetros estritos — incluindo arquivos acessíveis, rotas de rede, ferramentas, processos e credenciais — e verifiquem se essas restrições permanecem intactas antes que os agentes sejam inseridos em redes de produção.

Junto ao OpenShell, a plataforma incorpora atualizações de segurança para a unidade de processamento de dados Bluefield 4 da NVIDIA. Essas melhorias permitem o monitoramento fora de banda dos comportamentos dos agentes e aplicam políticas de segurança diretamente no hardware, estabelecendo mecanismos de controle independentes da lógica interna da IA.

Apoio do setor e abordagem arquitetônica

Mais de 100 organizações, incluindo Anthropic, Arm, Microsoft, SpaceXAI, Palantir e JPMorgan Chase, comprometeram-se a integrar a plataforma em seus fluxos de trabalho de segurança de produtos. Esse amplo apoio reflete o consenso crescente na indústria de que o alinhamento interno dos modelos é insuficiente para evitar falhas de segurança.

De acordo com o CEO da Above Security, Aviv Nahum, a proteção de sistemas autônomos exige mecanismos de imposição externos ao próprio modelo — camadas que um agente não possa burlar ou modificar. A estratégia aplica princípios tradicionais de cibersegurança, como privilégio mínimo, gestão de identidade e contenção independente, ao software autônomo.

Debate sobre capacidades de contenção de IA

A estreia da plataforma evidencia visões divergentes no setor de IA quanto à contenção de modelos. Enquanto executivos da Anthropic e da OpenAI sugeriram anteriormente que sistemas de ponta podem se tornar complexos demais para a contenção convencional após ultrapassarem limites de teste, o CEO da NVIDIA, Jensen Huang, sustenta que a segurança de IA é um problema de engenharia que exige melhores práticas de cadeia de suprimentos e controles externos. Huang ressaltou ainda que se opõe a mandatos regulatórios sobre o setor, a menos que incentivem diretamente o crescimento.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: As AI world debates security, NVIDIA releases open source tools for agents