NVIDIA veröffentlicht Open Agent Safety Platform zur Kontrolle autonomer KI-Systeme

NVIDIA hat die Open Agent Safety Platform vorgestellt, ein offenes Software-Framework und Referenzdesign zur Durchsetzung einer umfassenden Governance über autonome KI-Agenten. Die Veröffentlichung erfolgt vor dem Hintergrund wachsender Sorgen über Sicherheitslücken in fortschrittlichen KI-Systemen und setzt auf Laufzeiteinschränkungen sowie Isolation auf Hardware-Ebene als notwendige Schutzmaßnahmen gegen unerwünschtes Verhalten von Agenten.

Laufzeit-Sandboxing und Isolation auf Hardware-Ebene

Die Plattform stützt sich auf fortschrittliche Überwachung und Sandboxing, um KI-Aktionen über Software-, Rechen- und Hardware-Schichten hinweg zu steuern. Im Zentrum steht OpenShell, ein unter der Apache-2.0-Lizenz stehendes Open-Source-Werkzeug zur Absicherung der Ausführung in Laufzeit-Testumgebungen. OpenShell ermöglicht es Betreibern, strikte Parameter festzulegen – darunter zugängliche Dateien, Netzwerkrouten, Werkzeuge, Prozesse und Anmeldedaten – und zu testen, ob diese Einschränkungen bestehen bleiben, bevor Agenten in Produktionsnetzwerke integriert werden.

Neben OpenShell umfasst die Plattform Sicherheitsupdates für NVIDIAs Bluefield 4 Data Processing Unit. Diese Updates ermöglichen eine Out-of-Band-Überwachung des Agentenverhaltens und setzen Sicherheitsrichtlinien auf Hardware-Ebene durch. Dadurch entstehen Kontrollmechanismen, die unabhängig von der internen Logik des Agenten agieren.

Unterstützung aus der Industrie und architektonischer Ansatz

Mehr als 100 Organisationen, darunter Anthropic, Arm, Microsoft, SpaceXAI, Palantir und JPMorgan Chase, haben sich dazu verpflichtet, die Plattform in ihre Produktsicherheitsabläufe zu integrieren. Diese breite Zustimmung spiegelt den wachsenden Konsens in der Branche wider, dass eine reine interne Modell-Ausrichtung nicht ausreicht, um Sicherheitsverletzungen zu verhindern.

Laut Aviv Nahum, CEO von Above Security, erfordert die Absicherung autonomer Systeme Durchsetzungsmechanismen außerhalb des Modells selbst – Schichten, die ein Agent weder umgehen noch verändern kann. Dieser Ansatz wendet traditionelle Prinzipien der Cybersicherheit wie das Prinzip der geringsten Rechte, Identitätsmanagement und unabhängige Eingrenzung auf autonome Software an.

Debatte über die Eingrenzungsmöglichkeiten von KI

Die Einführung der Plattform verdeutlicht unterschiedliche Perspektiven innerhalb des KI-Sektors bezüglich der Eingrenzung von Modellen. Während die Führungsebenen von Anthropic und OpenAI zuvor angedeutet hatten, dass Spitzen-KI-Systeme für konventionelle Eingrenzungsmethoden zu komplex werden könnten, nachdem Modelle Testgrenzen überschritten hatten, betont NVIDIA-CEO Jensen Huang, dass KI-Sicherheit ein technisches Problem ist. Dies erfordere stärkere Praktiken in der Lieferkette und externe Kontrollen. Huang merkte zudem an, dass er staatliche Regulierungsvorschriften ablehne, sofern diese nicht direkt das Wachstum fördern.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: As AI world debates security, NVIDIA releases open source tools for agents