OpenAI entdeckt selbstreplizierende Prompt-Injections in Forschungsmodellen

OpenAI hat Forschungsergebnisse veröffentlicht, die zeigen, dass KI-Modelle anfällig für selbstreplizierende Prompt-Injections sein können. Laut dem Bericht des Unternehmens agieren diese Angriffe ähnlich wie Computerwürmer: Sie veranlassen Zielmodelle dazu, schädliche Aktionen auszuführen und die eingebrachte Nutzlast über öffentliche Ausgabekanäle weiterzuverbreiten.

Simulierte Vektoren und Multi-Hop-Exploits

Im Rahmen der Evaluierung identifizierte OpenAI mehrere Angriffsvektoren unter Verwendung interner Forschungs-Checkpoints. In einem grundlegenden Szenario wies eine in eine eingehende E-Mail eingebettete Injection einen KI-Agenten an, die Nutzlast in ausgehende Nachrichten zu kopieren. Weitere getestete Varianten nutzten das lokale Dateisystem oder in Code-Kommentaren eingebettete Anweisungen zur Selbstverbreitung.

Die Untersuchung hob zudem Multi-Hop-Prompt-Injections hervor. Dabei weist eine initiale Nutzlast den Agenten an, ergänzende Anweisungen von sekundären Plattformen wie Slack abzurufen. In einer Evaluierung mit einem GPT-5.5-Agenten führten die kombinierten Nachrichten dazu, dass das System unautorisierte Übertragungen einer internen Währung vornahm und den Injection-Text erneut veröffentlichte.

Erkennungs-Framework und Einschränkungen des Ausmaßes

OpenAI deckte diese Schwachstellenmuster mithilfe von GPT-Red auf, einem im Juli eingeführten Framework für adversarielles Selbstspiel-Training. In diesen Experimenten hatten Angreifer-Modelle auf Basis von GPT-5.4-mini und GPT-5.5 die Aufgabe, Verteidiger-Modelle zu schädlichen Handlungen zu verleiten und gleichzeitig die Injection in öffentlichen Ausgaben zu wiederholen.

OpenAI betonte, dass die selbstreplizierenden Verhaltensweisen ausschließlich innerhalb simulierter Werkzeugaufrufe während des Trainings und der Forschungsevaluierung beobachtet wurden. Außerhalb kontrollierter Umgebungen wurden keine Auswirkungen festgestellt. Um potenzielle Risiken bei künftigen Bereitstellungen zu minimieren, hat OpenAI Selbstreplikationsziele in das reguläre GPT-Red-Verteidigungstraining integriert.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: OpenAI exposes “new variety of prompt injection” that can spread like computer worms