Circuit Breaker Labs nutzt simulierte Nutzer für Red-Teaming zur psychologischen KI-Sicherheit

Das Startup Circuit Breaker Labs entwickelt automatisierte Testumgebungen, um KI-Modelle auf psychologische Sicherheitsrisiken zu prüfen. Das von den Geschwistern Shirali und Arul Nigam gegründete Unternehmen führt adversarielle Simulationen durch, um gefährliche Antworten, parasoziale Bindungen und Missverständnisse durch Umgangssprache zu identifizieren. TechCrunch hat Circuit Breaker Labs als einen der Finalisten des Startup Battlefield 200 für 2026 nominiert, noch vor dem Pitch auf der TechCrunch Disrupt in San Francisco vom 13. bis 15. Oktober.

Simulation realer menschlicher Interaktionen

Statt sich ausschließlich auf Standard-Prompts zu verlassen, setzt Circuit Breaker Labs KI-Agenten ein, die als simulierte Nutzer verschiedener Altersgruppen, Kulturen, Sprachen und Sprechstile agieren. CEO Shirali Nigam merkte an, dass KI-Modelle zwar mit formeller Standardsprache gut umgehen können, bei Nuancen, Slang, Tippfehlern oder regionalen Sprachmustern jedoch häufig Schwierigkeiten haben. Laut den Gründern können diese feinen Kommunikationslücken dazu führen, dass Modelle die Absicht bei sensiblen Nutzerinteraktionen falsch interpretieren.

Um realistische Szenarien zu erstellen, arbeitet das Startup mit menschlichen Fachexperten zusammen, um Persona-Simulationen aufzubauen. Das Unternehmen führt anschließend täglich Zehntausende bis Hunderthausende simulierter Gespräche mit den Zielmodellen durch. Dieser Red-Teaming-Prozess soll Kontextverluste und Sicherheitslücken aufdecken, die bei längeren, natürlichen Unterhaltungen entstehen, statt bei gezielten Angriffen auf das System.

Fokus auf Hochrisiko-Einsätze und Evaluierungsstandards

Circuit Breaker Labs agiert derzeit als Testlabor für KI-Sicherheit mit Schwerpunkt auf Hochrisiko-Anwendungen, darunter Plattformen zur Unterstützung der mentalen Gesundheit, KI-Tagebücher und persönliche Coaching-Tools. CTO Arul Nigam nannte keine Namen namhafter Kunden und verwies darauf, dass sich das fünfköpfige Team trotz eines voll funktionsfähigen Produkts noch in einer frühen Phase befindet.

Die Plattform bewertet die Modellleistung mithilfe eines proprietären Bewertungssystems, das prüfbare Sicherheitsmetriken liefert. Die Gründer beabsichtigen, die Testplattform auf breitere Unternehmensanwendungen auszuweiten, etwa auf KI-Kollegen-Agenten, um zu verhindern, dass Nutzer schädliche parasoziale Abhängigkeiten entwickeln oder in destabilisierende Rückkopplungsschleifen geraten.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Circuit Breaker Labs hopes to make AI safer for your kids (and you)