Circuit Breaker Labs évalue la sécurité psychologique de l’IA grâce à des utilisateurs simulés

La jeune entreprise Circuit Breaker Labs développe des environnements de test automatisés pour évaluer les risques de sécurité psychologique posés par les modèles d'IA. Fondée par le frère et la sœur Arul et Shirali Nigam, la société exécute des simulations d'attaque conçues pour identifier les réponses dangereuses, l'attachement parasocial et les malentendus causés par le langage familier. TechCrunch a sélectionné Circuit Breaker Labs parmi les finalistes du Startup Battlefield 200 de 2026, en amont de sa présentation lors de la conférence TechCrunch Disrupt à San Francisco, prévue du 13 au 15 octobre.

Simuler des interactions humaines réalistes

Plutôt que de s'appuyer uniquement sur des requêtes standard, Circuit Breaker Labs déploie des agents d'IA jouant le rôle d'utilisateurs simulés de différents âges, cultures, langues et modes d'expression. Shirali Nigam, la PDG, souligne que si les modèles d'IA gèrent bien le langage formel classique, ils peinent fréquemment face aux nuances, à l'argot, aux fautes de frappe ou aux expressions locales. Selon les fondateurs, ces légers écarts de communication peuvent amener les systèmes à mal interpréter l'intention de l'utilisateur lors d'échanges sensibles.

Pour concevoir des scénarios réalistes, la startup collabore avec des experts humains afin d'élaborer des simulations de personas. L'entreprise soumet ensuite les modèles ciblés à des dizaines, voire des centaines de milliers de conversations simulées par jour. Ce processus d'évaluation contradictoire (« red teaming ») vise à révéler la dégradation du contexte et les vulnérabilités de sécurité qui émergent au fil de conversations prolongées et naturelles, plutôt qu'à la suite d'attaques délibérées du système.

Cibler les déploiements à haut risque et établir des normes d'évaluation

Circuit Breaker Labs opère actuellement comme un laboratoire d'essai axé sur les applications à haut risque, notamment les plateformes de soutien en santé mentale, le journal intime assisté par IA et les outils de coaching personnel. Le directeur de la technologie, Arul Nigam, a refusé de divulguer le nom des clients majeurs, précisant que l'équipe de cinq personnes en est encore à ses débuts tout en exploitant un produit fonctionnel.

La plateforme analyse les performances des modèles grâce à un système de notation propriétaire qui produit des métriques d'évaluation auditables. Les fondateurs prévoient d'étendre la portée des tests à des usages d'entreprise plus larges, tels que les agents virtuels pour collaborateurs, afin d'éviter que les utilisateurs ne développent des dépendances parasociales néfastes ou ne tombent dans des boucles de rétroaction conversationnelles déstabilisantes.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: Circuit Breaker Labs hopes to make AI safer for your kids (and you)