Circuit Breaker Labs usa usuários simulados para testar IA contra riscos psicológicos

A startup Circuit Breaker Labs está desenvolvendo ambientes de testes automatizados para avaliar modelos de IA quanto a riscos de segurança psicológica. Fundada pelos irmãos Shirali e Arul Nigam, a empresa executa simulações adversariais projetadas para identificar respostas perigosas, apego parasocial e mal-entendidos causados por linguagens coloquiais. O TechCrunch nomeou a Circuit Breaker Labs como uma das finalistas do Startup Battlefield 200 de 2026, antes de sua apresentação no TechCrunch Disrupt em São Francisco, que ocorrerá de 13 a 15 de outubro.

Simulando interações humanas do mundo real

Em vez de se basear apenas em prompts padrão, a Circuit Breaker Labs implanta agentes de IA que atuam como usuários simulados de diferentes idades, culturas, idiomas e estilos de fala. A CEO Shirali Nigam observou que, embora os modelos de IA lide bem com a linguagem formal padrão, eles frequentemente encontram dificuldades com nuances, gírias, erros de digitação ou padrões de fala locais. Segundo os fundadores, essas sutis lacunas de comunicação podem levar os modelos a interpretar mal a intenção do usuário durante interações sensíveis.

Para criar cenários realistas, a startup colabora com especialistas humanos para construir simulações de personas. Em seguida, a empresa executa de dezenas a centenas de milhares de conversas simuladas diariamente contra os modelos analisados. Esse processo de red-teaming é projetado para expor a degradação de contexto e vulnerabilidades de segurança que surgem ao longo de conversas longas e naturais, em vez de ataques deliberados ao sistema.

Foco em implantações de alto risco e padrões de avaliação

Atualmente, a Circuit Breaker Labs opera como um laboratório de testes de segurança em IA voltado para aplicações de alto risco, incluindo plataformas de apoio à saúde mental, diários digitais com IA e ferramentas de coaching pessoal. O CTO Arul Nigam preferiu não revelar os nomes dos principais clientes, destacando que a equipe de apenas cinco pessoas está em seus estágios iniciais, apesar de já operar com um produto funcional.

A plataforma avalia o desempenho dos modelos por meio de um sistema proprietário de pontuação que gera métricas de segurança auditáveis. Os fundadores pretendem expandir a plataforma de testes para casos de uso corporativos mais amplos, como agentes de IA para apoio ao trabalho, evitando que os usuários desenvolvam dependências parasociais prejudiciais ou entrem em loops de retroalimentação conversacional desestabilizadores.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: Circuit Breaker Labs hopes to make AI safer for your kids (and you)