Circuit Breaker Labs utiliza usuarios simulados para evaluar la seguridad psicológica de la IA mediante ‘Red-Teaming’

La empresa emergente Circuit Breaker Labs está desarrollando entornos de prueba automatizados para evaluar los riesgos de seguridad psicológica en modelos de inteligencia artificial. Fundada por los hermanos Shirali y Arul Nigam, la compañía realiza simulaciones adversarias diseñadas para identificar respuestas peligrosas, apego parasocial y malentendidos provocados por el uso del lenguaje coloquial. TechCrunch seleccionó a Circuit Breaker Labs como uno de los finalistas de Startup Battlefield 200 para 2026, previo a su presentación en TechCrunch Disrupt en San Francisco, del 13 al 15 de octubre.

Simulación de interacciones humanas en el mundo real

En lugar de basarse únicamente en instrucciones estandarizadas, Circuit Breaker Labs despliega agentes de IA que actúan como usuarios simulados de diversas edades, culturas, idiomas y estilos de habla. Shirali Nigam, directora ejecutiva de la firma, señaló que aunque los modelos de IA procesan adecuadamente el lenguaje formal estándar, con frecuencia tienen dificultades para interpretar matices, modismos, errores tipográficos o patrones de habla locales. Según los fundadores, estas brechas comunicativas sutiles pueden llevar a que los modelos malinterpreten la intención del usuario en interacciones delicadas.

Para generar escenarios realistas, la empresa colabora con expertos humanos en la materia para construir perfiles simulados. Posteriormente, la compañía ejecuta entre decenas y cientos de miles de conversaciones simuladas al día contra modelos específicos. Este proceso de 'red-teaming' busca exponer la degradación del contexto y las vulnerabilidades de seguridad que surgen a lo largo de conversaciones naturales y prolongadas, en lugar de ataques deliberados al sistema.

Evaluación de despliegues de alto riesgo y estándares de prueba

En la actualidad, Circuit Breaker Labs opera como un laboratorio de pruebas de seguridad en IA enfocado en aplicaciones de alto riesgo, como plataformas de apoyo en salud mental, diarios personales con IA y herramientas de entrenamiento personal. Arul Nigam, director de tecnología, prefirió no revelar los nombres de sus clientes principales y señaló que el equipo de cinco personas se encuentra en sus etapas iniciales mientras opera un producto funcional.

La plataforma evalúa el rendimiento de los modelos mediante un sistema de puntuación propio que genera métricas de seguridad auditables. Los fundadores tienen la intención de expandir la plataforma de pruebas hacia casos de uso empresarial más amplios, como los agentes de IA para entornos laborales, para evitar que los usuarios desarrollen dependencias parasociales dañinas o caigan en bucles de retroalimentación conversacional desestabilizadores.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: Circuit Breaker Labs hopes to make AI safer for your kids (and you)