ServiceNow presenta AutoSynthData para el entrenamiento sintético de agentes empresariales

ServiceNow CoreAI ha presentado AutoSynthData, un marco de trabajo diseñado para solucionar las brechas de rendimiento en agentes de inteligencia artificial para entornos empresariales. En lugar de recurrir a conjuntos de datos genéricos, la canalización analiza los puntos donde falla el modelo objetivo dentro del entorno de un sistema específico, utilizando dichos errores para generar tareas de entrenamiento sintético validadas y adaptadas a dicho entorno.

Estrategia de generación de tareas dirigida

AutoSynthData identifica las debilidades del modelo mediante evaluaciones diagnósticas que se ejecutan a la par con un modelo docente de mayor capacidad. El sistema sintetiza estas deficiencias en fichas de especificación depuradas, ocultando las peticiones de evaluación originales para evitar la duplicación directa de tareas. Controlada por una infraestructura compartida con adaptadores específicos para cada entorno, la canalización genera tareas sintéticas compuestas por una especificación del sistema, una petición de usuario y un verificador automatizado. El proceso consta de dos fases: primero se crean muestras fundamentales comprobadas y luego se producen variantes novedosas evitando la desviación de los candidatos.

Bucles rigurosos de verificación y reparación

Para garantizar la fiabilidad de los conjuntos de datos de entrenamiento, AutoSynthData somete cada candidato a validaciones de múltiples pasos. Las tareas se filtran según la dificultad para el modelo resolutor, seleccionando aquellos casos en los que el modelo objetivo falla pero el docente tiene éxito. Los candidatos pasan por una verificación positiva para confirmar la ejecución de la trayectoria de referencia, así como por una verificación negativa que asegura que los resultados incorrectos sean rechazados adecuadamente. Si una propuesta falla, un evaluador crítico automatizado diagnostica la causa e inicia reparaciones dirigidas dentro de un límite de intentos. Asimismo, un proceso de revisión general equilibra la cobertura entre familias de tareas para impedir la redundancia en los datos.

Resultados en pruebas de rendimiento empresarial

En las evaluaciones realizadas con la prueba de referencia EnterpriseOps Gym, AutoSynthData se enfocó en el modelo Gemma-4-26B-A4B-it utilizando modelos docentes más potentes. En el dominio Hybrid con Qwen3.8-27B como docente, el sistema generó 2000 muestras de entrenamiento sintético en unas 18 horas. El ajuste fino de Gemma con estos datos incrementó su puntuación media de Pass@1 en 7,2 puntos porcentuales —una mejora relativa del 35%—, al tiempo que elevó las tasas de éxito del verificador del 63,01% al 68,55%. Por su parte, en el dominio ITSM con DeepSeek-V4.1-Flash como docente, 1994 muestras sintéticas aumentaron el Pass@1 medio del 18,77% al 27,18%.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: AutoSynthData: Generating Training Data for Enterprise Agents