ServiceNow apresenta AutoSynthData para treinamento sintético de agentes corporativos

A ServiceNow CoreAI apresentou o AutoSynthData, um framework desenvolvido para resolver lacunas de desempenho em agentes de IA corporativos. Em vez de depender de conjuntos de dados genéricos, o pipeline analisa em quais pontos um modelo-alvo apresenta dificuldades em um ambiente de sistema específico, utilizando essas falhas para gerar tarefas de treinamento sintéticas validadas e fundamentadas no ambiente.

Estratégia de geração direcionada de tarefas

O AutoSynthData identifica as fraquezas do modelo executando avaliações diagnósticas em conjunto com um modelo professor mais forte. O sistema destila essas lacunas de capacidade em cartões de especificação higienizados, ocultando os prompts originais de avaliação para evitar a duplicação direta de tarefas. Controlado por uma estrutura compartilhada com adaptadores específicos para cada ambiente, o pipeline gera tarefas sintéticas definidas por uma especificação de sistema, um prompt de usuário e um verificador automatizado. A criação ocorre em duas etapas: geração de amostras principais validadas e produção de variantes inéditas, prevenindo o desvio de candidatos.

Loops rigorosos de verificação e reparo

Para garantir a confiabilidade dos conjuntos de dados de treinamento, o AutoSynthData aplica uma validação em várias etapas a cada tarefa candidata. As tarefas são filtradas com base em critérios de dificuldade do solucionador, selecionando candidatos nos quais o modelo-alvo falha, mas o modelo professor obtém sucesso. Os candidatos passam por verificação positiva para confirmar a execução da trajetória de referência e por verificação negativa para assegurar que resultados incorretos sejam rejeitados adequadamente. Se um candidato falhar, um crítico automatizado diagnostica a falha e inicia reparos direcionados dentro de limites de tentativas estabelecidos. Um processo de metarrevisão equilibra a cobertura entre famílias de tarefas para evitar a redundância de dados.

Resultados em benchmarks corporativos

Em avaliações utilizando o benchmark EnterpriseOps Gym, o AutoSynthData direcionou os testes ao modelo Gemma-4-26B-A4B-it com o suporte de modelos professores mais fortes. No domínio Hybrid, usando o Qwen3.8-27B como professor, o pipeline gerou 2.000 amostras sintéticas de treinamento em cerca de 18 horas. O ajuste fino do Gemma com esse conjunto de dados aumentou sua pontuação média de Pass@1 em 7,2 pontos percentuais — uma melhoria relativa de 35% —, elevando as taxas de sucesso do verificador de 63,01% para 68,55%. No domínio ITSM, com o DeepSeek-V4.1-Flash como professor, 1.994 amostras sintéticas elevaram a média de Pass@1 de 18,77% para 27,18%.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: AutoSynthData: Generating Training Data for Enterprise Agents