Microsoft e Hugging Face lançam teste de desempenho ThinkingBox para bancos de dados de agentes de IA

A Microsoft e a Hugging Face lançaram o ThinkingBox, uma estrutura de teste de desempenho projetada para avaliar agentes de IA com base no estado real do banco de dados no backend, em vez de texto gerado ou chamadas de ferramentas. O projeto foca em medir o desempenho em fluxos de trabalho corporativos com estado para expor lacunas entre a aparente conclusão da tarefa e a verdadeira consistência dos dados.

Medindo a realidade do backend

Os testes de desempenho tradicionais geralmente se baseiam em logs de ferramentas ou resumos de modelos, o que pode mascarar erros subjacentes. Segundo a Microsoft e a Hugging Face, um agente pode relatar uma resolução bem-sucedida enquanto deixa registros incompletos, define valores de campo incorretos ou dispara efeitos colaterais indesejados. O ThinkingBox lida com isso executando agentes em sessões de ferramentas isoladas do Model Context Protocol (MCP), usando avaliadores determinísticos para inspecionar as alterações finais no banco de dados e identificar efeitos colaterais ausentes ou desnecessários.

Tentativas únicas versus consistência repetida

A avaliação testou 12 modelos de linguagem em 507 tarefas de negócios, executando cada cenário 20 vezes de forma independente a partir de um estado limpo. Embora modelos de ponta como o Claude Opus 5.5 e o Kimi-K3 tenham alcançado alta precisão em uma única tentativa (pass@1), a consistência caiu bruscamente quando se exigiu 20 execuções bem-sucedidas em 20 tentativas. Por exemplo, o Kimi-K3 resolveu mais de 93% das tarefas pelo menos uma vez, mas completou apenas 13,41% de forma consistente. Em contrapartida, o Claude Opus 5 concluiu 47,53% das tarefas em todas as tentativas, ilustrando que o sucesso em uma única tentativa não equivale à confiabilidade corporativa.

Modos de falha e disponibilidade

Uma análise das falhas no teste de desempenho revelou que cerca de quatro em cada cinco erros decorreram da manipulação de ferramentas e da recuperação de falhas, e não do raciocínio de alto nível. Os agentes frequentemente tiveram dificuldades para lidar com erros de ferramentas, pré-condições não cumpridas ou consultas vazias. O ThinkingBox está disponível por meio da interface OpenEnv na Hugging Face. A estrutura de execução foi publicada sob a licença MIT, enquanto o conjunto de dados do teste de desempenho foi lançado sob a CDLA-Permissive-2.0.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: The Agent Said It Was Done. The Database Disagreed.