NVIDIA VSS Blueprint 3.3 adiciona composição de agentes e amostragem adaptativa de vídeo

O NVIDIA VSS Blueprint 3.3 introduz duas mudanças voltadas ao custo de criar e operar agentes de IA visual: a habilidade Build Vision Agent, que combina fluxos de vídeo a partir de componentes existentes, e a Adaptive Efficient Video Sampling (EVS), que reduz os tokens visuais enviados a um modelo de visão e linguagem (VLM). Segundo a NVIDIA, a atualização pode diminuir em 80% os tokens de entrada do VLM em um resumo de 60 minutos e aumentar em 46% o número de streams simultâneos na mesma GPU.

Um plano de implantação a partir de um prompt

A nova habilidade vss-build-vision-ai recebe uma descrição em linguagem natural e a transforma em fluxos de trabalho, microsserviços e configurações do VSS. O processo começa pelo mais próximo entre quatro perfis de desenvolvedor validados. Esse perfil inicial é chamado de Foundation. Em seguida, a habilidade calcula a menor alteração necessária, em vez de reconstruir toda a pilha. Serviços compartilhados como Kafka, Redis, Elasticsearch e Video IO and Storage (VIOS) podem ser reutilizados quando vários fluxos precisam deles.

A habilidade gera os arquivos de implantação, exibe um diagrama de arquitetura para revisão e executa verificações de validação, implantação e prontidão. Ela também pode ampliar uma implantação existente com um delta menor. A NVIDIA afirma que um agente de uma linha de engarrafamento de suco de laranja, combinando ingestão de câmeras, alertas, clipes pesquisáveis e relatórios de turno, chegou a uma implantação que podia ser visualizada em menos de 30 minutos em um host com duas GPUs RTX PRO 6000 Blackwell.

Ignorando o vídeo que não mudou

O recurso Adaptive EVS funciona dentro do microsserviço de VLM em tempo real. Ele compara regiões dos quadros com o quadro anterior, descarta as áreas que não sofreram alterações e agrupa o processamento em torno dos períodos de atividade. O recurso foi projetado para tarefas como verificação de alertas, geração densa de legendas e sumarização de vídeos longos, nas quais reenviar regiões estáticas a um VLM pode consumir tempo considerável de GPU e muitos tokens.

No teste divulgado pela NVIDIA, realizado em uma NVIDIA RTX PRO 6000 Blackwell com Cosmos 3 Super FP8, o recurso Adaptive EVS reduziu a latência de contextualização de alertas de 1.021 milissegundos para 844 milissegundos e elevou de 13 para 19 os streams simultâneos de VLM em tempo real. A NVIDIA também relata que um vídeo de 60 minutos foi resumido em aproximadamente metade do tempo, usando 80% menos tokens de entrada do VLM.

Os benchmarks continuam necessários

Os ganhos relatados dependem do movimento na cena, do tamanho dos blocos e do limite de similaridade. O recurso Adaptive EVS é opcional, oferece menos vantagem quando poucos quadros geram respostas longas e é executado no contêiner RT-VLM, e não em endpoints remotos. A NVIDIA recomenda medir precisão, throughput e latência com vídeos representativos antes de definir as configurações de produção.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: Lower the Cost of Building and Running Visual AI Agents with NVIDIA VSS Blueprint 3.3