NVIDIA lança amostras em C++ de código aberto DIN Deploy para inferência local de IA

A NVIDIA apresentou o Do Inference Now (DIN) Deploy, um repositório de código aberto com exemplos em C++ projetado para ajudar desenvolvedores a criar aplicações locais de IA com aceleração de hardware no Windows e Linux. O projeto combina o ONNX Runtime com o provedor de execução NVIDIA TensorRT RTX, permitindo que aplicações nativas executem inferência acelerada de modelos enquanto acessam o provedor por meio das APIs padrão do ONNX Runtime ou do WinML 2.0.

Desacoplando a exportação da lógica de execução nativa

O DIN Deploy separa a conversão do modelo do código da aplicação utilizando um script em Python para baixar checkpoints do Hugging Face e exportá-los como artefatos ONNX. No lado da aplicação, a interface de linha de comando nativa em C++ é construída diretamente sobre as APIs de sessão e tensor do ONNX Runtime. Adições específicas de fornecedores, como APIs CUDA ou kernels customizados, ficam isoladas em caminhos de execução opcionais, mantendo a lógica principal limpa e portátil entre os hardwares suportados.

Para gerenciar a localidade dos dados sem a necessidade de chamadas diretas a APIs proprietárias, os exemplos utilizam a API de cópia de tensor do ONNX Runtime. Em tarefas que exigem processamento visual especializado, como o exemplo do FLUX.2, o repositório aproveita os recursos de interoperabilidade gráfica do ONNX Runtime 1.25 junto com shaders Vulkan e DirectX para processar recursos residentes na GPU de forma nativa.

Cargas de trabalho e pipelines de modelos suportados

A coleção de exemplos cobre uma variedade de aplicações práticas em visão computacional, reconhecimento de voz e IA generativa. No campo de reconhecimento automático de fala, o projeto inclui o OpenAI Whisper para transcrição de áudio offline, além do NVIDIA Parakeet TDT e do NVIDIA Nemotron ASR Streaming para fluxos contínuos de áudio em tempo real.

Para visão computacional, o exemplo do Meta SAM 2.1 oferece recursos de segmentação interativa em imagens e vídeos para gerar máscaras de rastreamento e seleção de objetos. Já para a criação generativa de imagens, o exemplo FLUX.2-klein-4B demonstra a geração a partir de texto. Ele ilustra como modelos quantizados com o NVIDIA Model Optimizer podem funcionar como substitutos diretos, mantendo a mesma interface ONNX sem exigir alterações no código da aplicação.

Ambiente de compilação e limitações da plataforma

O DIN Deploy inclui predefinições do CMake configuradas para buscar automaticamente as dependências do ONNX Runtime e do TensorRT RTX durante a compilação. As arquiteturas de destino suportadas incluem x86-64 e Arm64 nos ambientes Linux e Windows.

Alguns recursos permanecem limitados pelas capacidades da plataforma. Enquanto a interoperabilidade gráfica com Vulkan funciona de forma multiplataforma, a integração com DirectX está restrita aos sistemas Windows. Além disso, embora as técnicas de quantização dependam do hardware de destino específico, a estrutura de execução do ONNX permanece consistente em todas as implantações.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: Build Local AI Apps with C++ and NVIDIA TensorRT RTX Samples