NVIDIA lance les exemples C++ open source DIN Deploy pour l’inférence IA locale

NVIDIA a présenté Do Inference Now (DIN) Deploy, un dépôt open source d'exemples en C++ conçu pour aider les développeurs à créer des applications d'IA locales accélérées par le matériel sous Windows et Linux. Ce projet associe ONNX Runtime au fournisseur d'exécution NVIDIA TensorRT RTX, permettant aux applications natives d'exécuter l'inférence de modèles accélérés tout en accédant au composant sous-jacent via les API standard d'ONNX Runtime ou WinML 2.0.

Séparation de l'exportation et de la logique d'exécution native

DIN Deploy sépare la conversion de modèle du code applicatif en utilisant un script Python pour télécharger les points de contrôle depuis Hugging Face et les exporter sous forme d'artefacts ONNX. Côté application, une interface en ligne de commande native en C++ s'appuie directement sur les API de session et de tenseurs d'ONNX Runtime. Les éléments spécifiques au matériel, tels que les API CUDA ou les noyaux personnalisés, sont isolés dans des parcours d'exécution optionnels, garantissant une logique applicative principale propre et portable.

Afin de préserver la localité des données sans imposer d'appels directs aux API spécifiques des constructeurs, les exemples exploitent l'API de copie de tenseurs d'ONNX Runtime. Pour les tâches nécessitant un traitement visuel spécialisé, comme le modèle FLUX.2, le dépôt s'appuie sur les capacités d'interopérabilité graphique introduites dans ONNX Runtime 1.25, combinées avec des shaders Vulkan et DirectX pour manipuler directement les ressources résidant sur le GPU.

Charge de travail et pipelines de modèles pris en charge

La collection d'exemples couvre un large éventail de cas d'usage pratiques en vision par ordinateur, traitement de la parole et IA générative. Pour la reconnaissance automatique de la parole, le projet propose OpenAI Whisper pour la transcription audio hors ligne, ainsi que NVIDIA Parakeet TDT et NVIDIA Nemotron ASR Streaming pour les flux audio en temps réel.

Dans le domaine de la vision par ordinateur, l'exemple Meta SAM 2.1 offre des fonctionnalités de segmentation interactive d'images et de vidéos afin de générer des masques pour le suivi et la sélection d'objets. Pour la création d'images, l'exemple FLUX.2-klein-4B illustre la génération à partir de texte. Il montre comment les modèles quantifiés avec NVIDIA Model Optimizer s'intègrent de manière transparente, en conservant l'interface ONNX sans nécessiter de modifications du code applicatif.

Environnement de compilation et limitations de plateforme

DIN Deploy intègre des configurations prédéfinies CMake qui récupèrent automatiquement les dépendances ONNX Runtime et TensorRT RTX lors de la compilation. Les architectures cibles prises en charge incluent x86-64 et Arm64, aussi bien sous Linux que sous Windows.

Certaines fonctionnalités demeurent soumises aux contraintes des plateformes. Bien que l'interopérabilité graphique Vulkan soit multiplateforme, l'intégration de DirectX reste strictement limitée aux systèmes Windows. De plus, si les techniques de quantification dépendent du matériel cible sous-jacent, la structure d'exécution ONNX reste rigoureusement identique d'un déploiement à l'autre.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: Build Local AI Apps with C++ and NVIDIA TensorRT RTX Samples