NVIDIA veröffentlicht Open-Source C++-Beispiele DIN Deploy für lokale KI-Inferenz

NVIDIA hat Do Inference Now (DIN) Deploy vorgestellt, ein Open-Source-Repository mit C++-Beispielen, die Entwickler bei der Erstellung hardwarebeschleunigter lokaler KI-Anwendungen unter Windows und Linux unterstützen. Das Repository kombiniert ONNX Runtime mit dem Execution Provider NVIDIA TensorRT RTX. Dadurch können native Anwendungen beschleunigte Modellinferenz ausführen und über Standard-APIs von ONNX Runtime oder WinML 2.0 auf den zugrundeliegenden Execution Provider zugreifen.

Entkopplung von Export und nativer Laufzeitlogik

DIN Deploy trennt die Modellkonvertierung vom Anwendungscode: Ein Python-Skript lädt Modell-Checkpoints von Hugging Face herunter und exportiert sie in ONNX-Artefakte. Die Anwendungsseite nutzt eine native C++-Befehlszeilenschnittstelle, die direkt auf den Session- und Tensor-APIs von ONNX Runtime aufbaut. Anbieterspezifische Ergänzungen wie CUDA-APIs oder benutzerdefinierte Kernel sind in optionalen Ausführungspfaden isoliert, wodurch die Kernlogik der Anwendung sauber und plattformübergreifend portabel bleibt.

Um die Datenlokalität ohne direkte Aufrufe von Hersteller-APIs zu verwalten, verwenden die Beispiele die Copy-Tensor-API von ONNX Runtime. Für Aufgaben mit spezieller visueller Verarbeitung, wie das FLUX.2-Beispiel, nutzt das Repository die Grafik-Interop-Funktionen von ONNX Runtime 1.25 zusammen mit Vulkan- und DirectX-Shadern, um auf der GPU liegende Ressourcen nativ zu verarbeiten.

Unterstützte Workloads und Modell-Pipelines

Die Beispielsammlung deckt verschiedene praktische Workloads aus den Bereichen Computer Vision, Sprache und generative KI ab. Im Bereich der automatischen Spracherkennung gehört OpenAI Whisper für die Offline-Audio-Transkription dazu, ebenso wie NVIDIA Parakeet TDT und NVIDIA Nemotron ASR Streaming für Echtzeit-Audio-Pipelines.

Für Computer Vision bietet das Beispiel Meta SAM 2.1 interaktive Bild- und Videosegmentierung, um Masken für die Objektverfolgung und -auswahl zu generieren. Für die Bilderzeugung demonstriert das Beispiel FLUX.2-klein-4B die Text-zu-Bild-Generierung. Es zeigt, wie mit dem NVIDIA Model Optimizer quantisierte Modelle als direkter Ersatz dienen können, da sie dieselbe ONNX-Schnittstelle beibehalten und keine Anpassungen am Anwendungscode erfordern.

Build-Umgebung und Plattform-Einschränkungen

DIN Deploy enthält CMake-Presets, die so konfiguriert sind, dass sie Abhängigkeiten von ONNX Runtime und TensorRT RTX während des Kompilierungsvorgangs automatisch beziehen. Zu den unterstützten Zielarchitekturen gehören x86-64 und Arm64 unter Linux- und Windows-Umgebungen.

Einige Funktionen bleiben durch die jeweiligen Plattformfähigkeiten eingeschränkt. Während die Vulkan-Grafik-Interoperabilität plattformübergreifend funktioniert, ist die DirectX-Integration auf Windows-Systeme beschränkt. Obwohl Quantisierungstechniken von der jeweiligen Zielhardware abhängen, bleibt der strukturelle ONNX-Ausführungsaufbau über verschiedene Bereitstellungen hinweg konsistent.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Build Local AI Apps with C++ and NVIDIA TensorRT RTX Samples