PyTorch überarbeitet Infrastruktur zur Standardisierung der Multi-Hardware-Beschleuniger-Integration

Die Arbeitsgruppe für Beschleuniger-Integration von PyTorch hat ihre Infrastruktur-Updates für das erste Halbjahr 2026 vorgestellt. Der Schwerpunkt liegt darauf, die Anbindung neuer Hardware-Architekturen an das Open-Source-Framework zu standardisieren. Da sich KI-Rechenplattformen in Cloud-, Edge- und spezialisierten Siliziumumgebungen zunehmend diversifizieren, setzt die Arbeitsgruppe auf herstellerneutrale Integrationsmechanismen, um benutzerdefinierte Code-Patches zu vermeiden und die Fragmentierung des Ökosystems zu verringern.

Automatisierte CI-Relays über Ökosystem-Projekte hinweg

Um Transparenzlücken zwischen dem zentralen PyTorch-Projekt und externen Projekten zu schließen, führte die Arbeitsgruppe das Cross-Repository CI Relay (CRCR) ein. Wenn Code-Änderungen im Haupt-Repository von PyTorch eingereicht werden, löst CRCR über Webhooks nachgelagerte CI-Workflows in registrierten Projekten aus – darunter Intel XPU, AMD ROCm, Apple MPS, Qualcomm AI Engine, vLLM, SGLang und Hugging Face Transformers. Die teilnehmenden Repositories verifizieren ihre Identität mithilfe kryptografischer GitHub-OIDC-Tokens und melden Ausführungsstatus über vier Stufen von L1 bis L4 an das PyTorch CI HUD.

Entkopplung von Test-Suites für backend-übergreifende Wiederverwendung

Die Validierung neuer Hardware anhand der PyTorch-Testsuite mit mehr als 600.000 Testfällen erforderte zuvor die Pflege eigener Patches, da Backend-Parameter fest im Code hinterlegt waren. Im ersten Halbjahr 2026 überarbeiteten Mitwirkende mehr als 276 Testdateien für den Einsatz geräteagnostischer Ausführungspfade wie instantiate_device_type_tests(). Das Team implementierte zudem ein Attributsystem für hw_classification sowie einen HW_CLASSIFICATION-Linter zur Kategorisierung von Testklassen. Dadurch können CI-Runner relevante Hardware-Test-Subsets über CUDA-, MPS-, XPU-, ROCm- und PrivateUse1-Backends hinweg automatisch auswählen und ausführen.

Standardisierung von Profiling-, Distributed- und Compiler-Integration

Um Entwicklern von Backends klare Referenzen für die Implementierung zu bieten, baute die Gruppe OpenReg aus, PyTorch' minimales CPU-gestütztes Referenz-Backend für PrivateUse1-Integrationen. Auf Basis von OpenReg führte das Team Referenz-Stubs für Out-of-Tree-Profiling über die API REGISTER_PRIVATEUSE1_PROFILER ein, um eine Verbindung zu Kineto ohne Änderungen am Quellcode des Frameworks herzustellen. Für verteiltes Training entwickelte die Gruppe die OpenReg Collective Communications Library (OCCL) als hardwareunabhängige Referenz für die Registrierung von c10d-ProcessGroups. Darüber hinaus dokumentierte die Arbeitsgruppe Integrationspfade für torch.compile und demonstrierte Graph-Capture in Dynamo sowie Kernel-Fusion in Inductor ohne vorgelagerte Code-Änderungen.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: PyTorch Hardware Enablement: Updates from the Acceleration Integration Working Group