PyTorch refond son infrastructure pour standardiser l’intégration des accélérateurs multi-matériels

Le groupe de travail sur l'intégration des accélérateurs de PyTorch (Accelerator Integration Working Group) a détaillé ses mises à jour d'infrastructure pour le premier semestre 2026, axées sur la standardisation de la connexion des nouvelles architectures matérielles avec le framework open source. Alors que les plateformes de calcul pour l'IA se diversifient dans le cloud, l'edge et les puces spécialisées, le groupe de travail a donné la priorité à des mécanismes d'intégration neutres vis-à-vis des fournisseurs afin d'éliminer les correctifs de code personnalisés et de réduire la fragmentation de l'écosystème.

Relais CI automatisé à travers les projets de l'écosystème

Pour résoudre les lacunes de visibilité entre le projet central PyTorch et les projets externes, le groupe de travail a déployé le Cross-Repository CI Relay (CRCR). Lorsque des modifications de code sont soumises au dépôt principal de PyTorch, le CRCR utilise des webhooks pour déclencher des flux de travail CI en aval sur les projets enregistrés, notamment Intel XPU, AMD ROCm, Apple MPS, Qualcomm AI Engine, vLLM, SGLang et Hugging Face Transformers. Les dépôts participants vérifient leur identité à l'aide de jetons cryptographiques GitHub OIDC et transmettent leurs statuts d'exécution au tableau de bord PyTorch CI HUD selon quatre niveaux de participation allant de L1 à L4.

Découplage des suites de tests pour une réutilisation multi-backend

La validation de nouveaux matériels par rapport à la suite de PyTorch, forte de plus de 600 000 cas de test, nécessitait auparavant la maintenance de correctifs personnalisés en raison de paramètres de backend codés en dur. Au cours du premier semestre 2026, les contributeurs ont révisé plus de 276 fichiers de test afin d'utiliser des parcours d'exécution agnostiques vis-à-vis du matériel, tels que instantiate_device_type_tests(). L'équipe a également mis en place un système d'attributs hw_classification et un linter HW_CLASSIFICATION pour catégoriser les classes de test, permettant aux exécuteurs CI de sélectionner et d'exécuter automatiquement des sous-ensembles de tests matériels pertinents sur les backends CUDA, MPS, XPU, ROCm et PrivateUse1.

Standardisation du profilage, du calcul distribué et de l'intégration des compilateurs

Afin de fournir des références d'implémentation claires aux développeurs de backends, le groupe a étendu OpenReg, le backend de référence minimal basé sur CPU de PyTorch pour les intégrations PrivateUse1. En s'appuyant sur OpenReg, l'équipe a introduit des souches de référence pour le profilage hors de l'arbre de code via l'API REGISTER_PRIVATEUSE1_PROFILER, permettant une connexion à Kineto sans modifier le code source du framework. Pour l'entraînement distribué, le groupe a créé l'OpenReg Collective Communications Library (OCCL) comme référence indépendante du matériel pour l'enregistrement de ProcessGroup dans c10d. De plus, le groupe de travail a documenté les voies d'intégration de torch.compile, démontrant la capture de graphe dans Dynamo et la fusion de noyaux dans Inductor sans modifications du code en amont.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: PyTorch Hardware Enablement: Updates from the Acceleration Integration Working Group