La vérification du type SPDM détecte une erreur dans la parallélisation par tenseurs, cette astuce est vraiment sophistiquée.

Lors de PyTorchCon Europe 2026, Edward Yang a expliqué les difficultés du parallélisme tensoriel, proposant de capturer les erreurs lors de la vérification de type via le type SPDM. La présentation a introduit la stabilisation de torch.compile avec le support des formes dynamiques, l'intégration de FSDP/DDP pour réduire la communication, l'ajout d'outils de quantification avec INT4/FP8, les mises à jour de TorchRec/TorchServe, ainsi que le support natif pour Apple Silicon et AMD ROCm et la mise à niveau des outils de sécurité. La contribution communautaire inclut torchao, torchchat, avec un futur axé sur le différentiation automatique efficace, le calcul sparse, et une intégration approfondie avec les frameworks d'entraînement LLM.