L'écosystème AMD dispose enfin d'un modèle de langage diffusion compétitif, combien de puissance de calcul cette étape de TiDAR a-t-elle économisée ?

Voir l'original
MeNews
Zyphra lance le premier modèle de langage diffusion de l'écosystème AMD, avec une accélération maximale de 7,7 fois
Zyphra publie ZAYA1-8B-Diffusion-Preview, transformant le grand modèle de langage autoregressif en un modèle de diffusion à experts hybrides, devenant le premier modèle de diffusion linguistique entraîné dans l'écosystème matériel AMD. En sautant la pré-formation à partir de TiDAR, il peut débruiter simultanément 16 tokens lors d'une seule passe, transformant le goulot d'étranglement de la mémoire vidéo en un goulot d'étranglement de puissance de calcul. Les tests montrent une accélération de 4,6x avec l'attention CCA + échantillonnage sans perte, atteignant 7,7x après passage à un échantillonneur logit hybride.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé