Publier

Zyphra发布首个MI355X推理评测：长文本直逼B200

币界网
币界网
币界网消息，Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测，测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1，并对标NVIDIA B200。实测显示，AMD的288GB显存远超B200的180GB，使其在处理超长文本时能更高效地利用缓存，降低硬件成本。然而，AMD在芯片间互联上处于劣势，B200通过NVLink交换机实现900GB/s带宽，而MI355X采用点对点直连，通信效率较低。为弥补这一短板，Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示，尽管在单请求速度上NVIDIA B200仍领先，但在长文本场景下，Zyphra推理栈的吞吐量逐渐逼近B200，证明AMD在长文本生产环境中具备竞争力。
18:44 · 19/05/26·4,79 k vues·
Consulter la source
0
0

Avertissement : les contenus d'OKX Orbit sont uniquement publiés à titre informatif. En savoir plus

Réponses

Aucun commentaire pour le moment. Soyez le premier à répondre !

Related Flash News

Avatar sourceChainCatcher•Il y a 17 m

Grafana : L’enquête a révélé que les incidents de sécurité récents n’ont pas affecté les systèmes de production ou les opérations des clients

Avatar sourceChainCatcher•Il y a 32 m

Données : Les baleines associées à a16z ont acheté et misé 206 325 HYPE dans leurs nouveaux portefeuilles

Avatar sourceChainCatcher•Il y a 46 m

Huatai Securities : La Réserve fédérale pourrait augmenter les taux d’intérêt deux fois l’année prochaine

Avatar sourceChainCatcher•Il y a 51 m

Trump a signé un décret exécutif exigeant un examen des restrictions imposant aux entreprises crypto-américaines d’accéder aux systèmes de paiement américains

Avatar sourceChainCatcher•Il y a 53 m

L’adresse Bitcoin d’un trafiquant de drogue irlandais a transféré 500 BTC supplémentaires

Avatar sourceChainCatcher•Il y a 1 h

Paulson : Maintenir des taux d’intérêt stables pour évaluer les conditions économiques

Avatar sourceChainCatcher•Il y a 1 h

Paulson : Le marché envisage un scénario où les taux restent inchangés ou où la hausse est « saine »

Avatar sourceChainCatcher•Il y a 1 h

Paulson : Les taux directeurs actuels sont appropriés, continuant d’exercer une pression à la baisse sur l’inflation

Avatar source币界网•Il y a 2 h

La capitalisation boursière RWA on-chain dépasse 65 milliards de dollars, Ethereum représentant 33 %

Avatar sourceOdaily•Il y a 3 h

Bitwise qualifie HYPE d’actif crypto de « deuxième génération » encore sous-évalué par le marché