Допис

Zyphra发布首个MI355X推理评测：长文本直逼B200

币界网
币界网
币界网消息，Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测，测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1，并对标NVIDIA B200。实测显示，AMD的288GB显存远超B200的180GB，使其在处理超长文本时能更高效地利用缓存，降低硬件成本。然而，AMD在芯片间互联上处于劣势，B200通过NVLink交换机实现900GB/s带宽，而MI355X采用点对点直连，通信效率较低。为弥补这一短板，Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示，尽管在单请求速度上NVIDIA B200仍领先，但在长文本场景下，Zyphra推理栈的吞吐量逐渐逼近B200，证明AMD在长文本生产环境中具备竞争力。
18:44 · 19.05.26·4,79 тис. перегляд.·
Відкрити джерело
0
0

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Аватар джерелаChainCatcher•17хв тому

Графана: Розслідування показало, що нещодавні інциденти безпеки не вплинули на виробничі системи та операції клієнтів

Аватар джерелаChainCatcher•32хв тому

Дані: Новостворений гаманець кита, пов'язаний з a16z, придбав і застейкав 206 325 HYPE

Аватар джерелаChainCatcher•46хв тому

Huatai Securities: ФРС може підвищити процентні ставки двічі наступного року

Аватар джерелаChainCatcher•51хв тому

Трамп підписав виконавчий указ, який вимагає перегляду обмежень на доступ криптокомпаній до платіжних систем США

Аватар джерелаChainCatcher•53хв тому

Адреса ірландського наркодилера Bitcoin, знову переведена 500 BTC

Аватар джерелаChainCatcher•1г тому

Полсон: Тримайте стабільні відсоткові ставки, щоб оцінити економічні умови

Аватар джерелаChainCatcher•1г тому

Полсон: Ринки «здорові», враховуючи сценарій, коли процентні ставки залишаються незмінними або зростуть

Аватар джерелаChainCatcher•1г тому

Полсон: Поточна ставка є доцільною і продовжує чинити тиск на зниження інфляції

Аватар джерела币界网•2г тому

Ринкова капіталізація RWA на блокчейні перевищує $65 мільярдів, при цьому Ethereum становить 33%

Аватар джерелаOdaily•3г тому

Bitwise називає HYPE криптоактивом «другого покоління», який досі недооцінений ринком