Publicar

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Aviso legal: o conteúdo do OKX Orbit é fornecido apenas para fins informativos. Saber mais

Respostas

Ainda sem comentários. Sê a primeira pessoa a responder!

Related Flash News

Avatar de origemBlockbeats1 seg.

Anúncio: O relatório de resultados do primeiro trimestre da Nvidia e a ata das reuniões do Federal Reserve serão divulgados em conjunto esta noite

Avatar de origem币界网48 min.

O modelo open source, com um trilião de parâmetros, corria 981 palavras/segundo, e a Cerebra testava o KimiK2.6 29 vezes mais rápido

Avatar de origem币界网2 horas

Ruixun Group: O relatório de resultados da Nvidia enfraqueceu o impacto do sentimento dos investidores em IA

Avatar de origem币界网4 horas

Duan Yongping fez uma compra massiva da Tesla, reduziu as suas participações na Apple e vendeu a Alibaba

Avatar de origemTechFlow11 horas

O confronto dos resultados da Nvidia está a chegar: os três principais produtos de negociação da Bybit ajudam os utilizadores a captar flutuações de IA em diferentes setores

Avatar de origemOdaily19 horas

O setor dos semicondutores dos EUA protagonizou uma reversão em "V" durante a negociação, com muitas ações a reduzirem acentuadamente as suas perdas ou até a subirem

Avatar de origemChainCatcher23 horas

Os futuros do índice acionista dos EUA desceram ligeiramente, e as ações de semicondutores continuaram a cair

Avatar de origem币界网23 horas

Bitget Wallet adiciona 130 novas ações tokenizadas Xstocks

Avatar de origemChainCatcher1 dia

Instituições: A procura de centros de dados de IA pode impulsionar a revalorização dos mineradores de Bitcoin, e foram anunciados mais de 90 mil milhões de dólares em cooperação

Avatar de origem币界网1 dia

A Dell juntou-se à Palantir para lançar um sistema operativo nativo de IA: o armazenamento subjacente substitui o Ceph, direcionando-se diretamente para bancos de defesa e core