Postingan

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Penafian: Konten OKX Orbit ini hanya disediakan untuk tujuan informasi. Selengkapnya

Balasan

Belum ada komentar. Jadilah yang pertama membalas!

Related Flash News

Blockbeats7m lalu

Beberapa perusahaan kripto diperkirakan akan dimasukkan dalam Indeks Russell, dengan Bitmine dan Galaxy kemungkinan memasuki Russell 1000

Blockbeats1j lalu

Desas-desus pasar menunjukkan Musk mungkin bergabung dengan SpaceX dan Tesla, dengan AI dan kolaborasi rantai pasokan yang semakin dalam antara kedua belah pihak

Blockbeats4j lalu

"Dewa Saham Baru" Serenity memprediksi kapitalisasi pasar Micron akan melebihi satu triliun: Nvidia berikutnya, yang bertujuan untuk $ 1,5 triliun pada tahun 2027

Blockbeats5j lalu

Dimuat secara maksimal! Analis top UBS telah menaikkan target harga tertinggi di Wall Street untuk Micron di $ 1.625, menyuntikkan katalis terkuat ke dalam memori AI

ChainCatcher13j lalu

Platform agregasi model AI OpenRouter menyelesaikan putaran pendanaan Seri B senilai $113 juta, yang dipimpin oleh CapitalG

Blockbeats16j lalu

"Dewa Saham Baru" Serenity sangat berkomitmen pada SIVE: setelah panggilan pesanan ke-191, ia disebut sebagai saham konsep CPO paling menarik

Blockbeats18j lalu

Wintermute: Level support utama Bitcoin berada di kisaran $75.000–$76.000, menunjukkan bahwa struktur pasar belum sepenuhnya memburuk

Blockbeats18j lalu

"Dewa Stok Baru" Serenity berteriak 190 kali! Ketiga saham 'sekrup' chip AI melonjak, mencatat pengembalian maksimum 19,6 kali

Blockbeats22j lalu

"Dewa Saham Baru" Serenity Secara Akurat Menyampaikan Prediksi Februari: Menangkap Volatilitas yang Tidak Cocok dalam Opsi Saham Korea dan Menghasilkan Lebih dari 4 Kali

币界网22j lalu

Logika mendasar Google untuk menyewakan TPU ke Anthropic: menggunakan model mutakhir untuk memberi umpan balik ke chip yang dikembangkan sendiri