Bài đăng

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Miễn trừ trách nhiệm: Nội dung OKX Orbit chỉ để tham khảo. Tìm hiểu thêm

Phản hồi

Chưa có bình luận. Trở thành người phản hồi đầu tiên!

Related Flash News

Blockbeats1 giờ trước

"Thần chứng khoán mới" Serenity dự đoán vốn hóa thị trường của Micron sẽ vượt quá một nghìn tỷ: Nvidia tiếp theo, đặt mục tiêu đạt 1,5 nghìn tỷ đô la vào năm 2027

Blockbeats2 giờ trước

Tải đến mức tối đa! Nhà phân tích hàng đầu của UBS đã nâng giá mục tiêu cao nhất trên Phố Wall cho Micron ở mức 1.625 USD, bơm chất xúc tác mạnh nhất vào bộ nhớ AI

ChainCatcher10 giờ trước

Nền tảng tổng hợp mô hình AI OpenRouter đã hoàn thành vòng gọi vốn Series B trị giá 113 triệu USD, do CapitalG dẫn đầu

Blockbeats13 giờ trước

"Thần cổ phiếu mới" Serenity cam kết sâu sắc với SIVE: sau lệnh đặt hàng thứ 191, nó được gọi là cổ phiếu khái niệm CPO hấp dẫn nhất

Blockbeats15 giờ trước

Wintermute: Mức hỗ trợ quan trọng của Bitcoin nằm trong phạm vi 75.000 – 76.000 USD, cho thấy cấu trúc thị trường vẫn chưa xấu đi hoàn toàn

Blockbeats15 giờ trước

"New Stock God" Serenity hét lên 190 lần! Cả ba cổ phiếu chip AI đều tăng vọt, ghi nhận lợi nhuận tối đa 19,6 lần

Blockbeats19 giờ trước

"Vị thần chứng khoán mới" Serenity cung cấp chính xác dự đoán tháng Hai: Nắm bắt sự biến động không phù hợp trong quyền chọn cổ phiếu Hàn Quốc và kiếm được hơn 4 lần

币界网19 giờ trước

Logic cơ bản của Google khi cho Anthropic thuê TPU: sử dụng các mô hình tiên tiến để đưa trở lại các chip tự phát triển của mình

TechFlow23 giờ trước

Wintermute: Mua vào của các tổ chức đang rút lui và thị trường tiền điện tử phân kỳ khỏi thị trường chứng khoán

TechFlow1 ngày trước

Trade.xyz đạt mức cao nhất trong sáu tháng với 96,5% thị phần của HIP-3, với khối lượng giao dịch hợp đồng dầu thô phù hợp với hợp đồng tương lai NYSE dẫn đầu 2,17%.