Publikuj

万亿参数开源模型跑出981词/秒，Cerebras测试KimiK2.6提速29倍

币界网消息，Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6，通过直接在整张12英寸硅晶圆上集成芯片，彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示，其生成速度达到981 tokens/s，比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中，总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒，提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值，层间通信完全运行在晶圆内部的网络织网上，其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化，Kimi K2.6以原始的4-bit权重进行低损存储，计算时使用16-bit浮点数维持精度，并采用定制算子内核与推测性解码最终达成实时化运行。

19:02 · 20.05.26·1,74 tys. wyświetlenia·

Zastrzeżenie: Treść na OKX Orbiter ma charakter wyłącznie informacyjny. Dowiedz się więcej