
帖子
万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。
相關快訊
市場再傳馬斯克或整合SpaceX與特斯拉,雙方AI與供應鏈協同持續加深
「新股神」Serenity評美光市值破萬億:下一個英偉達,2027年目標1.5萬億美元
拉滿! 瑞銀王牌分析師喊出美光華爾街最高目標價1625美元,為AI記憶體注入最強催化劑
AI 模型聚合平臺 OpenRouter 完成 1.13 億美元 B 輪融資,CapitalG 領投
「新股神」Serenity對SIVE一往情深:第191次喊單稱其為最具吸引力CPO概念股
Wintermute:比特幣關鍵支撐位在7.5-7.6萬美元區間,市場結構未完全轉壞
「新股神」Serenity狂喊190次! 三支AI晶元「螺絲釘」股全部暴走,最高錄得19.6倍收益
「新股神」Serenity二月預判精準兌現:捕捉韓股期權波動率錯配賺超4倍
谷歌租TPU給Anthropic的底層邏輯:用前沿模型反哺自研晶元
Wintermute:機構買盤退潮,加密市場與股市走勢背離