
帖子
万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。
相关快讯
多家加密公司有望被纳入罗素指数,Bitmine与Galaxy或进入罗素1000
韩国KOSPI指数年内几近翻倍,存储芯片需求结构性转变引领涨势
分析师:13 亿美元 IBIT 大宗抛售或导致比特币短时急跌
HYPE 现货 ETF 10 个交易日吸纳其市值的 1.04% 资产,为加密 ETF 史上最强首发
SuperEx 已上线 Genius Terminal(GENIUS)并支持其作为全币种合约保证金
Uniswap 创始人回应 Bankless 联创清仓 ETH:“ETH is Money”才是正确叙事
RootData:BIO 将于一周后解锁价值约 101 万美元的代币
BIT:加密市场已开始提前定价SpaceX IPO
分析:Anthropic年化收入或已较OpenAI高出至少35%
前以太坊核心开发者:过去1-2年已大幅减持ETH,且换仓资产远远跑赢了ETH