Publicar

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Aviso legal: o conteúdo do OKX Orbit é fornecido apenas para fins informativos. Saber mais

Respostas

Ainda sem comentários. Sê a primeira pessoa a responder!

Related Flash News

ChainCatcher8 horas

A plataforma de agregação de modelos de IA OpenRouter completou uma ronda de financiamento Série B de 113 milhões de dólares, liderada pela CapitalG

Blockbeats11 horas

A "Nova Deus das Ações" Serenity está profundamente comprometida com o SIVE: após a sua 191.ª chamada de pedido de encomenda, é chamada de ação conceitual CPO mais atrativa

Blockbeats13 horas

Wintermute: O principal nível de suporte do Bitcoin situa-se na faixa dos 75.000–76.000 dólares, indicando que a estrutura do mercado ainda não se deteriorou totalmente

Blockbeats13 horas

"Novo Deus do Stock" Serenity grita 190 vezes! As três ações 'parafusos' de chips de IA dispararam, registando um retorno máximo de 19,6 vezes

Blockbeats17 horas

O "Novo Deus das Ações" Serenity cumpre com precisão as previsões de fevereiro: Captando a Volatilidade Desajustada nas Opções de Ações Coreanas e Lucrando Mais de 4 Vezes

币界网17 horas

A lógica subjacente da Google para arrendar TPUs à Anthropic: usar modelos de ponta para alimentar os seus chips auto-desenvolvidos

TechFlow21 horas

Wintermute: As compras institucionais estão a recuar, e o mercado cripto diverge do mercado acionista

TechFlow1 dia

Trade.xyz atingiu um máximo de seis meses com uma quota de mercado de 96,5% no HIP-3, com o volume de contratos de petróleo bruto a igualar os futuros da NYSE a liderar em 2,17%.

Blockbeats1 dia

O CEO da Coinbase anuncia oito visões financeiras, com um mapa de negócios totalmente alinhado com a "Wall Street on-chain".

ChainCatcher1 dia

As ações de IA e semicondutores mantêm-se ativas, com a Gate a liderar a indústria na negociação de contratos relacionadas com a NVIDIA-Micron