Posteo

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Deslinde de responsabilidades: el contenido de OKX Orbit se brinda únicamente con fines informativos. Más información

Respuestas

Aún no hay comentarios. ¡Envía la primera respuesta!

Related Flash News

ChainCatcherHace 7 h

La plataforma de agregación de modelos de IA OpenRouter completó una ronda de financiación Serie B de 113 millones de dólares, liderada por CapitalG

BlockbeatsHace 10 h

"New Stock God" Serenity está profundamente comprometida con SIVE: tras su llamada de orden número 191, se le llama la acción conceptual CPO más atractiva

BlockbeatsHace 11 h

Wintermute: El nivel clave de soporte de Bitcoin está en el rango de 75.000 a 76.000 dólares, lo que indica que la estructura del mercado no se ha deteriorado completamente

BlockbeatsHace 12 h

"Nuevo Dios de la Acción" grita Serenity 190 veces! Las tres acciones de 'tornillo' de chips de IA se dispararon, registrando un rendimiento máximo de 19,6 veces

BlockbeatsHace 15 h

"El nuevo dios bursátil" Serenity cumple con precisión las predicciones de febrero: capturando la volatilidad desajustada en opciones sobre acciones coreanas y ganando más de 4 veces

币界网Hace 15 h

La lógica subyacente de Google para alquilar TPUs a Anthropic: usar modelos de vanguardia para alimentar sus chips autodesarrollados

TechFlowHace 19 h

Wintermute: La compra institucional está retrocediendo y el mercado cripto se desvía del mercado bursátil

TechFlowHace 23 h

Trade.xyz alcanzó un máximo de seis meses con una cuota de mercado del 96,5% en HIP-3, con el volumen de contratos de crudo igualando a los futuros de la NYSE liderando un 2,17%.

BlockbeatsHace 1 d

El CEO de Coinbase anuncia ocho visiones financieras, con un mapa de negocio completamente alineado con el "Wall Street on-chain".

ChainCatcherHace 1 d

Las acciones de IA y semiconductores siguen activas, con Gate liderando la industria en la negociación de contratos relacionados con NVIDIA-Micron