Posteo

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Deslinde de responsabilidades: el contenido de OKX Orbit se brinda únicamente con fines informativos. Más información

Respuestas

Aún no hay comentarios. ¡Envía la primera respuesta!

Related Flash News

币界网Hace 8 min

Introduciendo la búsqueda AlphaGo, el nuevo marco de generación de vídeo MCTS ofrece duraciones de vídeo más largas que Sora

币界网Hace 50 min

Los ingresos anualizados se dispararon hasta 600 millones de dólares, y el proveedor de servicios de inferencia de IA Baseten planea recaudar 1.000 millones de dólares con una valoración de 11.000 millones

BlockbeatsHace 2 h

El "challenger de Nvidia" Cerebras cayó un 35,8% en dos semanas tras su lanzamiento, con el mayor vendedor en corto de CBRS en cadena obteniendo 1,26 millones de dólares

币界网Hace 4 h

Qualcomm y ByteDance han llegado a un acuerdo para comprar millones de chips de IA

BlockbeatsHace 5 h

Se espera que varias empresas cripto se incluyan en el Russell Index, con Bitmine y Galaxy posiblemente participando en el Russell 1000

BlockbeatsHace 7 h

Los rumores del mercado sugieren que Musk podría fusionarse con SpaceX y Tesla, profundizando la colaboración entre IA y cadenas de suministro entre ambas partes

BlockbeatsHace 9 h

"El nuevo dios de la acción" Serenity predice que la capitalización de mercado de Micron superará el billón: el próximo Nvidia, que aspira a 1,5 billones de dólares para 2027

BlockbeatsHace 11 h

¡Cargado al máximo! El principal analista de UBS ha subido el precio objetivo más alto en Wall Street para Micron, con 1.625 dólares, inyectando el catalizador más potente en la memoria de IA

ChainCatcherHace 19 h

La plataforma de agregación de modelos de IA OpenRouter completó una ronda de financiación Serie B de 113 millones de dólares, liderada por CapitalG

BlockbeatsHace 22 h

"New Stock God" Serenity está profundamente comprometida con SIVE: tras su llamada de orden número 191, se le llama la acción conceptual CPO más atractiva