Publicar

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Descargo de responsabilidad: el contenido de OKX Orbit se brinda únicamente con fines informativos. Más información

Respuestas

Aún no hay comentarios. ¡Sé el primero en responder!

Related Flash News

Blockbeatshace 8 min

Se espera que varias empresas cripto se incluyan en el Russell Index, con Bitmine y Galaxy posiblemente participando en el Russell 1000

Blockbeatshace 13 min

El índice KOSPI de Corea del Sur casi se duplicó este año, con cambios estructurales en la demanda de chips de memoria liderando las ganancias

ChainCatcherhace 45 min

Analista: La venta masiva de 1.300 millones de dólares del IBIT podría provocar una caída brusca y a corto plazo de Bitcoin

ChainCatcherhace 1 h

El ETF spot HYPE absorbió el 1,04% de su capitalización bursátil en 10 días de negociación, marcando el debut más fuerte en la historia de los ETFs cripto

ChainCatcherhace 1 h

El fundador de Uniswap responde a la liquidación de ETH por parte de cofundador de Bankless: "ETH es dinero" es la narrativa correcta

ChainCatcherhace 2 h

RootData: BIO desbloqueará tokens por un valor de aproximadamente 1,01 millones de dólares en una semana

Odailyhace 2 h

BIT: El mercado cripto ha comenzado a fijar precios por adelantado para la salida a bolsa de SpaceX

Blockbeatshace 2 h

Análisis: Los ingresos anualizados de Anthropic pueden ser ya al menos un 35% superiores a los de OpenAI

Odailyhace 2 h

Exdesarrollador central de Ethereum: En los últimos 1-2 años, las tenencias de ETH se han reducido significativamente y los activos que cambió han superado con creces a ETH

Blockbeatshace 3 h

Tom Lee: Se acerca el "superciclo" del mercado cripto, y ETH se beneficiará de la tokenización de Wall Street y de la ola de agentes de IA