Publier

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Avertissement : les contenus d'OKX Orbit sont uniquement publiés à titre informatif. En savoir plus

Réponses

Aucun commentaire pour le moment. Soyez le premier à répondre !

Related Flash News

ChainCatcherIl y a 8 h

La plateforme d’agrégation de modèles IA OpenRouter a mené à bien un tour de financement de série B de 113 millions de dollars, mené par CapitalG

BlockbeatsIl y a 11 h

« New Stock God » Serenity est profondément engagé envers SIVE : après sa 191e commande d’appel, elle est qualifiée d’action conceptuelle CPO la plus attractive

BlockbeatsIl y a 13 h

Wintermute : Le niveau de support clé du Bitcoin se situe entre 75 000 et 76 000 $, indiquant que la structure du marché ne s’est pas complètement détériorée

BlockbeatsIl y a 13 h

« Nouveau Dieu du stock » crie Serenity 190 fois ! Les trois actions « vis » de puces IA ont explosé, enregistrant un rendement maximal de 19,6 fois

BlockbeatsIl y a 17 h

« New Stock God » Serenity tient fidèlement ses pronostics de février : capture de la volatilité déséquilibrée des options d’achat d’actions coréennes et des bénéfices multipliés par plus de 4

币界网Il y a 17 h

La logique sous-jacente de Google pour louer des TPU à Anthropic : utiliser des modèles de pointe pour alimenter ses puces auto-développées

TechFlowIl y a 21 h

Wintermute : L’achat institutionnel recule, et le marché crypto se détache du marché boursier

TechFlowIl y a 1 j

Trade.xyz atteint un sommet de six mois avec une part de marché de 96,5 % dans le HIP-3, le volume des contrats de pétrole brut égalisant les contrats à terme du NYSE en avance de 2,17 %.

BlockbeatsIl y a 1 j

Le PDG de Coinbase annonce huit visions financières, avec une carte commerciale entièrement alignée sur « Wall Street on-chain ».

ChainCatcherIl y a 1 j

Les actions de l’IA et des semi-conducteurs restent actives, Gate étant en tête du secteur dans le trading de contrats liés à NVIDIA-Micron