Допис

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Blockbeats8хв тому

Очікується, що кілька криптокомпаній будуть включені до індексу Russell, а Bitmine і Galaxy можуть увійти до Russell 1000

Blockbeats1г тому

Ринкові чутки свідчать, що Маск може об'єднатися зі SpaceX і Tesla, при цьому співпраця у сфері штучного інтелекту та ланцюгів постачання між двома сторонами поглибиться

Blockbeats4г тому

«Новий акційний бог» Serenity прогнозує, що ринкова капіталізація Micron перевищить один трильйон: наступна Nvidia, яка прагне досягти $1,5 трильйона до 2027 року

Blockbeats5г тому

Завантажено до максимуму! Провідний аналітик UBS підвищив найвищу цільову ціну Micron на Волл-стріт до $1,625, що стало найсильнішим каталізатором у пам'ять ШІ

ChainCatcher13г тому

Платформа агрегації моделей ШІ OpenRouter завершила раунд фінансування серії B на суму 113 мільйонів доларів, очолюваний CapitalG

Blockbeats16г тому

«Новий Біржовий Бог» Serenity глибоко відданий SIVE: після 191-го замовлення її називають найпривабливішою концепцією CPO

Blockbeats18г тому

Wintermute: Ключовий рівень підтримки біткоїна знаходиться в діапазоні $75,000–$76,000, що свідчить про те, що структура ринку ще не повністю погіршилася

Blockbeats18г тому

«Новий Стоковий Бог!» — вигукує Сереніті 190 разів! Усі три акції з «гвинтовими» чіпами AI різко зросли, зафіксувавши максимальну прибутковість у 19,6 разів

Blockbeats22г тому

«Новий акційний бог» Serenity точно виправдовує лютневі прогнози: враховуючи невідповідну волатильність корейських опціонів на акції та заробляючи понад 4 рази

币界网22г тому

Логіка Google для оренди TPU Anthropic: використання передових моделей для зворотного сигналу у власноруч розроблені чіпи