AI写的代码,人类来不及审:英伟达1.2万行代码优化Kimi K3,另开新战场?
FIELD
NOTE

ARTICLE DETAIL

热点资讯

从事实、趋势与实践出发,为您梳理文章中的关键信息,帮助读者更高效地理解内容重点。

ORIGINAL REPORT

AI写的代码,人类来不及审:英伟达1.2万行代码优化Kimi K3,另开新战场?

新球体育热门杯赛-赛程与在线直播编辑部
757 阅读
约 5.5 分钟

文 | 斯凯有话说 2026年10月16日,vLLM官方博客发布了一篇技术复盘,标题很技术流:《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。 署名作者是英伟达CentML的工程师Benjamin Chislett。他做了一件事:用一段1.2万行CuTe DSL编写的Megakernel,将月之暗面2.8万亿参数的Kimi K3推理速度大幅提升。据SemiAnalysis测算,在相同的GB300 NVL72硬件上,K3达到423 tok/s/user的推理速度,性能提升1.68倍。vLLM博客原文报告的数据则是:batch 1下超过840 tokens/s,多个测试配置下解码吞吐提升1.5—2倍。 没有换一张卡。没有上更先进的制程。没有等下一代芯片。 但真正让这件事值得深挖的,不是那1.68倍。 是博客里的一句话,被绝大多数中文报道忽略了: “Agent-optimized inference code is outpacing our review and maintenance workflow.” 智能体优化的推理代码,正在超过人类团队的审查和维护速度。 这句话翻译成大白话就是:AI写的代码,人类来不及审了。 一个工程师、1.2万行代码、AI辅助开发 先看技术层面发生了什么。 Kimi K3不是普通模型。它的Stable LatentMoE架构有896个专家,每次推理激活16个。这种极端稀疏的MoE,在训练端是“用更少激活参数撬动更大容量”的利器,但在推理端是工程噩梦。据SemiAnalysis分析,K3一次前向计算的HBM带宽需求约1.5TB,每次前向触发超过120次All-to-All通信。解码阶段是典型的内存带宽受限场景,计算单元大部分时间在等数据搬运。 传统推理引擎的解码过程,由一连串独立内核完成:注意力一个、MoE路由一个、专家计算一个、通信一个。每一个内核启动有开销,每一次内核间数据交换要经过显存读写。 Megakernel的核心思想是算子融合:把分散的解码内核合并成一个高度融合的超级内核,减少启动开销、合并内存访问、让计算和通信尽可能重叠。 1.2万行代码的含金量,是把“通用硬件跑通用模型”的默认效率,替换成了“专用硬件跑专用模型”的极致效率。硬件没变,模型没变,变的是“数据在硬件上怎么走”。 而写这1.2万行代码的过程,本身就是一个信号。vLLM博客明确写道:“Coding agents can now help with some of the hardest parts of model optimization: writing complex GPU kernels, performing cross-operator fusions, overlapping computation with communication, and tuning execution across different batch sizes and GPU configurations.”团队“使用了智能体辅助开发来构建统一的CuTe DSL解码路径”。 这不是“AI独立写完了全部代码”。人类工程师Benjamin Chislett是项目的主导者和架构设计者。但在最困难的部分——复杂GPU内核编写、跨算子融合、通信重叠、不同批次和GPU配置下的调优——AI承担了相当大的工作量,以至于人类的逐行审查跟不上了。 “来不及审”意味着什么 博客里还有一个细节,中文报道几乎没有提及。 vLLM团队为了应对这个局面,发布了一个fast-track model optimization RFC。核心思路不是“让人类审得更快”,而是改变性能工作的组织方式。博客原文列出了四条原则:Isolate changes(隔离变更)、Bound the scope(限定范围)、Validate correctness systematically(系统化验证正确性)、Scale validation(扩大验证)。 更重要的是这句话:“Human reviewers still judge the design and the evidence, but they can start from a high-level abstraction, instead of a line-by-line code review.” 人类审查者仍然判断设计和证据,但他们可以从高层抽象开始,而不是逐行审代码。 翻译一下:人类从“写代码的人”变成了“设计验证框架和风险边界的人”。 AI写代码,人类管流程。这不是未来,这是2026年10月16日vLLM博客里写着的现状。 这件事的分量

about image
分享这篇内容

让更多人看到有价值的信息

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

继续浏览平台精选内容,发现更多行业观察。

TRENDING NOW

热点内容

从正在发生的行业事件到读者关注的热门话题,我们将值得关注的内容集中呈现,方便您快速了解当前讨论焦点。

查看全部资讯
网飞收视第一,又来打国产剧的脸

HOT / 1

网飞收视第一,又来打国产剧的脸

文/斯嘉丽 《Doctor X》第三集相比前两集要好看一点,导演呈现出一种谜之混乱,有时候表现很好,有时候表现很差,让这部剧在好看和难看之间反复横跳。 来,咱们一起来看看。 01 哭像笑的新人男配 虽然这个哥们在演出时要表现焦急万分痛哭流涕,但是任谁看都像在笑吧? 这种演技真的不要出来丢人现眼了,太难看了。 现在韩剧里给新人男演员资源好到离谱,一个演技这么差的小菜鸟戏份那那么多,真心是这部剧的一大

桑切特完成首次合练,周日(当地时间)德比可出战,国王杯轮休

HOT / 2

桑切特完成首次合练,周日(当地时间)德比可出战,国王杯轮休

毕尔巴鄂竞技的桑切特距离重返赛场越来越近。昨日他完成了伤愈后首次与全队的完整合练,此前他因小腿比目鱼肌中度肌肉损伤缺席约三周。 主帅特尔齐奇确认,桑切特可以出战周日(当地时间)在圣马梅斯球场对阵皇家社会的德比。 ### 国王杯休战,只为保险 他的正式复出要再等几天。特尔齐奇已排除桑切特出战国王杯对阵AE Prat的可能,原因是该场地为人工草皮,可能影响他的恢复。特尔齐奇解释,这一决定纯粹出于谨慎,

记者:波尔津吉斯正认真考虑退役,其目前的停薪情况类似于西蒙斯

HOT / 3

记者:波尔津吉斯正认真考虑退役,其目前的停薪情况类似于西蒙斯

北京时间11月5日,据ESPN名记Shams报道,勇士认定波尔津吉斯目前并未履行球员服务,所以暂未向其支付薪水。 随后,记者Fischer跟进报道,他表示,波尔津吉斯目前被停薪的情况,与2021-22赛季西蒙斯在76人的情况类似,后者当时也没有参加76人的训练营,两者之间最关键的区别是,当时西蒙斯明确要求76人交易自己,但波尔津吉斯并未提出任何要求。 Fischer还表示,波尔津吉斯目前正在认真考

半场:阿尔克马尔0-2尤文,穆阿尼破门

HOT / 4

半场:阿尔克马尔0-2尤文,穆阿尼破门

社区 » 国际足球 » 国际足球资讯 » 半场:阿尔克马尔0-... 0回复/ 0亮1316 浏览 虎扑足球资讯(446级)楼主2026-11-06 04:49:17发布于上海 半场:阿尔克马尔0-2尤文,穆阿尼破门由虎扑足球资讯 发表在国际足球资讯 https://bbs.hupu.com/482 技术统计 VS 推荐 评论 收藏 举报 只看楼主 社区 » 国际足球 » 国际足球资讯 » 半场:

被广东人的“电饭煲新用法”折服了!一直以为只能蒸米饭,没想到用途这么广

HOT / 5

被广东人的“电饭煲新用法”折服了!一直以为只能蒸米饭,没想到用途这么广

我一直以为,电饭煲的使命就是煮饭、煮粥、偶尔热个剩饭。 直到在广东朋友家吃了一次饭,我才发现:原来电饭煲不只是厨房配角,它完全可以当半个灶台用。 广东人家里那口电饭煲,真的挺忙的。 先说最经典的煲仔饭。 电饭煲煮饭煮到水快干的时候,把腊肠、香菇、青菜铺上去,再打个鸡蛋,焖几分钟。出锅淋一点酱油,锅底那层饭焦脆脆的,比外卖香多了。 这个做法其实很聪明。电饭煲加热比较稳,不容易糊底,又会自动跳到保温,