Agent 已经能生成结果正确、性能不错的 kernel。但要替代生产实现,至少得超过现有水平,同时还需要适配真实输入。如何让 agent 围绕这个目标持续改进,而不止于生成一个能运行的版本?
确定优化任务与评估标准
生产中的模型、硬件和输入分布是动态的,优化任务也就不能一成不变。Atrex-Bench 从真实生产服务的 trace 入手,并整理出一批算子及输入配置并汇总成 Benchmark。
采集生产 trace
为了将 GPU 耗时与实际计算、输入配置对应起来,可以采集 CPU/GPU 联合 trace。使用 PyTorch Profiler 时,开启 record_shapes、with_stack 参数,记录输入张量形状和调用栈。底层由 Kineto 对接设备采集接口:NVIDIA 使用 CUPTI,AMD 使用 ROCm 的 profiling 接口。将待分析的调用放进采集区间,结束后即可导出 trace:
from torch.profiler import ProfilerActivity, profile
with profile(
activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA],
record_shapes=True,
with_stack=True,
) as prof:
model(inputs) # 待分析的模型调用
prof.export_chrome_trace("trace.json")
对于 trace 中逐个提交的 kernel,可以通过 correlation ID 找到对应的 CPU launch,再根据 launch 所在的 Python 调用区间,确定上层算子,并结合调用记录获取输入信息。
CUDA Graph 则复杂些:一次 cudaGraphLaunch 可以回放多个 kernel,replay 时不会重新执行构图时的每个 Python 算子调用,仅凭 replay 时看到的节点 ID,无法判断归属。举个例子,将投影与 attention 一起捕获到图中,再回放:
with torch.cuda.graph(g):
q = q_proj(x)
y = attention(q, k, v)
g.replay()
假设两个算子各产生一个 kernel。构图时,采集器通过节点创建回调记录“节点 A 由 CUDA 调用 C1 创建”,框架侧则记录“C1 发生在 q_proj(x) 内”。replay 时,借助 CUPTI 的图和节点标识及节点映射,就能沿“本次 kernel 执行 → 节点 A → C1 → q_proj(x)”追溯归属。attention 的节点同理。
另外,CUDA Graph 中的执行依赖只约束执行顺序,并不直接描述张量如何传递。这些数据关系还需要从构图记录或框架代码中补齐。
持续维护优化任务
不同框架可能用不同的 kernel 名称和拆分方式实现同一类计算。归类时因此需要对照实际计算,将这些调用映射到对应的优化任务去。
确定具体计算范围时,一般是看准备替换的上层调用,并将完成这次调用所需的中间步骤一起纳入任务。以 attention 为例,选取一个接收 Q、K/V cache 并返回 attention 输出的调用作为优化任务。请求边界、Q 与 KV 长度、mask 都属于这个调用的输入条件。纳入任务的部分则是输入准备、主计算和结果合并。norm、RoPE 和 cache 写入则与主 attention 无关,因此不纳入任务。比较性能时,原实现和新实现都测完整调用的耗时。
程序可以自动提取调用关系,例如把准备、主计算和合并的 kernel 归到同一次 attention 调用,但人还需要根据优化目标筛选一轮。选定调用后,就需要把计算规则写成参考实现。例如,源码使用了 causal mask,参考实现也要保留这一规则。写好后,再与生产调用对照输出和状态变化,检查是否遗漏功能。确认过的调用归属保存成规则,后续 trace 自动按规则归类。规则注明源码版本和适用条件,遇到不匹配的调用或条件变化时再重新分析。
有了可复用的计算定义,新 trace 带来的变化就不必全部变成新任务。只根据已有定义是否仍然适用、已有实现是否满足新的需求来判断:
| 生产中的变化 | 处理方式 |
|---|---|
| 调用频率或输入分布变化 | 更新统计,重新判断优化优先级 |
| 出现新的输入配置或硬件 | 先验证现有实现,仍不能满足需求时再发起适配或优化任务 |
| kernel 名称或内部拆分方式变化,外部计算要求不变 | 更新调用映射,继续复用计算定义 |
| 计算规则、输入输出接口或状态修改变化 | 更新参考实现和任务定义 |
用于 benchmark 时,还需要从这些算子定义和输入配置中选取固定版本,固定任务清单。Atrex-Bench v1 向 agent 提供 reference.py、input.py 和 shapes.json,分别描述参考计算、输入生成方法和输入配置。上游算子名称等出处元数据不向 agent 开放,以减少按名称查找现成实现的机会。用于评分的硬件性能上界也不向 agent 开放。

实现要求与 reward hacking
有了参考实现,评测就可以用相同输入分别运行参考代码和生成代码,通过精度测试检查输出误差。Atrex-Bench 还要求 agent 使用 FlyDSL 编写 kernel。这是一种基于 Python 和 MLIR 的 GPU 编程 DSL,需要显式描述布局与分块。选择模型较陌生的工具,是为了考查它能否学习并使用这个工具,而不只是复现熟悉的实现。
但是要注意 hacking 问题,以 attention 为例,agent 可能会直接调用 PyTorch 的 scaled_dot_product_attention,由现成库完成计算。输出符合误差要求,精度测试就会通过,但它并没有按要求用 FlyDSL 完成计算。论文在 code review 中发现了这类调用现成库的做法,包括 PyTorch 算子和预编译的厂商 kernel,并将其称为 correctness reward hacking:绕过实现要求,仍然取得正确性成绩。
但是逐行 code review 是很低效的,因此实际评估会用 FlyDSL adoption 观察计算是否按要求使用了目标 DSL。它先对每组输入配置(shape)统计 GPU 执行时间中 @flydsl.kernel 所占的比例,再在算子内求平均,最后对各算子求平均。论文中提到一开始 Qwen3.7-Max 的正确率为 84.8%,这个时间占比却只有 43.8%。也就是说,平均来看,超过一半的 GPU 执行时间没有用到 FlyDSL。
性能评分与生产权重
单个 kernel 的硬件效率
参考实现的性能越差,agent 优化越容易得到漂亮的倍数。生产实现提供了更有实际意义的比较对象,虽然它本身也可能离硬件极限很远。Atrex-Bench 因而用 roofline 的理想耗时(SOL)作为效率参照。SOL 根据参考计算的语义确定,同一道题的候选实现共享这个上限。
对通过正确性测试的输入配置 ,预热后多次测量候选实现的端到端前向耗时,取中位数作为 。将理想耗时除以这个值,得到效率分数:
这个比值反映实现离理想下界有多远。但启动、调度等开销没有完整计入这个下界,小任务尤其容易受前者影响。具体瓶颈仍要通过 profile 分析。
算子的生产权重
假设某算子只占 GPU 累计执行时间的 1%,将它的耗时减半,也只减少了总量的 0.5%。因此,优化价值还取决于算子占用了多少生产时间。先计算服务内部的耗时占比:分子是某类算子全部 kernel 调用的累计时长,分母是同一采集窗口、同一推理阶段内所有算子的累计时长。prefill 和 decode 分别统计,两阶段都运行的算子取两个占比的平均值。累计时长直接读取 trace 中 GPU kernel 事件的 dur,按算子归属求和即可。
得到服务内部的耗时占比后,再按各服务占集群 GPU 卡时的比例加权,跨服务汇总并归一化为 。卡时就是 GPU 数量与占用时长的乘积。
综合评分及其含义
综合分数用于比较 agent 在生产重要算子上的优化表现。对第 类算子,取其通过正确性测试的输入配置上的效率分数中位数,作为 。如果没有任何配置通过测试,这一类就记零分。将通过测试的配置集合记为 ,Atrex-Bench 的评分方式为:
这样,大量低频算子的好成绩不容易掩盖生产热点算子表现不佳的问题,某类算子也不会仅因测试配置更多就获得更大权重。比较结果时,还要结合正确性测试通过率。
用 Agent Loop 推进算子优化
Atrex Kernel Agent(AKA)的论文与后续公开实现提供了一些可借鉴的设计。
从正确实现开始
已有正确且符合实现要求的生产版本时,可以直接继续优化。缺少这样的版本时,初始阶段的任务指令限定为理解参考计算、编写初版实现、修复编译与精度错误,暂不要求性能提升。通过测试后,保留这个版本,作为任务的基线,供后续比较性能或在修改失败时回退。至于 hacking 问题,主要通过前面的 adoption 指标暴露。
实现过程中可用的资料主要有三类:
- 任务要求:明确要完成的计算、输入范围和实现约束,作为实现与验证的依据。
- 知识库:提供优化经验、常见陷阱和实现示例,帮助 agent 选择可尝试的方案。
- 官方文档:提供 DSL 用法和硬件规格,用于核对方案涉及的接口、指令和资源限制。
候选的接受条件
benchmark 的总分汇总了多类算子的表现,而一次优化任务通常针对其中一类,例如 attention。agent 在 Loop 中修改已有实现,得到候选版本,再与作为对照的基线(baseline)比较,判断是否值得替换。
通过正确性测试肯定是前提了。如果任务只针对一个 shape,直接比较该输入下的耗时即可。但同一类算子往往需要支持不同 batch size、序列长度等输入配置,一个 shape 变快,其他 shape 却可能变慢。如果目标是减少一组生产调用的累计耗时,可以按各 shape 的调用次数加权。例如,假设只改变 attention 的 batch size,其他输入条件保持相同,得到以下结果:
| 输入配置 | 生产调用次数 | Baseline 耗时 | 候选耗时 |
|---|---|---|---|
| batch size = 8 | 90 | 10 μs | 5 μs |
| batch size = 64 | 10 | 100 μs | 120 μs |
按这组调用次数计算,平均耗时从 19 μs 降到 16.5 μs,但 batch size 为 64 时,耗时增加了 20%。如果这一退化不可接受,就不能全面替换。因此,既要看整体是否更快,也要看每个 shape 是否慢得太多,避免综合指标的提升掩盖部分 shape 实际变慢的情况。
如果任务允许按输入分出多个实现,这类候选也不必整体接受或淘汰。全范围的性能要求可以由多个实现共同满足,上例只在 batch size 为 8 时使用新实现,其他输入继续使用 baseline,就能保留局部收益。decode 也可以按 batch size 选择不同的 kernel,而不要求一个统一实现覆盖所有情况。确定各实现的启用范围后,再测量包含分派逻辑的实际调用路径,确认选择 kernel 的开销没有抵消收益。
构建优化 Loop
优化阶段的指令约定如何提出假设、验证修改效果。具体怎样调整分块、设置多少个 stage,由 agent 根据代码和测量结果决定。结合前面的任务要求与 AKA 公开实现中的优化阶段指令,可以整理成下面的模块:
目标与边界
优化当前 kernel,保持接口、计算语义不变且精度正确。
优化目标:在约定的输入范围内与 baseline 比较。整体需要快多少、每个 shape 最多允许慢多少。
不修改用于验收的参考代码、测试输入或判定标准。
搜索优化方向
阅读当前代码及相关测量,明确一个瓶颈或尚未解决的问题。
提出具体改法、预期效果,以及什么结果支持保留或放弃。
只有现有证据不足时,才补充 profile 或查询资料。
实验与反馈
围绕当前假设修改,控制无关变量。
用小范围测试定位问题,提交候选前完成规定的完整评测。
根据结果修复、继续或回退,记录代码版本、条件和测量。
区分实测事实与原因推测,不把环境故障当作方案无效的证据。
结束本轮
提交候选代码及其测量记录,或说明需要换方向、无法继续的原因。
例如,profile 显示较多 bank conflict,可以据此尝试调整共享内存布局。预期是冲突减少,但新布局也可能增加寄存器占用,所以是否保留仍取决于整体耗时。实验需要控制变量、必要时做消融实验,能让反馈对应到具体改动,帮助 agent 获取有效信息。
阶段目标和本轮要求可以放进启动 prompt,跨阶段不变的实现约束放在工作区文档中,工具的适用场景、调用方式和结果解释放进 Skill。工具与配套指令还可以通过 Plugin 一起提供。AKA 的公开实现中,几项主要 Skill 的作用如下:
| Skill | 主要规则 | 在 Loop 中的作用 |
|---|---|---|
| gpu-measurement | 根据待解决的问题选择评测、profiling 或诊断工具,区分性能计数器与完整运行耗时,按错误类型决定后续处理。 | 帮助 agent 正确解释反馈,避免把计数器改善当作加速,或把环境故障当作优化方案失败。 |
| runtime-records | 查询已有测量和对应源码,提交候选时引用实际记录,不自行编造结果或重复相同实验。 | 让后续判断能追溯到具体版本和实验,不只依赖会话中的总结。 |
| KernelWiki | 查询时提供硬件、DSL、算子与瓶颈信息,区分观测和推测,检查返回经验的来源及适用条件。 | 指导 agent 如何使用知识库,将相关经验作为待验证的改法,而不直接套用。 |
| autonomous-gpu-kernel-timeline | 常规 profiler 无法回答 kernel 内部的时序问题时,围绕具体假设少量插桩、检查探针开销,最终恢复无探针版本再验证。 | 允许 agent 自行设计观测手段,同时区分诊断代码与最终交付代码。 |
执行时,agent 通过工具提交当前代码,获取编译诊断、精度校验结果和耗时等反馈,profiling 则提供性能计数器数据等诊断信息。
最后,候选验收由平台执行。以 AKA 的候选提交工具为例,agent 通过 episode-report 提交候选及测量记录,控制器核对源码与记录是否对应,检查实现约束,并执行或复用规定的正确性测试与性能比较。验收通过后,候选才替换当前保留版本。
搜索路径选择
实验记录可以帮助后续迭代复用经验,但其中的结论有适用条件。某种布局在一个分块尺寸下变慢,换了分块后未必仍然如此。因此,记录里除了保留或回退的决定,还应包括适用条件。下一轮既能据此排除已经验证无效的尝试,也能在条件变化后重新考虑旧方案,而不是只继承“这种布局不好”的判断。
当 agent 反复尝试相近的改法却没有进展时,可以调整它参考的历史记录,或换一个代码版本继续探索。
| 方法 | 核心搜索思路 | 对路径选择的作用 |
|---|---|---|
| AKA v0.1.0 | 改变上下文:保留当前代码与实验记录,随机向新的 agent 隐藏部分历史。 | 保留已有成果,减少旧结论对搜索的限制。但随机隐藏可能遗漏有用经验,也没有根据进展选择其他代码起点。 |
| KernelBlaster | 根据瓶颈选择改法:按当前瓶颈检索经验,预期收益越大的改法越有机会被选中,再用实测结果修正收益估计。 | 根据当前条件判断哪些经验仍然适用。例如,寄存器占用过高时,增加流水线的 stage 数可能变慢。但如果调整分块后寄存器占用下降,就可以重新尝试这条路线,不必沿用之前的失败结论。 |
| AlphaEvolve | 通过进化搜索保留多条路线:维护多个候选程序,兼顾性能和实现差异,选择已有版本作为起点,继续修改和优化。 | 将当前最快版本与其他有潜力的版本同时保留。例如,单阶段实现暂时领先,也可以继续探索软件流水线实现,不必一直微调同一份代码。 |
| PACEvolve | 根据收益决定何时回溯:将优化想法与实验细节分开管理,近期收益停滞时回到较早的搜索状态,或引入其他路线的候选。 | 决定是否继续投入当前方向。多轮局部修改没有收益时,换一个起点继续探索,减少在同一路线上反复尝试。 |
当前最优版本未必是下一步最值得探索的起点。保留它用于交付,同时尝试暂时较慢、结构不同的候选,能给需要多步修改才能见效的方案留下机会。
Agent 写算子的应用场景
哪些算子值得优化,也取决于优化本身的成本。老模型适配新设备就是一种场景:模型仍有使用需求,但社区维护重心已经转移,目标设备上可能缺少对应实现,已有实现也未必经过充分优化。这种场景就十分适合作为 agent 编写、测试和优化新实现的起点。Agent 自动化的价值因此不只在于突破成熟 kernel 的性能,也在于让缺少维护投入的模型与设备组合获得可用、高效的实现。
如果 Agent 能降低这类优化工作的实现与验证成本,原本不值得专门投入人力的适配,就可能值得做,例如周期性根据线上真实工况调整kernel 的最佳实现,只要最终带来的性能收益大于周期性 token 费用,就有收益。Agent 时代不应该抱着陈旧的思想纲领:代码分发的边际成本基本为零,因此只做能“一劳永逸”的事情。还有大量是高价值但也劳动密集的场景亟待挖掘。