首页
资讯
品牌
选型
社区
活动
视频
直播
排行
------
反馈
AI 通关马里奥要花多久?无问芯穹用 Agent “按需定制” 推理引擎,探索推理系统的 RSI
2026-11-17 19:31:03   转载自无问苍穹

当操控马里奥的玩家从人类换成 AI,它面临的挑战可能不只是能不能通关,还有一个更重要的问题:每做出一次决策,它需要等多久?

在一台 16GB 的 M1 Pro MacBook Pro 上,一个约 9B 参数的视觉决策模型 Clef 正在挑战。它需要不断读取游戏画面,判断前方的障碍,再决定奔跑还是跳跃。在使用官方 MLX 实现时,它完成一次决策的中位耗时达到 3.91 秒。

能不能让 AI 反应得更快?

我们尝试换了一种推理实现。在同一台设备、使用同一份模型权重的情况下,单步决策耗时降至 1.92 秒,加速 2.04 倍。完成整局游戏 39 次决策的模型总耗时,也从约 152 秒缩短至 76 秒。

让这次加速成为可能的,正是无问芯穹联合北京航空航天大学、清华大学、上海交通大学、京津冀国家技术创新中心共同开展的 EngineTailor 研究。EngineTailor 探索的是一条由 Agent 驱动的推理引擎优化新路径:针对特定模型、硬件和工作负载,构建一套极简而完整的专属推理引擎,再通过 Agent 的任务规划、代码优化、独立验证和经验积累,推动引擎持续改进。

在 Clef 的案例中,团队将 EngineTailor 应用于无问芯穹开源推理引擎 APXInf 的优化,由 Agent 围绕 Clef、Apple M1 Pro 和游戏决策这一具体组合,编写、测试并优化专属推理实现。Agent 通过生成候选版本、运行模型、检查输出和测量性能,不断尝试新的优化方案;经过验证的改动被保留下来,成为下一轮优化的起点,实验记录则为后续探索提供参考。

这也引出了一个更值得探索的问题:随着 AI 模型和应用场景日益多样化,能否让 Agent 根据具体任务需求,按需定制专属推理引擎,并通过持续优化与迭代,让推理引擎不断适应新的模型、硬件和应用需求?

01 从人工构建到 Agent 驱动:推理引擎定制化的新路径与硬门槛

推理引擎是一套让模型在具体硬件上运行的软件系统,负责权重加载、算子执行、缓存管理和任务调度等环节,直接影响模型的运行效率。

但不同模型、硬件和任务,对推理执行的要求并不相同。同一个模型运行在不同芯片上,可能需要不同的计算实现;同一款芯片运行文本生成、机器人动作决策和图像生成,也会面临不同的性能瓶颈。

通用推理引擎虽然能够适配多种模型和设备,却很难针对每一种具体组合都提供最优的执行方式。因此,面向特定模型、硬件和任务负载定制推理引擎,成为进一步释放推理性能的一条重要路径。

尤其在端侧设备上,模型通常服务于较明确的任务,设备的内存、功耗和计算能力有限,运行效率会直接影响响应速度和使用体验,为专属引擎的优化提供了条件。

但是定制专属推理引擎并不是简单删减代码或替换几个算子,而是需要围绕完整推理流程,重新组织模型计算、权重加载、缓存管理和任务调度等功能,并结合具体硬件和负载进行调优。

随着模型和硬件组合不断增加,依赖人工逐一构建、测试和优化,意味着巨大的工程投入。如何降低这部分成本,成为专属推理引擎走向规模化应用需要面对的问题。

随着代码理解、生成、测试和迭代能力提升,Agent 开始具备参与复杂软件开发任务的能力,也为专属推理引擎的构建与优化提供了新的可能。

但要真正承担这项工作,还需要解决几个问题:

首先,Agent 如何理解完整的推理执行过程? 通用推理框架承载着多种模型、设备和服务方式,一次请求的执行路径往往分散在大量相互依赖的代码中。Agent 需要梳理这些调用关系,才能判断应该修改哪里,以及修改会如何影响最终的运行效果。

同时,如何确保 Agent 的优化有效,并让成果持续积累? Agent 生成的候选方案需要经过独立的正确性检查和性能测试,还需要将有效代码、实验结果和适用条件记录下来,为后续优化提供依据。

因此,要让 Agent 真正参与专属推理引擎的构建与持续优化,需要的不只是代码生成能力,还需要一套完整的引擎构建、实验验证和迭代机制。

EngineTailor 正是围绕这一方向展开的探索。

02 EngineTailor:Agent 驱动的推理引擎定制化与持续优化

按需组织:为特定任务构建极简而完整的推理引擎

一套完整的推理引擎,不仅需要模型计算代码,还涉及权重加载、缓存管理和计算执行等环节。这些功能在通用推理框架中往往分布在不同模块,彼此之间存在复杂的调用关系。

以 Qwen3 为例,其在 SGLang 中的模型定义只有 690 行,但实际运行还需要调用共享运行时中的权重加载、缓存管理和调度等功能。这套运行时包含 1,013 个文件、约 41.6 万行 Python 代码;在 vLLM 中,运行时代码规模更达到 1,818 个文件、约 68.4 万行。

面对如此庞大的代码库,Agent 需要先梳理当前任务涉及的代码及其调用关系,才能理解完整的推理执行过程。因此,EngineTailor 会根据确定的模型、硬件和工作负载,从通用运行时中筛选、组织当前任务所需的功能,将分散的代码集中起来,构建一套极简而完整的专属推理引擎。

经过 EngineTailor 处理后,最终将 Qwen3 对应的引擎控制在 28 个文件、3,275 行代码,约为 SGLang 上述运行时代码规模的 0.79%。

代码规模大幅缩小,但这套引擎仍然保留了权重加载、模型计算、缓存管理和结果输出等功能,使其能够独立完成推理执行。配套的参考输出、正确性检查和性能测试,则帮助 Agent 判断修改后的结果是否正确、运行是否更快,为后续优化提供验证依据。

为了观察这套组织形式对 Agent 优化效果的影响,研究团队以 Qwen3-4B、BF16 为条件,保持任务约定和 Agent 配置一致,分别在 SGLang 与 EngineTailor 中开展实验。直接修改 SGLang 的五次尝试开销合计约 81.39 美元,未获得明显的收益提升,其中,96.9% 的输入 Token 用于反复读取共享代码,输入处理阶段(Prefill)和逐步生成阶段(Decode)的性能变化均小于 1%。

EngineTailor 在生成阶段性能对齐后,以几乎同样的优化预算获得了短序列 Prefill 3.10–4.05 倍、长序列 Prefill 1.25–1.41 倍的加速,Decode 性能保持原有水平。

在这组实验中,同样配置的 Agent 面对不同的代码环境,取得了不同的优化结果。紧凑且可以完整运行的目标引擎,为后续实验提供了基础;接下来,还需要安排每轮探索,并决定哪些改动进入下一版引擎。

规划与执行:Agent 协同开展多轮优化实验

构建专属推理引擎之后,EngineTailor 通过 Manager 和 Worker 协作,组织 Agent 开展多轮优化实验。每完成一次优化,Agent 都会重新运行模型,结合新的耗时结果和之前的实验记录,寻找下一处值得改进的地方。EngineTailor 因此将规划、执行和验证分开,用任务约定、版本管理和经验记录衔接各轮实验。

每轮优化开始前,由人确定模型、设备和测试任务,并设定参考输出、正确性标准、最低性能提升要求和预算。

Manager 负责规划优化任务。 它会根据当前性能、各环节耗时和此前的实验记录,判断下一步值得优化的方向,并明确需要修改的代码、运行的测试、预期性能提升和预算。

Worker 负责执行具体实验。 每个 Worker 从独立的会话和代码副本开始,先测量当前版本,再分析性能瓶颈、尝试修改,最后提交代码和测试结果。Worker 可以调用 Claude、Codex 等编程 Agent,多个 Worker 也可以同时探索不同的优化方向。

通过这种分工,EngineTailor 将优化任务的规划与代码实验连接起来,让 Agent 能够围绕当前引擎版本持续尝试不同方案。

验证与沉淀:让有效改动成为下一轮优化的起点

Agent 生成的候选方案并不都会被保留。Worker 提交修改后,独立验证流程会重新运行测试,检查评测文件是否完整、输出是否正确,以及性能是否达到预设要求。根据验证结果,候选方案分为三类:

KEEP:候选满足正确性与收益要求,成为下一轮的引擎基线。

STOP:候选输出正确,收益低于设定门槛,记录结果并结束当前尝试。

REJECT:候选未通过正确性或评测完整性检查,记录原因并保留诊断信息。

EngineTailor 会记录每次实验的优化思路、结果、开销和适用条件,并保存相关代码。某项改动合入主干后,其他候选方案还需要基于更新后的代码重新测试,确保不同改动组合后仍然有效。

至此,每轮实验结束后,下一轮都能从已验证的代码和记录继续:

Manager 能够参考上一次的结果安排任务

Worker 在新的引擎版本上继续实验

环境沿用一致的标准验收

人在目标设定和阶段性决策中参与其中

每轮优化的结果都会成为下一轮探索的基础,经过验证的代码得到保留,实验经验持续积累,专属推理引擎也在多轮实验中逐步改进。

03 实验验证:从优化效率到性能收益

研究团队从优化效率和不同模型、硬件组合两个维度进行了验证,观察能取得多少加速,以及哪些改法适合哪些任务。实验覆盖 7 个 “模型、硬件、负载” 目标,Agent 根据各设备上的实际耗时安排优化顺序。

其中几项结果整理如下,便于结合具体任务阅读。

另两项实验以目标引擎的初始版本为基线。Wall-OSS-0.5 在 Thor 上从 610.3 毫秒降至 280.7 毫秒,加速 2.17 倍;Oasis-500M 在 SM100 上从每帧 612.5 毫秒降至 26.31 毫秒,加速 23.3 倍。

这些性能变化是逐步实现的。下图按目标列出了通过验证的改动:Wall-OSS 和 Oasis 等任务先通过图捕获或重放减少执行开销,再继续尝试原生算子、计算融合和结果复用;M1 Pro 上的 Qwen3 则涉及编译、精度选择和归一化等调整。图中的每条路径保留了自己的测试条件,展示各目标如何逐步形成当前实现。

根据具体改动在完整任务中的表现,决定该改动是否保留。其中单请求解码、并发服务、动作生成和图像生成,都需要运行对应的测试。例如在 Pi0.5 上,一个注意力算子的微基准加速达到 1.497 倍,完整动作推理耗时却增加了 56.7 毫秒,环境据此筛掉了该候选。对于 Llama-3.1-8B,块分页 KV 将单步时延从 4.901 毫秒降至 4.382 毫秒,16 路并发吞吐提升为 0.6%–2.0%,系统按照预设收益门槛将其记录为 STOP。

这些结果都会写入实验记录。后续任务可以参考已有方案,再按自己的模型、设备和测试要求重新验证,选择适合的实现。

04 典型实践:面向不同任务的专属推理引擎优化

把这套方法真正用到具体任务中,Agent 是如何构建和优化推理引擎的?过程中解决了哪些实际问题?

在具体应用中,这套方法既能用于视觉决策,也可以用于图像生成。Clef 的案例展示了同一模型如何适配不同设备,Qwen-Image 的例子则呈现了速度、画面质量和硬件分工之间的取舍。

案例一:面向视觉决策的专属推理实现

在开篇的马里奥演示中,Agent 使用 Rust 和 Metal,为 APXInf 编写原生推理实现,并在 M1 Pro MacBook Pro 和 M4 Mac mini 两台设备上开展优化。相关代码已合入 APXInf 主干 PR。

首先需要保证新实现与官方 MLX 版本的决策结果一致。通过逐层比较计算结果,Agent 发现一处衰减系数在计算时的浮点舍入顺序不同,影响了最终决策。调整计算方式后,在两台设备上测试的 812 个决策都与官方结果完全一致。

随后,Agent 开始探索性能优化,先后测试约 145 个候选方案,保留约 34 个。我们也根据实际文本决策请求,将性能测试的输入长度调整为 370–1016 个 Token,让测得的耗时更贴近真实使用。

硬件分工也通过实验确定。团队提出尝试 Apple 神经引擎(ANE),Agent 经过 16 轮实验,在 M1 Pro 上将部分 MLP 计算交给 ANE;迁移到 M4 后,又按量化误差重新切分,将误差较大的神经元留在 GPU 上。同一份权重,由此形成了适合两台设备的不同实现。

在文本决策请求测试中,EngineTailor 将 M1 Pro 的耗时从 4.91 秒降至 2.30 秒,加速 2.14 倍;M4 从 3.46 秒降至 2.11 秒,加速 1.64 倍。APXInf 原生实现对应的加速比分别为 2.10 倍和 1.61 倍。

而回到马里奥游戏任务测试。团队在 M1 Pro 上交错运行 APXInf 与 MLX,四局均完成全部 39 次决策并通关,动作选择一致。单步决策中位耗时从 3.91 秒降至 1.92 秒;M4 上同一游戏演示的加速比为 1.36 倍。

案例二:Qwen-Image—— 在速度、画质与硬件资源之间寻找平衡

与视觉决策不同,图像生成任务除了关注推理速度,还需要兼顾最终画面质量和硬件资源占用。

团队在一台 16GB 的 Mac mini M4 上测试 Qwen-Image-2.1。使用 mflux 生成一张 512×512、40 步的图像约需 206 秒。

Agent 尝试让部分生成步骤复用之前的计算结果。当约四分之一的步骤采用这种方式时,生成一张图的耗时降至约 156 秒,四项图像质量测试中有三项通过;但当比例上升至 0.5 时,速度达到约 1.9 倍,图像质量却明显下降,四个用例均未通过。后续实验选择 0.25 档位,并继续逐项检查质量。

性能分析显示,4bit 量化矩阵乘占 shader 执行时间的约 91%。Agent 将矩阵乘 tile 的行数从 32 改为 64,提高权重复用,在该项对照配置下将耗时从 206.2 秒降至 195.1 秒,输出与 mflux 逐像素一致。下图汇总了包括这一改动在内的候选实验。

进一步的收益来自 GPU 与 ANE 并行:Agent 将每个 image block 的部分 MLP 计算交给 ANE,其余由 GPU 完成。在对应的 512×512 对照配置下,耗时从纯 GPU 的 136.5 秒降至 89.6 秒,加速 1.52 倍。实验还确定了先启动 GPU、再启动 ANE 的顺序,以便两侧计算充分重叠。

不过,硬件协同也带来了额外资源开销:ANE 程序需要常驻约 2.94 GB 内存,引擎自身的峰值内存约为 5.6 GB。同时,INT8 量化可能让高对比度边缘变粗糙,还需要逐项检查生成结果的画质。

图像越大,GPU 承担的计算越多,两者并行带来的加速也随之减小。与各自分辨率下的纯 GPU 版本相比,1024×576 图像加速了 1.34 倍,1024×1024 图像加速了 1.23 倍。

两个案例分别从视觉决策和图像生成出发,展示了 Agent 如何根据具体任务的计算特点和硬件条件,探索不同的推理优化方案,也体现了专属推理引擎在不同场景下的适配空间。

05 面向 RSI:从推理引擎优化到基础设施持续进化

从马里奥的一次跳跃,到一张图像的生成,EngineTailor 展示了 Agent 针对不同模型、硬件和任务负载定制推理引擎,并持续优化的可行路径。通过将完整的推理执行、性能测试和正确性验证连接起来,Agent 不仅能够参与引擎的代码优化,还能将经过验证的改动和实验经验沉淀下来,让后续优化建立在已有成果之上。

对于开发者而言,这也提供了一种更灵活的推理引擎构建与优化方式:从具体模型、设备和任务出发,设定性能目标与验收条件,由 Agent 探索适合的引擎实现,并通过持续验证不断改进。每一次优化留下的代码和实验记录,都可以成为下一轮探索的基础。

更重要的是,这也为递归自我改进(Recursive Self-Improvement,RSI)在 AI 基础设施领域,尤其在端侧的探索打开了新的空间。

当前,EngineTailor 已经验证了 Agent 驱动专属推理引擎构建与持续优化的工程路径;而更进一步的探索在于,经过优化的基础设施能否反过来提升 Agent 自身的能力?

如果优化后的引擎能够用于运行承担优化工作的 Agent,并帮助其更快、更高效地完成代码分析、生成和实验验证,那么 Agent 就有可能借助更高效的基础设施,进一步推动基础设施优化,形成相互促进的递归式改进循环。这一更完整的 RSI 闭环,仍有待进一步测量和验证。

目前,Clef 的原生实现已合入 APXInf 主版本(https://github.com/infinigence/APXInf),EngineTailor 的实现也将在后续开源。随着更多模型与设备加入,我们将继续探索哪些优化方案可以复用,以及如何针对新的任务调整和验证这些方案。

从针对具体任务定制推理引擎,到由 Agent 驱动基础设施持续优化,再到探索基础设施反哺 Agent 自身能力的可能,EngineTailor 所探索的已不只是推理性能提升的一种新方法,更是一条让 AI 基础设施从支撑模型运行,逐步走向参与自身改进与持续进化的技术路径。

(来源:无问苍穹)

下一篇:没有了
友情链接
粤ICP备2026052944号-1
违法和不良信息、涉未成年人有害信息举报电话:12377 电子邮箱:zhl@jushenhome.com
@2025-2026 www.jushenhome.com All Rights Reserved 具身之家 版权所有