Repository navigation
Description
目标
为 #248 设计一次普通用户使用 InferRSI 的端到端试跑。从用户在目标仓库的 Codex 会话发出一句自然语言请求开始,观察 Agent 如何进入 InferRSI、落实验收口径、测基线、提交候选、完成复测,并交付用户可以核查的补丁和报告。首跑衡量的是产品工作流能否走通、用户要做哪些事以及卡在哪里。性能数字作为该次试跑的观测结果。 #248 落地讨论
用户实际输入
首跑在当前 Ascend 环境中使用 vLLM-Omni。目标仓库的起始版本固定为上游首次加入 Qwen-Image-2.1-Turbo 支持的 PR #8699 合入 main 后的提交 f69b1f2b19cece03f6736c7da093ea25de0e24fd。测量前核对检出版本与加载源码。基线和候选均从这个提交出发,既有项目工作区的预检记录独立保留。 Turbo 支持 PR
在准备好的目标仓库启用 InferRSI Codex 插件并打开会话。用户发下面这句话:
请用 InferRSI 看看这个项目里的 Qwen-Image-2.1-Turbo 出图能不能更快,保持当前出图质量。先测现有版本,做一个小改动,再复测,把代码补丁、质量检查和前后耗时交给我。
记录用户实际发送的文字和补充答复。用户的初始素材是手头的仓库与已经可用的运行环境。由 Agent 检查版本、配置、既有测试和测量入口,发现影响可比性的缺口时用自然语言向用户确认。用户无需上传 TASK.md、准备题包、填写自定义 YAML 或手动拼 InferRSI 命令。 Codex 插件使用入口
观察步骤
| 阶段 | 预期用户体验 | 观察者保留的证据 |
|---|---|---|
| 打开仓库并发送请求 | 用户在 Codex 里能启用 InferRSI,发出上面的请求并看到 Agent 开始检查项目。 | 实际客户端与模型、插件发行版本、启用结果、原始请求、第一次有用反馈及等待时间。 |
| Agent 明确计划 | Agent 自行找到项目已有的模型配置、请求入口和检查,说明准备测的范围、质量口径和预计耗时。若需要用户决定,只问当前缺失、会影响执行的条件。 | Agent 实际调用的 InferRSI 入口、有效知识记录、用户被要求补充的内容,以及需要由用户手动执行或批准的动作。 |
| 基线、候选与反馈 | Agent 准备可运行的性能和质量命令,冻结输入后测基线。在项目源码上形成真实候选,提交一轮并按反馈继续或结束。用户可看到当前阶段、失败原因和下一步。 | 固定基线、工作负载和判据,运行记录、候选源码摘要、假设、阶段时间、失败与恢复。 |
| 结果交付 | 用户在原会话收到可定位的补丁、质量结果、基线与候选原始耗时、复测结论和剩余限制。 | 最终用户回复、各产物引用与可复核性;逐项对照报告主张和独立复测凭证。 |
观察者跟踪实际会话和已有状态记录,允许用户完成通常的确认动作。观察者记下每次阻塞、是否由 Agent 自行恢复、何时需要用户介入。若观察者提供命令、手工修复环境或替 Agent 提交候选,记录为人工接管,并说明走到哪一步。重放或恢复只结算已有尝试,新增执行单独留存。
Agent 和验收方使用的实际入口
- 普通项目使用
campaign start / knowledge / round / final。Agent 根据用户请求与当前仓库准备任务说明,在仓库外的准备目录写request.md与protocol/,优先复用项目已有测量和质量脚本。调用campaign start --instructions ... --protocol ...后,Harness 在运行目录留存frozen/TASK.md、frozen/protocol/、基线和计划。若现有项目缺少可靠评测能力,记录 Agent 如何发现缺口及用户看到的下一步。 普通项目流程与命令 - 优化代码写在目标 vLLM-Omni 工作区,由 Agent 根据实际瓶颈选择代码路径。在第一次候选前固定可改源码范围、模型与运行时版本、模型配置、请求或种子、样本、计时边界、质量检查和预算。候选与基线使用同一协议,核对测量进程实际加载的源码与本次快照对应,逐条保存质量结果和未筛选的原始计时。用户可取得实际 Agent 提交的 diff。
- 保留 会话 final 和 Agent 补丁独立复测 两份凭证。会话 final 验证 Harness 选中的源码。独立验收方用干净工作区从固定基线应用封存的 Agent 补丁,核对其 round/attempt、候选快照摘要和重建源码后,用同一协议重跑。若会话 final 选中基线,仍需独立复测 Agent 实际提交的候选。复测前封存选择,优先选已通过质量检查且测量完整的最佳候选,平分取最早一轮。更换为另一份合法补丁也必须在计时前拒绝。 候选身份与独立复测检视
交付与判定
- 留存经脱敏的用户请求、实际投递上下文、可见问答、操作和等待时间。列清用户亲自完成的步骤、首次阻塞、恢复和人工接管。
- 留存基线与协议身份、真实 Agent 补丁、逐轮记录、两份复测凭证、质量检查和原始计时,给出用户从回复打开这些证据的路径。
- 按实际证据判定。用户走完整条流程并拿到可复核交付,验收通过。明确违反冻结要求或正常结束却没有候选补丁,记录
FAIL;模型、设备或环境故障导致证据缺失,记录INCONCLUSIVE。同时保留最后一个走通的用户步骤、阻塞原因和所需的具体改进。性能提升幅度由测量报告记录。 失败与边界检视 - 开跑前核对可用的插件发行版本、目标仓库与基线、单卡资源及验收人。当前为普通用户首跑的设计提案,后续执行计划记录实际环境、时限及独立复测安排。
Activity
Dong1017 commentedon Nov 17, 2026
评估: 这是一个设计类 task。方案整体方向合理,"任务输入 → Agent 提交 → 封存补丁 → 独立复测"的闭环,以及把性能提升幅度当作观测结果而非验收门槛,都避开了 Goodhart 风险。目前缺的是几个可判定的细节和几个责任人,补上后才能让维护者冻结方案。下面基于 issue 正文给出判断。我没有打开正文引用的 #248、#337、#419 和两份 docs,这些链接里的内容没有核对。
做得好的地方
INCONCLUSIVE"。缺口与风险(建议在设计评审前补齐)
INCONCLUSIVE与失败的边界不够可操作。 模型调用超时、NPU 被抢占、Agent 自己把环境搞坏,这几种怎么归类?建议列一张"事件 → 状态"表,并写明INCONCLUSIVE后是否允许重跑、最多几次、重跑是否要新开 RunSpec。否则会出现事后挑选结果的空间。round,"选定理由"由谁定?是 Agent 自选,还是按预先规则(如最后一轮或反馈最优)?建议规定"封存候选"的选择必须在复测之前完成,并写入证据包。candidate.py,"受保护文件"校验是怎么做的(哈希清单、只读挂载,还是复测时 diff 检查)?补丁里david6666666 commentedon Nov 17, 2026
Could the frozen plan require two distinct receipts when the baseline wins? The current
session finalflow retests the Harness-selected source, so a passing baseline final does not establish that the Agent patch was replayed. Keep that receipt, and have the independent full-case replay bind the session round/attempt and its retained candidate digest to the source digest after patch application. Report the evaluated source, verdict and raw timings separately for each receipt. A different, otherwise valid patch should fail the binding check before timing.david6666666 commentedon Nov 17, 2026
Could the proposed replay validator check the recorded cross-arm AB/BA sequence, not just the 66-call total and each arm's sample list? I tested the current task assessor with a synthetic full receipt: reversing the first baseline/candidate measurement pair left the invocation multiset and each arm's times unchanged, and still returned PASS. Please add that swapped-pair negative control to the offline validator, so a complete-looking receipt cannot establish the frozen order if the ordering evidence disagrees.
[-]task: 设计 qwen21-denoise-npu 的首个 Codex 端到端用例[/-][+]task: 设计首个 Codex 用户使用 InferRSI 的端到端用例[/+]david6666666 commentedon Nov 17, 2026
For the revised ordinary-project pilot, could we define what qualifies as an unassisted workflow PASS before running it? User answers and normal approvals are part of the intended workflow. If an observer supplies the measurement command, fixes the environment, or submits the patch, the evidence may still be valid, but the product outcome should be recorded as assisted completion with the first blocked step. Keep that workflow outcome separate from the candidate's quality and timing verdict. My earlier 66-call check was specific to the packaged task and isn't an acceptance requirement for this revised pilot.
david6666666 commentedon Nov 17, 2026
Could the Ascend preflight record the effective Turbo scheduler and denoising step count, not just the requested flags? vllm-project/vllm-omni#8699 shows a GB200 run that requests 50 steps but actually uses the checkpoint’s eight-step
sample_sigmasgrid. Please confirm the effective grid on the pinned Ascend baseline and retain it in the candidate and independent replay receipts. If the baseline cannot run the intended grid, report an environment gap; if only the candidate changes the grid, don’t compare those latencies under the frozen protocol.