Skip to content

[Roadmap] InferRSI: Optimization, Evaluation, and Engineering #316

Open
2 of 2 issues completed
Open

Description

@david6666666

Goal

按当前分工跟踪 InferRSI 的 12 个主要工作项,覆盖架构重构、评测、性能上限、知识检索、外部 Agent 对接、可观测性、应用层、文档、集群 RSI、CannBot 知识接入、多场景 Campaign 与首个 Codex 用户端到端试跑;另有 7 项延续自上一版 roadmap。保留原有 1–17 编号,新增第 18、19 项;跨工作项提案、模型专项与其他未关闭 issue 在下方集中索引。

本 issue 汇总分工、交付进展和剩余事项;整体方向参见 #61,模型优化专项参见 #416。具体范围与交付内容以对应 issue / PR 为准。本 roadmap 以 PR 合入作为对应实现切片的完成标准,无需等待跟踪 issue 关闭;整项目标验收、真实任务效果与 campaign PASS 仍以各自证据为准。 同一行同时列出已交付范围与剩余工作。

Workstreams and Ownership

状态图例: ✅ 已交付(所列 PR 已合入) · 🚧 进行中(有实施 PR 待合入) · 📋 待开展 / 待决策 / 待验收 · ⚪ issue 已关闭(保留关闭边界)。

# 工作项 范围与关注点 Owner Tracking issue 状态
1 Knowledge / Harness / Benchmark 三模块目标架构重构 按 #362 拆分 K/H/B 与 Apps,明确依赖方向、公开接口(read/collect、prepare、execute、assess)及迁移边界。Workbench 已更名为 Harness。 @Dong1017 #362;接口 #387;迁移 #407–#414、#451;依赖闭合 #412 ✅ 首批迁移、共享 contracts/resources 与旧根路径退役已交付(PR #453/#458/#459/#461/#474/#477);🚧 R2 PR #478 待合入;📋 R3 runtime loader 收尾及整体隔离尚未完成
2 Benchmark 评价和对比实验 建设可复用工程优化任务、正确性依据与测量规则;比较系统、模型及知识条件下的优化效果、可靠性与成本。 @Bounty-hunter #252、#336、#337;相关 #248、#289、#419 ✅ 共享优化管理与题包接入已交付(PR #338);🚧 任务扩充 PR #349 待合入;📋 真实 Agent/设备完整验收与效果比较继续跟踪
3 上限估计 L1 权重需求锚定 checkpoint;模型级 SOL 与 distance-to-bound;用户目标优先,缺项才由上限分析辅助推导。 @fake0fan @amy-why-3459 #348;相关 #303、#385、#399 ✅ 已交付(PR #351/#400 已合入);🚧 模型级 SOL PR #386 待合入
4 搜索域搜索(Skill Indexer) 改进材料发现、排序、上下文送达与采用;与 rg 对照,并关联逐轮证据。 @jiaran-king #379(总跟踪)、#380(核心实验);#370、#344 ✅ 逐轮归因与统一检索入口已交付(PR #384/#466),#370 两组对照已交付;📋 检索效率与知识有效性仍按实验分别验收,不由入口合入推定
5 MindIE-agent 对接 将 MindIE 知识读取、来源留存与候选证据交接接入 InferRSI,并完成 Apps 归位及真实任务验证。 @jiangkuaixue123 #374;迁移 #452 ✅ 适配与 Apps 迁移已交付(PR #393/#477,#452 已关闭);📋 #374 的真实 MindIE 任务与整体集成验收仍待完成
6 Dashboard 优化 展示逐轮改动、性能曲线、事件/耗时、测试进度及知识到候选/run 的证据导航;新增可访问性、窄屏、键盘/live 刷新焦点与页面性能改进。 All contributors #345;#392、#406、#413;体验优化 #481 ✅ 已有展示与导航交付(PR #405/#428/#450);🚧 #481 的 PR #483 待合入;📋 完整浏览器基线与体验验收继续在 #481 收敛
7 apps 重构 CLI / Python / Plugin 通过 K/H/B 公开接口装配流程,保留固定记录、错误与恢复语义。 @zengchuang-hw #371;#408、#412;上下文封存 #447;相关 #362、#152 ✅ Apps 入口、装配与迁移已交付(PR #461/#465/#469/#474),wheel 修复 #470 已合入,#408 已关闭;🚧 Harness 上下文封存 PR #475 待合入
8 docs 优化 随模块迁移同步操作说明、接口/迁移文档、发布说明与结果交付入口。 All contributors 在本 issue 跟踪;相关 #371、#387、#443 ✅ 已交付(PR #391/#395/#445 及迁移配套文档已合入)
16 集群 RSI(parallel round) 一轮冻结多条正交 lane,从同一 incumbent 隔离改动;统一设备协调、AB/BA 测量与 ledger,保留失败尝试。 @NumberWan #249;实现切片 PR #268 🚧 进行中(PR #268 待合入)
17 CannBot 知识接入 以只读 MCP 常驻查询通道接入外部知识,按来源独立呈现,保留版本与读取凭证;对齐外部依赖治理、公开接口及授权边界。 @jiangkuaixue123 #476;依赖 #388、#387;相关 #91 📋 形态已选为只读 MCP;详细接口、权限/许可与复现契约仍待评审接受,尚无实施 PR
18 大权重模型多场景 Campaign 保留默认 AB/BA,增加可选服务复用;候选性能、质量和 profile 复用服务,多场景联合判定、回退限制及连续无收益提醒。 @lirx-pd #467;PR #480 🚧 已接受限定范围,Draft PR #480 待合入;profile 失败与条件变更后的 final 规则修订仍待 owner 决定
19 首个 Codex 用户端到端试跑 从普通用户自然语言请求走通项目准备、基线、候选与结果交付;保留会话 final 与 Agent 补丁独立复测,并记录人工接管。 待确认(提案:@zengchuang-hw) #479;上位目标 #248;相关 #337、#419 📋 设计提案;开跑环境、资源、预算与验收人待明确,尚无首跑结果

延续上一版 roadmap 的工作项

以下各项保留原编号与负责人;已关闭的事项保留其实际验收边界。

# 工作项 范围与关注点 Owner Tracking issue 状态
9 Kernel 性能优化 以上限估计(第 3 项)的差距为依据,做瓶颈诊断与 kernel 优化。 @fake0fan #303 📋 待开展(#303 提案,暂无对应实施 PR)
10 引擎侧搜索空间优化 完善搜索空间与硬件感知目标,覆盖扩展到 torch / torch_npu。 @amy-why-3459 #143;目标准备切片 #399 ✅ 已交付(PR #167/#400 已合入);📋 torch / torch_npu 覆盖扩展待开展
11 知识有效性评估 评估知识是否正确、是否对优化任务有用;区别于检索效率、命中与采用记录。 @Dong1017 待建(原关联 #273 已关闭且主题不符) 📋 待开展(待建专门跟踪 issue)
12 Agent 插件与发布 按 #152 当前范围对齐 Codex / DSH / openJiuwen(WorkSwarm) 的集成、生命周期与自动发布。 @zengchuang-hw #152;release bot #238;版本 #443 ✅ 插件/发布切片已交付(PR #239/#327/#361,v0.2.0 已发布);📋 三宿主生命周期与整体集成验收仍在 #152 跟踪
13 0 Day 模型支持 沿 Transformers → GPU 推理引擎 → NPU 推理引擎 沉淀接入、验证与优化经验。 @amy-why-3459 #315 ⚪ 已关闭(#315,completed)
14 测试经验收集 收集用例、问题与解决经验,沉淀可复用测试知识。 @yenuo26 在本 issue 跟踪 📋 待开展(在本 issue 跟踪)
15 人工 trace 审查与框架反馈 审查优化 trace,把低收益、失败与证据缺口反馈到框架、知识库和搜索策略。 All contributors 在本 issue 跟踪,使用第 6 项能力 📋 待开展(人工复盘与反馈;展示能力见第 6 项)

跨工作项议题与补充跟踪

下表补齐大家提出的独立需求与后续切片;与主表共用既有编号,不因列入 roadmap 新增负责人或排期。

议题 / Tracking issue 关联工作项 当前交付与剩余事项
分层归档与 PR 体积控制 #464 8、14、15 ✅ 试点 #435/#394 及共享 v2 manifest、模板/校验器和两组证据整理 #472 已合入;⚪ #464 已关闭;🚧 R6 reporter 对接 PR #328 仍待合入。原 campaign verdict 不因归档改变。
RSI 结果交付契约 #468 6、7、8、19 📋 Proposed;统一 Markdown/HTML 报告、结构化结果与 artifacts 索引,采用决定及实施切片待明确。
可解释改进与测量有效性 #454/#455 2、3、6、14 🚧 限定范围已附条件接受;运行时 profile/配对统计 Draft PR #457 与知识指引 PR #456 均待合入。
Agent 工作方法改进与跨任务经验复用 #460 4、11、15 📋 Proposed;改进对象、可编辑范围、开发/最终验收边界及首个真实任务族待决定。
以更少总代价获得更好实测结果 #419 2、4、11、15、19 已有可选原型与探索记录;✅ 保留最佳候选的依赖失败处理 PR #473 已合入;📋 总体成本与效果改善仍为 INCONCLUSIVE,后续机制需分别验证。
RSI 投机验证 #363 2、7、16、18 📋 Proposed;先限定一个待验证父候选和一个投机后继,再确定与 #249 的调度、预算及资源边界。
Async Workbench / manager–worker 生命周期 #295 7、16 📋 Draft RFC;执行与恢复契约尚未接受,独立于 #249 的已分工切片。
生产端口与跨模块联调 #429/#430/#434 1、2、7 📋 CPU execute、prepare、assess 的限定交付已接受,负责人均为 @Dong1017;生产 T36/T37/T39/T40 联调继续跟踪,已有 CPU fixture 不代表全部生产验收。
Harness 留存并封存 Apps 上下文 #447 1、4、7 🚧 PR #475 待合入;留存实际 bytes/pins、manifest 与 attempt 身份,生产 evaluation 仍依赖 #429/#430/#434。
可验证 LLM Infra #402/#403/#404 1、2、14 📋 三项均为 Proposed:规格冻结/模型保真指引、RunStore 重入语义验证、veriserve 离线观测判读;已有上游 CPU 样例不代表 InferRSI 接入完成。
Diffusion 质量判据 #364 2、13、14 📋 质量度量问题与方案待收敛;保留 reference PSNR 对模糊/轨迹变化排序的反例,不能仅由数值接近推定质量合格。
AISBench 可选评测接入 #289 2、7 🚧 @jiangkuaixue123 的 Draft PR #326 待合入;打包方式及正式验收继续在原 issue 决定。
CLI / Agent 共用 YAML 任务输入 #365 7、8、12 📋 输入格式、验证/预览和执行映射提案;与普通项目流程对齐,未找到该共用输入契约的独立交付 PR。
跨 run trace 与失败交接证据 #333 6、14、15 📋 待明确具体失败交接案例与持久化边界;现有逐 run 证据不等于新 durable store/index 已获接受。
知识蒸馏与平台覆盖 #91、#350、#352、#38 4、10、11、17 #91 持续汇总;#350 已有知识批次,🚧 边界状态/检索补充 PR #482 待合入;#352 Ascend ModelAgent 蒸馏仍 Proposed;✅ #38 的 MLX 修复 PR #323 已合入,硬件与整体目标验收仍单列。
外部技能依赖治理 #388 4、5、17 📋 精确版本、许可、离线复现、漂移拒绝与现有蒸馏路径的关系待决;#476 的 MCP 方案不代表 #388 已关闭或全部契约已接受。
经验与上下文压缩对照 #220 4、11、15 📋 探索结果无候选 PASS;预注册 H1/H2 方案、审计包与验收 owner 尚待明确。
独立审批与 Request changes 规则 #440 工程协作 🚧 PR #441 待合入;可信 approval check 与 ruleset 切换按原 issue 跟踪。
持续研究输入 #177 全部 研究 Radar 与每日分类索引;研究发现、提案和实测结果分别保留。

模型专项与历史状态入口

模型优化以 #416 为专项 roadmap;这里补齐仓库中仍打开的任务入口,具体实验状态、冻结判据和停止/恢复条件以原 issue 为准,不把它们重新计作框架能力已交付。

模型 / 主题 Tracking issue 跟踪边界
Qwen-Image-2.1-Turbo / B300×4 #3 已有代码与测量记录;正式 campaign verdict 仍由原验收记录确认。
Qwen3.8 / H20 #53、#67;历史 BF16 #54 当前 FP8 验收在 #67,仍为 INCONCLUSIVE;#54 已被目标调整取代,保留历史而不记作 BF16 PASS。
Qwen3-TTS 0.6B / RTX 4090 #75;经验实验 #220 #75 已记录 FAIL 与限制,issue 尚开不代表仍在执行。
DeepSeek V4.1 Flash / Ascend 910C #353 目标未完成,保留停止状态与历史依据;列入汇总不恢复实验。
MiniMax-H3 / RTX 5070 #331 可运行配置、硬件可行性与正式验收门槛仍待明确。
MiniCPM-o 4.5 / 双 910B3 #417;复盘讨论 #420 模型验收与流程复盘分别保留,结论以 #417 的完整证据为准。
MiniMax-H3 T2VA / 四 L20X #438 独立模型验收任务,性能/质量结论以该 issue 的冻结协议与证据为准。

总方向参见 #61;历史演进快照参见 #41、#423。历史快照中的“待合入”等字样不覆盖当前 PR 的实际状态。

How the Workstreams Connect

  • 架构与装配: 第 1 项确定 K/H/B 边界,第 7 项通过公开端口装配,第 8 项同步使用与迁移文档。生产端口和联调仍在各自任务中推进,第 19 项用普通用户首跑检验完整使用流程。
  • 评测、上限与优化: 第 2 项冻结任务和判据,第 3 项给出有依据的上限/差距;第 9、10 项产生优化候选,第 16 项协调同轮多 lane 探索,第 18 项处理服务复用与多场景评测,结论仍来自受控测量。
  • 知识与外部对接: 第 4 项改进材料发现与采用,第 5 项接入 MindIE,第 17 项推进 CannBot 知识接入,第 11 项独立评估知识有效性。
  • 观察与反馈: 第 6 项提供固定记录与证据导航,第 15 项复盘并反馈,第 13、14 项沉淀模型接入和测试经验;[RFC] Tiered Experiment Artifact Archiving and PR Size Control #464/[RFC] RSI Result Delivery Contract #468 分别补齐归档与交付规范。

Tracking Notes

Activity

  1. changed the title [-][Roadmap] InferRSI:优化能力、评测闭环与工程化[/-] [+][Roadmap] InferRSI: Optimization, Evaluation, and Engineering[/+] on Nov 2, 2026
  2. agent-ci-infra-bot commented on Nov 2, 2026

    @agent-ci-infra-bot

    该 Issue 用六个维度/八项工作汇总本轮方向、负责人与跟踪 issue,属于协调型 Roadmap,全文只做「汇总方向与负责人」,没有要求任何代码改动。我已核对 #61/#303/#143/#273/#248/#314/#315/#152/#238 都存在且标题与表格大体对应,但多条跟踪入口与所述范围、当前状态并不一致。Verdict:不需要代码改动(no code change requested);在把本 Issue 当作跟踪入口之前,工作项 2、4、1/5、7 的跟踪与验收位置,以及它与 #61 的从属关系需要先补齐(详见 findings)。Labels: kind:roadmap, area:process(程序级 roadmap 锚点,内容为仓库级协作与治理,不是某项代码交付)

    工作项 2 的跟踪条目与所述范围不一致


    工作项 4 的跟踪条目当前处于中止状态,表格未反映


    工作项 1、5 指向 RFC,缺少落地任务


    工作项 6 的宿主范围与 #152 冲突且无决策记录


    工作项 7 没有跟踪入口、单一 owner 或验收判据

    • Where: 表格「Trace 人工复盘与框架反馈 … 负责人 全体成员(All people) … 本 issue 跟踪,结合 [Task] RSI Dashboard: Optimization Workflow Visualization and Trace Capture #314 的 Trace 能力」
    • Problem: 该行只有方向(复盘低收益任务并把结论反馈到框架/知识/搜索策略),没有跟踪 issue、没有单一 accountable 人、没有完成判据或复盘节奏(样本量、频率、反馈落到哪个 backlog)。
    • Conditions: 需要判断该工作是否完成、是否阻塞时。
    • Impact: 按 docs/agent-collaboration.md 的角色定义无法判定完成或阻塞,也不会产生可验收的产出;「全体成员」等同无人负责。
    • Fix: 在 [Task] RSI Dashboard: Optimization Workflow Visualization and Trace Capture #314 的 Trace 能力就绪后,写明复盘节奏、样本量与反馈去向,或单独建一个 kind:tracking issue 并指定负责人。

    与 #61 的关系、阶段与子 issue 关系未定义

    Reviewed commit: 2baebf6
    Coverage: Snapshot: 2637 files, 42149780 bytes; skipped 0 entries; Initial model context: 28 files; other accepted files available through tools; Git workspace contains a fixed snapshot, not full upstream history

  3. pinned this issue on Nov 2, 2026
  4. NumberWan commented on Nov 11, 2026

    @NumberWan

    Workstreams and Ownership 里还缺集群 RSI 这一项,建议补进主表,不要放进「延续上一版」里。它不是第 9、10 项那种优化目标,而是一轮里让多条 lane 同时改、由 InferRSI 统一量测和记账。

    # 工作项 范围与关注点 Owner Tracking issue 状态
    16 集群 RSI(parallel round) 一轮冻结多条正交 lane,每条只改自己的文件和一个平面(harness / model / infra)。InferRSI 从 incumbent 分出目录,排队拿设备锁,用现有 AB/BA 跟 incumbent 比;agent 自报的时间不算数。赢的、输的都写入 ledger。 @NumberWan #249;实现切片 PR #268 进行中(#249 / PR #268。prepare / submit / serve 已有;close、incumbent 推进、Claude Code / Codex driver 还没有。不把 M0–M2 当成已验收)

    请 @david6666666 看要不要加进表里。序号如果要插到现有 1–15 中间,我这边没有偏好。

  5. lirx-pd commented on Nov 17, 2026

    @lirx-pd

    Workstreams and Ownership 里还可以补一项 大权重模型多场景 Campaign。这项工作是在现有 campaign 控制器中增加可选的服务复用流程,和具体模型的优化目标分开跟踪。

    # 工作项 范围与关注点 Owner Tracking issue 状态
    待定 大权重模型多场景 Campaign 保留默认 AB/BA,增加可选服务复用模式, 候选性能、精度和 profile 复用同一服务;支持多场景性能联合判定、可配置回退限制,以及多轮无收益提醒。 @lirx-pd #467 进行中
  6. Dong1017 commented on Nov 17, 2026

    @Dong1017
    Collaborator

    Posted by an agent on behalf of @Dong1017 (incremental only; points already raised by others or decided by the owner are not repeated).

    Incremental note: one status cell is already stale. The body was last edited 2026-11-16 11:49 UTC. Row 7 (apps 重构) still says "🚧 wheel 修复 PR #470 待合入", but #470 was squash-merged at 13:36 UTC that day (f7c03905). The other PRs listed as pending are still open as of now: #386 (draft), #466, #268 and #457 (draft). @lirx-pd's proposed row points to #467, which is an open status:accepted task, so it can be added as 🚧 rather than "待定".

    Scope: PR and issue state via the GitHub API. The body's lastEditedAt is from GraphQL. No other rows were re-verified.

  7. zengchuang-hw commented on Nov 17, 2026

    @zengchuang-hw
    Contributor

    Independent roadmap evidence check at main 61303fa8150472dfbda62ec8d77908bc05c73f3b. I used the separable roadmap topics and inspected code/interfaces; I did not use the rollup's completion/ownership assertions or linked discussion conclusions.

    Concrete architecture finding: a green import gate is not completed K/H/B isolation. Running tests._gate_policy_support.first_wave_report() on this checkout returned:

    • violations: ()
    • isolation_complete: False
    • blocker kinds: harness reaches model/infra, runtime resource loaders

    This is a bounded import-policy result, not a newly introduced regression and not grounds to mark the architecture workstream accepted. tests/test_target_module_import_gate.py explicitly tests this distinction.

    Implemented interface evidence, independently inspected:

    • src/inferrsi/apps/api.py provides injected preparation, execution and assessment ports. Its execution path binds saved inputs, checks the request digest and execution identity, and preserves structured public-error facts rather than treating them as successful execution.
    • apps/candidate_provider.py collects candidates from a retained successful generation record and verifies required output artifacts; apps/context_provider.py produces delivered bytes, hashes, selected items and omissions through the Knowledge reader. These are concrete composition seams, not proof of useful optimization or knowledge adoption.
    • apps/result.py validates the correspondence between execution records, errors and public outcomes. The publication/replay checks exercise retained records and recovery-related behavior.
    • The closed-loop architecture fixture has both fake ports and a CPU/offline connection. The latter reads one packaged knowledge card and runs a local subprocess through existing seams; it is not an end-to-end device/Agent or parallel-lane qualification. Passing that fixture must not be promoted to acceptance of all roadmap tracks.

    Checks actually run on this revision:

    1. PYTHONPATH=$PWD/src <existing-test-venv>/bin/python -m pytest -o addopts='' -q tests/test_target_module_import_gate.py tests/test_architecture_closed_loop.py tests/test_apps_publication.py → 42 passed, 97 subtests passed, exit 0.
    2. Same invocation with tests/test_apps_port_validation.py tests/test_apps_replay.py tests/test_apps_context_provider.py → 35 passed, exit 0.
    3. Direct import-policy report above; checkout remained unchanged.

    Roadmap acceptance gap: this rollup does not supply an independently established new implementation acceptance contract. Stable workstream IDs/links can remain navigation, but each completion assertion needs its own governing requirement, pinned implementation and appropriately scoped evidence. Merged code, an open/closed Issue, or green scaffold tests alone cannot establish model ceilings, real optimization/cost improvement, useful retrieval/adoption, MindIE qualification, full observability, synchronized delivery documentation, or isolated/resource-coordinated parallel comparisons. Those topics were not independently qualified by the checks above.

    No linked task was restarted, owner assigned, roadmap status accepted or changed. No full suite/CI, live Agent, paid/device experiment, model-quality/performance measurement or parallel resource-isolation test was run. Conclusion: the listed interfaces have focused software evidence; full architecture isolation and roadmap-level closure remain INCONCLUSIVE in this review. This is an evidence inventory and acceptance-gap review, not an implementation commitment.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    area:processRepo-wide process, governance, privacy and security rulesbot-reviewedkind:roadmapProgram-level roadmap anchor (Now / Next / Later)

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions