Skip to content

task: Dashboard 增强:每轮改动说明、动态 workflow 与耗时、测试进度 #345

Open

Description

@jiangkuaixue123

Current state: Dashboard 增强提案:保留精度/性能测试动态百分比进度条,并按用户 2026-11-05 的要求合并每轮服务的代码改动说明、全流程动态 workflow 与阶段/节点耗时展示。
Decision needed: 请维护者确认首批支持的测试执行器、进度单位及 workflow 事件接口,并指定负责人。
Next action: 实现负责人对接轮次/服务/代码变更与执行事件,落实以下三组展示和异常状态处理。

Goal and acceptance

用户需要在 dashboard 中直接理解“这一轮改了什么、优化了什么、整个优化走到哪里、各阶段花了多久、精度和性能测试完成了多少”。

1. 每轮服务的代码改动精要与优化点

对应用户截图中的“服务与已落盘波次”表格、红框标出的服务名称区域:

  • 每个服务行提供清晰的“本轮改动 / 优化说明”按钮、展开项或等效入口,可查看该轮代码改动精要与优化点。
  • 说明包含相对于对应 parent/baseline 的主要改动、涉及模块、优化目标及预期作用;有记录时链接到 commit/diff/patch 和验证结果。
  • 准确关联 campaign、run/iteration、candidate 与服务,避免不同轮次或 parent/candidate 的说明串用;服务停止或回收后仍可查看已保存的说明。
  • 区分优化意图与已验证收益;缺少说明、代码关联或结果时明确显示“未记录 / 不可用”,不根据服务名猜测或将叙述当作性能证据。

2. 全流程动态 workflow、阶段/节点耗时与当前位置

  • 展示整个优化历程的连贯 workflow,包含实际记录的阶段、节点、轮次及其先后/依赖关系;阶段可包括诊断、候选生成、代码修改、服务启动、精度验证、性能测试、结果分析与下一轮迭代,以真实流程为准。
  • 清晰突出当前所在阶段与正在执行的节点,区分未开始、排队、运行、完成、失败、取消、跳过及数据不可用;存在并发执行时展示全部活动节点。
  • 展示每个阶段、每个节点的耗时:完成节点展示实际耗时,运行节点展示动态已耗时;可查看开始/结束时间。明确阶段总耗时的统计口径,并发节点不得简单相加误作墙钟耗时。
  • 随执行事件自动更新节点、连线、状态与耗时,可回看历史轮次;重试、分支或回退保留历程,不覆盖为一次成功路径。
  • 节点可查看对应轮次/服务的改动说明及已有日志、报告或验证结果,实现 workflow 与服务表的关联导航。
  • 时间戳/事件缺失时显示未知或记录不完整;断连时显示最近更新时间/陈旧状态,不伪装成实时进度;刷新和重连后恢复正确历程,不重复节点。
  • 当前进度以实际阶段和节点状态表达,不以耗时推算虚假的整体完成百分比;离线报告展示采集时的 workflow 快照。

3. 精度测试与性能测试的独立动态进度条(保留原需求)

  • 在对应 run/iteration 中分别展示两类测试的进度条、百分比、已完成/总数量及当前状态。
  • 总量已知时按真实完成事件计算 completed / total × 100%,明确单位(样本、用例或 benchmark 配置);不混用单位或按时间模拟百分比。
  • 运行期间自动刷新,可观察中间进度;两个阶段独立更新。
  • 总量未知时显示不定进度及已完成数量;零任务、未运行、不适用分别展示,不误报 100%。
  • 区分排队、运行、完成、失败、取消及数据不可用;失败/取消不强制补齐 100%;断连保留最近进度并显示更新时间或陈旧状态。
  • 100% 仅表示测试工作量完成,测试 verdict 单独展示,保留 PASS / FAIL / INCONCLUSIVE 语义。
  • 重复/乱序事件、重试、并发测试、页面刷新和重新连接不重复计数、不混淆 run/iteration;总量动态变化说明口径。
  • 提供聚合测试和 dashboard 验证示例,覆盖正常递增、未知/零总量、失败/取消和断连恢复。

联合验收

  • 提供多轮优化示例,演示“从服务行查看本轮改动 → 在 workflow 定位对应节点 → 查看节点/阶段耗时 → 观察精度与性能测试进度 → 回看历史结果”。
  • 覆盖服务回收、缺失改动说明、缺失时间戳、并发/重试、失败/取消、重复/乱序事件和刷新/重连等场景,并提供测试与使用说明。

Scope and constraints

  • In scope: 每轮改动摘要及其关联入口、workflow 事件采集/聚合与只读展示、阶段/节点耗时、两类测试的动态进度、异常状态及历史兼容处理。
  • Out of scope: ETA 预测、修改测试阈值、新增调度或执行控制能力;不以生成的说明替代真实代码/验证证据。
  • Interfaces / limits: 对接 [Task] RSI Dashboard: Optimization Workflow Visualization and Trace Capture #314 的 dashboard 与只读观察接口;复用已有轮次、服务、trace 与生命周期数据,补充缺少的数据契约;离线报告展示快照,运行中观察视图动态更新;历史记录缺少字段时显示不可用。

Inputs and deliverables

Ownership and authorization

  • Proposed by / actual requester: 用户在 Codex 对话中提出,Codex 代为整理提交。
  • Status: Proposed
  • Accountable parent / implementer / goal-acceptance owner: TBD,由维护者指定。
  • Accepted decision or scoped delegation: 用户已授权创建需求 issue,并于 2026-11-05 明确授权将上述两项 dashboard 增强合并到 task: Dashboard 增强:每轮改动说明、动态 workflow 与耗时、测试进度 #345;未指定实现、合并或关闭权限。

Completion and closure

  • Who accepts completion and may close: 待指定的目标验收负责人。
  • Remaining uncertainty / next decision: 维护者确认首版范围、数据接口和负责人。

Activity

  1. added
    kind:taskBounded delivery task with a delegated slice
    area:harnessHarness module: profile, A/B loop, quality gates, evidence reports
    area:usabilityUsability and collaboration: issue navigation, templates, readable reports
    status:proposedWaiting for the decision named in the status block
    on Nov 4, 2026
  2. changed the title [-]task: Dashboard 支持精度测试和性能测试的动态百分比进度条[/-] [+]task: Dashboard 增强:每轮改动说明、动态 workflow 与耗时、测试进度[/+] on Nov 5, 2026
  3. Dong1017 commented on Nov 5, 2026

    @Dong1017
    Collaborator

    增量方案评审(只读源码;需要维护者明确首版契约,不构成实现或验收授权)

    当前 #345 的「动态节点耗时 + 精度/性能百分比」有一个需要在 UI 开发前界定的数据来源缺口:main 的 runner.py:41–47、:158–186 只记录试验/验证开始及最终状态;阻塞中的 execute_checked() 没有逐用例 completed/total 事件,也没有对应节点的完整开始—结束配对。status.json 是覆盖式最新状态,不是历史事件账本。#319 尚为开放 PR,其 dashboard_live.py 轮询已有快照,无法自行补出执行器从未记录的进度。若首版直接画连续百分比或精确节点耗时,会把推断当作实测。

    建议最小化分两段验收:

    1. **先冻结一个可实际供数的执行器及事件契约。**至少区分 started/finished/failed/cancelled,并绑定 run/round/trial/attempt + 节点标识、时间、进度单位及 completed/total(当执行器能够报告时);重试与重连要能按稳定事件身份去重。不能报告样本进度的外部命令保留“不定进度/未知”,不要由耗时推百分比;未配对的节点时间不要伪装成精确耗时。
    2. **再接入 Add offline and live optimization workflow dashboard #319 的只读展示。**用同一个可回放的多轮事件样例检查:正常结束、半途失败/取消、断连恢复、重复/乱序与缺失事件时,历史节点、耗时和两类测试进度能正确降级;区分“事件记录完成”和测试结果 PASS/FAIL/INCONCLUSIVE。Add offline and live optimization workflow dashboard #319 合并/范围决定之前,不将其 PR 功能计为 main 已交付能力。

    **待原负责人取舍:**首版选哪个现有执行器真实产生完成计数?若暂无可供数的适配器,是否先交付“工作流快照 + 运行中节点 + 不定进度”,将逐样本百分比明确留到后续适配?这比先承诺所有执行器都有动态百分比更可验收。

  4. self-assigned this
    on Nov 11, 2026
  5. Dong1017 commented on Nov 17, 2026

    @Dong1017
    Collaborator

    Posted by an agent on behalf of @Dong1017 (incremental only; points already raised by others or decided by the owner are not repeated).

    Incremental note: two PRs that reference this issue have merged, and #316 row 6 already marks Dashboard work done. This issue is still status:proposed with no owner.

    • #389 (Refs #333 and #345, merged 2026-11-12, c013e777) added trial progress and trace links. docs/dashboard.md:81-89 on main 1acfacf8 now defines performance and accuracy progress counts, with validation/progress.json {unit, completed, total} and null for an unknown total. apps/views/dashboard_workflow.py projects phase starts and ends into work units.
    • #401 (Refs #345 and #333, merged 2026-11-12, 1191ec6b) added the timing-history comparison.

    Those PRs appear to cover parts of groups 2 and 3. Neither PR body mentions group 1 (per-round change notes on the service rows). A maintainer should record which items are accepted, who owns the rest, and whether group 1 is still wanted.

    Scope: PR state and bodies, plus a docs and code grep on main 1acfacf8. I did not check items against the UI, so the coverage mapping is unverified.

  6. zengchuang-hw commented on Nov 17, 2026

    @zengchuang-hw
    Contributor

    独立源码审阅(普通 Issue 的范围与验收建议,不是 PR Approve,也不代表本议题已完成)。

    核验基线:main@1bbc3b0c8de14d6194d7ee7987607365b665fbfe。未读取其他参与者评论;以隔离出的功能目标和实际源码/测试作判断。

    已有基础应复用,不宜作为全新功能重做

    • dashboard_data.py:53–95 已投影 caller-recorded summary/hypothesis/code_locations,并将意图与独立 verdict 分开。
    • dashboard_workflow.py 已有三类 runner 工作节点、重复边去重、冲突降为 unknown、独立精度/性能计数;wall span 使用 max(end)-min(start),不是并发节点耗时相加。
    • docs/dashboard.md:71–96 已明确 command duration/phase duration、validator 单写者绝对计数与 run 隔离重试的边界。现有 live 页面也已有轮询、连接状态与 running 节点 elapsed 刷新,不应把这些列为完全缺失。

    建议先冻结两个接口边界,再验收扩展

    1. “重试”到底是否始终产生新 run? 当前节点键只有 (kind, side, trial),不是 attempt 身份(上述 workflow 文件 35–51 行)。我用同一 run、同一 candidate trial 的“失败→重试→成功”四条 start/end 记录做直接投影复现,结果为 1 个 unknown 节点、completed=0。这符合现行保守冲突规则,但不能表示同一 run 内两次尝试的独立历史。若本任务只支持新 run 重试,请将约束写进验收并验证跨 run 导航;若要支持 run 内重试,请先增加稳定 attempt/node 身份及重放规则,不要用“最后事件覆盖”来伪装支持。首批测试应同时保留失败尝试、成功尝试,并区分工作量计数和尝试次数。
    2. “动态 workflow”是否仅限当前 native runner 的三个节点类型? 目前白名单仅接受 source_snapshot / measurement / quality_validation(39–41 行),并没有通用依赖边模型。若需要排队、分支、回退或服务生命周期节点,应明确首批生产者、节点/依赖 schema,以及未知事件的降级方式;不能仅从展示顺序或时间戳推导依赖。建议用“两个并发活动节点 + 失败分支 + 重试分支 + 乱序重复回放”的 fixture 验收,而不是只展示一条线性 demo。

    关于回收后保留与进度,建议单列可复核验收

    • 针对 campaign/round/candidate/service/attempt 建立来源字段与 artifact 对照表。实际删除/回收服务后,重新加载离线快照,验证仍可定位 parent/baseline 改动与验证证据;未记录字段明确 unknown。仅保存 summary 文本不等价于保存可追溯改动证据。
    • 精度默认单位是 validator command;只有有效 validation/progress.json 才替换为 cases/samples/manifests。扩展时保留单位和 producer 归属,并覆盖 total=null、0、失败但工作量100%、损坏快照回退等场景,避免把 command 完成误写为全部样本通过。

    验证:当前基线下运行 test_dashboard_workflow.py 8 项,以及 test_dashboard_data.py、test_dashboard_live.py、test_dashboard_candidate_events_ui.py 合计 78 项,均通过;另执行了上述同 run 重试的直接投影复现。已读 AGENTS、review skill、贡献与隐私规则。未运行全仓测试/全仓 lint、真实服务回收、真实断连重连端到端演练或 GPU 验证;不据此宣称完整需求 PASS。以上为落地边界和验收建议,不是实施承诺。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

area:harnessHarness module: profile, A/B loop, quality gates, evidence reportsarea:usabilityUsability and collaboration: issue navigation, templates, readable reportskind:taskBounded delivery task with a delegated slicestatus:proposedWaiting for the decision named in the status block

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions