Skip to content

Acceptance: Qwen-Image-2.1-Turbo / B300×4 campaign #3

Open

Description

@hsliuustc0106

Current state: No PASS/FAIL/INCONCLUSIVE verdict is recorded; the body reports a formal 384.16 → 266.60 ms (about 30.60%) end-to-end gain with 44/44 pixel-identical images, and source PR #2 and vLLM-Omni #8739 merged on 2026-10-14.
Decision needed: none
Next action: No assignee and no comments; the owner roles named in the body (RSIBot review for technical gates, TestBot, PMBot/ProductResearchBot) have not recorded a verdict.

Why

Formal PASS bar so downstream PRs (e.g. vllm-project/vllm-omni#8739) cite OmniRSI evidence and do not redefine the claim.

Source of truth

Gates

  • Latency: ≥30% E2E vs fresh original baseline (formal ~30.60%: 384.16 → 266.60 ms)
  • Quality: frozen v4 validator, 44/44 pixel-identical
  • Verdicts: PASS / FAIL / INCONCLUSIVE only; microbench ≠ e2e done

Downstream contract

  • Matching revision + numbers, or mark unverified
  • Cite pinned SHAs; never redefine the gain/quality claim

Owners

  • Technical gates: @RSIBOT review
  • CI clear before treating transfer as done: TestBot
  • Product claim language: PMBot / ProductResearchBot

Out of scope

Auto-agent / SSH / resume; SIAS expansion beyond this campaign.

Activity

  1. added
    kind:acceptanceCampaign acceptance issue: frozen gates + evidence tree; PASS/FAIL/INCONCLUSIVE
    area:harnessHarness module: profile, A/B loop, quality gates, evidence reports
    on Oct 21, 2026
  2. zengchuang-hw commented on Nov 17, 2026

    @zengchuang-hw
    Contributor

    #3 历史验收合同独立检视:INCONCLUSIVE(本轮证据验证不足,不是历史实验失败判定)。

    本次不恢复已取消的 campaign,不进行 SSH、resume、auto-agent、模型/GPU/付费执行或 SIAS 扩展;不关闭 Issue,也不重定义历史门槛。历史的 ≥30% end-to-end latency improvement 与冻结 v4 validator 的 44/44 pixel-identical 要求,不等于本轮已经验证通过。

    已独立核实:

    • 历史仓库名 ThinkFlowLab/OmniRSI 与当前 InferMatrixLab/InferRSI 的 API repository ID 均为 1409534281。本轮检查固定在 main 61303fa8150472dfbda62ec8d77908bc05c73f3b,不是把 PR mutable tip 当作原始 freeze。
    • 该版本的 archive-manifest.json 提供完整 baseline f69b1f2b19cece03f6736c7da093ea25de0e24fd、candidate 330d411d2dd567bc061cb3124f4e39d195a4be45 和 candidate tree 571f4ecbe65875ba269b3fe4bdf7b72f9875aa6e。
    • baseline 完整 SHA 已通过 vllm-project/vllm-omni commit API 独立解析,tree 为 15cad4599293915cdd45e0b005b62f83e368ccc7。candidate 完整 SHA 在该上游及所查 InferRSI commit 查询未解析成功;它目前只是 manifest/patch 中的完整引用,未独立验证其 Git 对象/树。不能将“短 SHA 已展开”写成“两端源对象均已核实”。
    • 历史 release 的资产元数据给出 archive 大小 11,699,006 bytes,SHA-256 22c654050def3535dab8b73541856419e4a606dd98d01004229953d873e07531,与上述 manifest 一致;另有 20,437-byte candidate-source.bundle 及其独立 digest。这是两处元数据一致性,不是本地重算文件 hash。
    • 保留 patch 的结构检查发现 21 个 diff section、17 个不同路径,含重复修改同一路径。它不能被当作 21 个互不相干的最终文件,更不能仅凭存在就证明适用到冻结 baseline 后得到声明的 candidate tree。
    • 对 archive 与 source bundle 的有界下载均超时,未取得可本地核验的字节。没有解包、执行其中代码或运行 upstream tests。

    仍缺少本轮可独立复核的关键链条:

    1. bundle 对象完整性,以及 baseline + 有序 patch 与 candidate commit/tree 的一致性;
    2. 冻结 v4 validator 的实际字节/hash、44 个测试输出与 reference 的明确映射和逐项像素比较。manifest 的 tested_images/reference_images/unique_pngs 计数不是 44 项比较记录,重复内容也不能仅凭计数判为错误或通过;
    3. fresh original baseline 与 candidate 的原始 E2E 测量、相同 workload/hardware/runtime/model/precision/quality 条件、重复与聚合规则、原始 improvement 公式。不得用 microbench、不同计时边界或另一个 speedup 定义替代历史门槛;
    4. 下游源版本和证据值与此冻结结论的对应关系。没有检查 PR #8739 的代码/证据,因此不作下游符合性或接受判断。

    本轮仅做仓库身份、固定版本元数据、patch 结构与资产元数据一致性检查;没有读取 PR #2/#8739 body、他人 review 或作者 status 结论。没有性能/质量重放,技术验证、CI 与产品表述资格均不因此成立。上述缺口是本轮审查限制,不是重新开跑的请求或授权。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    area:harnessHarness module: profile, A/B loop, quality gates, evidence reportskind:acceptanceCampaign acceptance issue: frozen gates + evidence tree; PASS/FAIL/INCONCLUSIVE

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions