Repository navigation
Description
关联 #373 第 5 项。提出人:@congw729。日期:2026-11-17。
设计讨论集中在本 Issue,后续实现由 WIP PR #380 跟进。
这次想给 OpenDirector 加两种工作方式:Agent 主导的纯净模式,以及左侧聊天、右侧画布的画布模式。先把界面和交互讨论清楚,再做实现。
有时候用户只想描述目标,让 Agent 帮忙生成内容,再看结果、提修改意见。有时候又需要自己整理节点、调整引用和编辑时间轴。两种工作方式都应该方便,切换后也应该能接着做刚才的事。
1. 想改成什么
这次改动主要有三点:
- 纯净模式:以对话为主,主界面不展示画布。沿用当前聊天组件,给对话和结果预览更多空间。
- 画布模式:保留现在的画布功能。聊天框移到左边,右侧画布占工作区的 2/3,聊天占 1/3。
- 随时切换:两种模式打开同一项目、同一会话。切换时保留草稿、引用、运行中的任务和编辑状态。
界面继续沿用现有的深色背景、圆角面板、图标和节点样式。画布里的工具栏仍然竖着放,缩放、撤销等控件继续放在画布左下角。浅色主题也要支持,草图先用深色说明布局。
Issue 里暂时叫“简单模式 / 专业模式”。这里建议改成“纯净模式 / 画布模式”,名称直接对应用户看到的工作方式。
2. UI 草图
下面两张图用于说明布局,里面的项目、消息和视频都是示例。功能尚未实现。
纯净模式
对话区居中,桌面宽窗口下先按约 800px 的阅读宽度设计,窗口变窄时随之收缩。主界面保留项目选择、保存状态、设置和模式切换。会话历史、新建会话继续从聊天顶部进入,第一版不增加常驻侧栏。
输入框继续保留上传、@ 引用、Agent、技能和模型选择。这里的操作和当前聊天框一致,用户之前配置的 Agent、模型和会话也继续使用。
生成的图片、视频等结果放在回复下面,能直接预览。执行详情默认收起,需要时展开。不要把每一次工具调用都铺满对话,也不要只留一句“已完成”,让用户自己去找文件。
纯净模式顶栏不常驻“中文 / EN”。 语言切换放在现有的“设置 → 通用”中。默认读取已保存的语言;没有设置时,中文浏览器使用中文,其余使用英文。界面语言不会改写用户内容,Agent 仍跟随用户提问的语言回复。
画布模式
顶栏下面按 1:2 分成聊天和画布两个区域。聊天面板保留当前的圆角和边距,画布在右侧独立占据空间。画布工具栏、节点操作、预览和底部控件都相对右侧区域定位。
现有的节点、连线、图片和视频编辑、资产库、历史版本、时间轴及导出入口继续保留。时间轴仍从节点进入编辑器,这次不另外增加一条常驻底部时间轴。
在聊天中点“在画布中查看”,切换后定位到同一个对象。用户在画布上选中内容后,也能继续引用到聊天里,让 Agent 接着处理。
3. 打开项目后怎么用
第一次进入
建议第一次进入时给用户两个清楚的入口:“纯净模式”和“画布模式”,各配一句说明和小预览。用户选过以后,下次恢复这个浏览器的选择。已有用户升级后也能直接选择画布模式,不根据模型配置数量推断他应该用哪种模式。
模式选择与模型配置引导分开处理。不要同时弹出两个窗口,也不要要求先把所有模型配齐才能进入项目。先选工作方式,再按用户要做的事提示所需配置。
项目打开顺序沿用现有逻辑:深链接指定的项目优先,其次是最近项目;没有项目时走原有的默认项目创建流程。选择模式不再额外新建、复制或重新打开项目。项目打开失败时,先显示错误和重试入口。
flowchart LR
A[打开项目] --> B{保存过模式偏好?}
B -->|有| C[恢复上次模式]
B -->|没有| D[选择纯净模式或画布模式]
D --> C
C --> E[继续当前会话与任务]
E --> F[按创作需要配置模型]
首次选择的具体样式还可以讨论,工作区的两个模式按钮始终可见。
在纯净模式里查看和修改结果
用户可以直接描述目标,也可以上传素材、用 @ 引用项目里已有的内容。引用选择器不能只列出当前可见的画布节点;没有展示在画布上的资产也应能通过已有的项目查询找到。
建议在项目菜单里提供“项目素材”入口。用户可以从这里上传素材、新建时间轴,选入素材后打开共用编辑器。这样即使没有配置模型,也能直接开始本地剪辑,无需先给 Agent 发一条消息。
建议结果卡片先支持这些动作:
| 用户要做的事 | 交互 |
|---|---|
| 看清图片或视频 | 点击打开现有大预览,支持播放和下载 |
| 让 Agent 修改 | 把这个结果作为引用继续对话 |
| 手工调整内容 | 打开现有图片、视频或时间轴编辑器,关闭后回到对话 |
| 整理节点或引用关系 | “在画布中查看”,切换模式并定位对象 |
| 检查生成候选 | 标明候选和当前采用结果;预览不会自动采纳 |
| 找到以前的成果 | 从会话历史和项目素材入口查找,不依赖当前消息是否仍在屏幕上 |
这里建议直接复用现有编辑器。点击卡片先看预览,需要修改时再打开编辑器;整理节点和引用关系时进入画布。
结果卡片要能追溯到项目中的资产、结果版本或编辑文档。缩略图地址只负责显示,后续引用、编辑和采纳通过对象 ID 与版本处理。如果对象已经删除或当前版本有变化,显示实际状态,让用户选择下一步。
同一素材在多条消息中出现时,继续引用同一份资产。用户在画布中改了内容,回到纯净模式也能查到新的项目状态;历史生成记录仍保留当时的输入和结果。
从对话做到视频
可以从“帮我用这些素材做一段短片”开始,让 Agent 准备内容、生成候选、安排时间轴。用户在对话里查看结果,必要时打开编辑器或画布修改,再输出视频。
目前 Agent 已有可编辑时间轴包的导出能力。MP4 输出仍由用户在浏览器中触发,包括时间轴编辑器内导出,以及最新增加的画布直接输出入口。纯净模式应从对应的时间轴结果提供同样的操作,并显示渲染、发布和下载状态;有多个时间轴时让用户选定目标。
让 Agent 直接发起 MP4 渲染,还需要补客户端执行请求和回执。这次先复用浏览器已有的输出能力,后台渲染另提需求。
4. 模式切换时保留什么
用户切换模式,是为了换个角度继续工作。因此这次切换不应产生业务命令,不更换 Agent 或模型,也不重启项目、会话和生成任务。
| 切换时正在做什么 | 预期行为 |
|---|---|
| 正在输入消息,已经添加素材引用 | 保留文本、引用、上传和当前会话;输入区仍可见时保留光标 |
| Agent 正在回复或调用工具 | 继续同一轮执行,另一种模式接着显示结果 |
| 图片或视频正在生成 | 保留原任务,不重新提交;结果仍登记到原对象 |
| 节点参数或媒体编辑器有未保存内容 | 保留草稿、版本基线和编辑器;不强制先保存再切换 |
| 时间轴正在播放、渲染或发布 | 保留播放头、渲染任务和待发布结果 |
| 刚遇到保存失败、锁或版本冲突 | 保留错误与重试入口,切换不自动覆盖或重试 |
| 正在拖拽节点或连线 | 按原交互规则结束临时手势,再切换布局 |
| 画布隐藏后重新显示 | 恢复原来的视口和选中对象;完成容器测量后继续操作 |
普通模式切换恢复原视口。“在画布中查看”则是用户明确要求定位,可以调整视口和选择。对象没有对应的可见画布项时,使用已有的显示操作;需要创建展示项的,明确由该操作完成,不混进模式切换。
模式偏好存在浏览器里,建议新增 opendirector.workspaceMode.v1,值为 agent 或 canvas。项目文件、资产和导出包都不带这个偏好。无法写入本地存储时,本页面照常切换,只提示偏好未保存。
其他标签页修改偏好时,当前页面不突然换布局;重新打开页面时再读取最新选择。模式变化也不进入业务撤销历史。
5. 画布移到右侧,需要一起处理的交互
现在聊天面板浮在画布右侧。改为左聊右画后,画布的可用宽度和左边界都会变化,不能只把聊天面板的 right 改成 left。
需要一起检查:
- 节点拖动、框选、连线、素材拖入和双击创建,都按右侧画布的实际坐标计算。
- 节点菜单、参数面板、选择工具条和大预览不能被聊天区遮住。
- 聊天里的模型、技能、引用和执行详情面板要适应左侧位置,避免展开到窗口外。
- 画布的复制、删除和输出快捷键只在正确区域生效;在聊天输入框里操作不能误触画布。
- 画布缩放、适应视图和最小地图使用新的容器尺寸,切换模式不自动重排节点或保存一份错误视口。
- 纯净模式里的对话不能被“折叠聊天”关成空白页;现有双 Shift 快捷键在这个模式里建议改为聚焦输入框。
1:2 先作为默认比例。 建议继续允许拖动分隔线调整宽度,并提供恢复默认比例的操作。画布模式折叠聊天后,画布可占满工作区,再展开时恢复分栏。窄窗口下建议切换“对话 / 画布”区域,保留项目和模式入口;具体断点在实际页面里验证,不在草图阶段定死。
6. 模型配置、任务与结果的规则
两种模式使用相同的模型配置、参数、引用校验和业务命令。纯净模式可以把细节收起来,不能因此换掉用户已经选定的值,或减少 Agent 可用的业务能力。
模型提示按当前任务来:
- 用户只是导入素材、编辑时间轴,不要求配置生成模型。
- 想生成图片时,提示所需的图片能力;生成视频或配音时再检查对应能力。
- 使用应用内模型的 Agent,需要配置相应语言模型;外部 runtime 使用自己的模型来源时,按该 runtime 的就绪状态处理。
- 模型存在、服务能连接、模型支持输入、当前请求通过校验,是几个不同的检查。没有连接测试结果时,只显示“已配置”。
这部分与 #373 第 1 项共用模型说明和配置入口,沿用现有表单,避免两边写出不同的用途解释。配置完成后回到原任务,保留用户输入,由用户继续提交。
任务是否提交、文件是否生成、哪个候选已采用,都按实际回执显示。用户通过预览和反馈判断效果,聊天回复结束后也要能继续检查和修改。用户在生成过程中改了内容或锁了对象,后到的结果也要遵守现有采纳规则。
“停止”沿用当前行为:停止 Agent 会结束当前这轮回复和后续编排;已提交的生成任务通过各自的取消操作处理。切换模式或隐藏面板都不调用这些操作。
只关闭或刷新页面、后端仍运行时,活动 Agent turn 可以重新连接。退出后端后的恢复取决于各类任务自身的持久化能力,不能承诺原 Agent turn 自动续跑。MP4 的浏览器渲染则需要页面继续打开,渲染完成、发布到项目和下载文件分别反馈。
7. 实现从哪里改
当前代码已经有一个共享的 Workspace,项目、编辑器和生成相关状态由它持有。建议继续保留这一层,在里面增加模式状态和布局分支。
flowchart TB
W[共享 Workspace] --> P[模式与布局状态]
W --> A[同一个 AssistantPanel]
W --> E[编辑器与时间轴输出]
P --> S[纯净模式的对话布局]
P --> C[画布模式的左右分栏]
A --> B[现有项目业务服务]
E --> B
C --> B
B --> D[项目、资产、引用、任务与结果]
保持组件和数据的归属
AssistantPanel、编辑器和时间轴输出 hook 要留在稳定的父组件下。模式切换只改变布局和可见性,不因为换了一棵 React 子树而重新挂载这些组件。画布也保留原有状态,隐藏时暂停无必要的绘制和缩略图播放,恢复时重新测量尺寸。
尤其不能直接复用 installDocument。它用于安装另一个项目文档,会清理选择、编辑器、本地历史等状态。模式切换只需要更新本地偏好和布局。
纯净模式从现有消息引用、项目快照和资源索引读取结果。缺少的信息通过只读查询补齐。两种模式共用项目数据和任务订阅,断线恢复后重新读取服务端状态。
主要代码入口
以下现状基于 729b49bc 核查。表中的新增文件名是实现建议。
| 位置 | 改动重点 |
|---|---|
| CanvasWorkspace.tsx、WorkspaceView.tsx | 保留共享生命周期,加入纯净布局与画布分栏;共用编辑器宿主 |
| state.ts、runtimeTypes.ts、useWorkspaceChrome.ts | 模式状态、首次选择与欢迎层顺序、焦点和快捷键 |
新增 workspaceMode.ts |
处理 agent / canvas、偏好读写及默认选择,不包含项目业务规则 |
| AssistantPanel.tsx、useAssistantLayout.ts | 复用会话和输入组件,调整左右分栏、居中阅读宽度及辅助面板位置 |
| TimelineEditor.tsx、TimelineOutput.tsx | 保留编辑草稿、播放头、渲染与待发布结果;为纯净模式复用输出操作 |
| SettingsDialog.tsx、locale.ts | 复用语言设置;只移除纯净模式顶栏的快捷切换 |
| 双语词条目录 | 新增模式名称、选择说明和状态提示,中英文一起交付 |
当前 TimelineOutput 已支持从画布直接生成并发布 MP4,但 hook 卸载时会取消活动渲染、清空待发布结果。拆布局时要把它和 TimelineEditor 一起保住。
本次先抽取布局真正需要的边界,不顺带重构整个工作区。预期不需要改项目 schema,也不需要在业务命令里增加模式参数。
8. 怎么拆实现、怎么验收
建议分三步做:
- 先完成模式和布局。 加偏好、选择入口、左聊右画分栏;让同一个聊天组件能在两种布局里使用。先验证切换不会丢状态。
- 再完成纯净模式的使用路径。 接入结果预览、项目素材、引用、共用编辑器和时间轴输出。空项目、已有项目和无需模型的本地素材编辑都要能用。
- 最后检查完整交互。 包括两种语言、窄窗口、快捷键、任务中切换和失败重试,再结合新手使用反馈调整细节。
模式和布局可以先做一个 PR。向用户开放纯净模式前,先把查看结果、继续修改和输出视频走通。
验收优先看这些场景:
| 场景 | 要检查的结果 |
|---|---|
| 初次打开、已有偏好、直接打开项目链接 | 打开正确项目,不因选择模式多创建项目;再次打开恢复选择 |
| 草稿、引用上传、Agent 回复中来回切换 | 同一会话和 turn,文本与引用不丢,上传继续,不重复提交 |
| 生成中切换,随后结果到达 | 候选归属正确,不覆盖用户后来改过或锁定的内容 |
| 编辑器有草稿、保存失败或版本冲突时切换 | 草稿、版本基线和错误保留,后续仍能正确保存或重试 |
| 时间轴播放、浏览器渲染、待发布阶段切换 | 播放头、输出任务和产物保留;发布冲突按原规则处理 |
| 隐藏画布再打开、拖动分栏、在聊天中输入快捷键 | 节点位置与视口正确,菜单不遮挡,聊天操作不误触画布 |
| 从纯净模式定位结果,再回到对话 | 使用同一资产和版本,不复制项目;已有编辑继续可见 |
| 无模型、只有语言模型、外部 Agent runtime | 只拦截确实缺少能力的操作;导入和本地编辑可继续使用 |
| 做完一段视频,保存并重新打开项目 | 时间轴与素材可继续编辑,下载的 MP4 实际可播放 |
| 切换中英文、键盘导航和窄窗口 | 文案可读,输入和焦点保留,主要操作都能找到 |
切换前后还要比对项目 ID、对象版本和撤销历史,确认切换本身没有产生业务命令。后台任务在这期间完成的,单独记录它提交的变化。
可扩展现有的 assistant_sessions、assistant_run_navigation、timeline_workflow、structured_editors 和 MP4 输出浏览器用例。新增用例加入统一 manifest,具体命令按验证指南执行。模型替身用于重复测试失败和交错场景;真实服务验证另行记录,不把它们混在一起。
模式切换沿用界面性能预算:首个反馈 P90 不超过 100ms,可操作中位数不超过 500ms、P90 不超过 1s。空项目、媒体较多的项目、第一次打开与已经加载过的切换分别测量。减少工具栏数量或工具调用次数,本身不能说明视频做得更快;需要观察用户是否更容易完成同一个任务。
本 RFC 只提交设计与草图,没有实现或运行上述功能验收。
9. 这轮还需要讨论的细节
两种模式、画布的 1:2 布局、沿用现有风格,以及纯净模式把语言切换收进设置,是本提案的基础。下面几项先给出建议,方便评审时直接讨论取舍:
| 问题 | 当前建议 |
|---|---|
| 首次进入是否先选模式? | 先展示两种入口,选过后记住;已有用户也能直接选画布 |
| 结果需要手工编辑时怎么打开? | 先打开现有编辑器,关闭后回到对话;整理节点时再进入画布 |
| 1:2 是否固定? | 作为默认比例,允许拖动并能恢复默认 |
| 窄窗口如何使用画布模式? | 在对话和画布之间切换可见区域,保留同一工作区 |
#373 的模型说明、教程、样例和人物替换教学继续由各自任务推进。本方案提供相应入口,接入已经可用的内容;不把尚未完成的视频或样例放成空链接。
这轮先讨论上面几项,确认后再拆实现任务。实现时如果还缺服务或 Agent 入口,就把具体操作和验收要求单独列出来。


Activity
[feat] workspace: persist the selected workspace mode
[feat] workspace: add Agent mode and a left-chat canvas layout
[test] workspace: cover mode switching and canvas interactions
[test] canvas: use canvas bounds for interaction coordinates
[fix] assistant: preserve active controls when chat loads
wangtiance commentedon Nov 17, 2026
对“左聊右画”的改动我觉得还是需要解释一下,现在主流产品(即梦, minimax design, comfyui等)似乎都是把agent窗口放在右侧。放在左侧是想强调"agent为主,画布为辅“的定位吗?