对于没有图片输入能力的模型，希望可以接入有图片输入能力的模型作为工具，主agent可以调用这个工具

[PANDAJSR]

如题，主agent可以调用这个工具传入图片路径和提示词，由识图模型返回文本
自定义模型模式下如果主模型没有识图能力要可以选择识图模型
官方模型服务要提供一个 识图 虚拟模型路由到有能力的模型，配合客户端因为其它虚拟模型可能有时有识图能力有时没有

[PANDAJSR]

/oc 分析并给出方案

[github-actions]

我已完成对代码库的深入分析。以下是对该 issue 的分析与实施方案。

---

一、现状分析

1. 现有识图路径只依赖主模型的多模态能力

• 当前唯一识图能力是 Pi 工具 look_at（src/pi-tools.ts）：读取图片 → 返回 ToolImageContent（base64 图片块）。
• ModelToolAgent（src/model-provider.ts）会把工具返回的图片块再回塞给主模型，让主模型“看”图：
  • OpenAI 兼容：runOpenAICompatible L358 messages.push({ role: "user", content: [{type:"image_url",...}] })
  • Responses：L487 input_image
  • Anthropic：L678 type: "image"
  • Google：L549-557 inlineData
• 结论：主模型没有图片输入能力时，look_at 完全不可用（API 报错或模型无法理解图片）。这正对应当前 issue 的痛点。

2. 模型配置结构已具备多模型能力，但缺少“第二个模型”的角色

• AgentConfig 支持 models: ModelProfile[] + providers: ProviderConfig[]（src/config.ts、src/types.ts），主界面已能多模型切换。
• useConfiguredModel(config, id)（src/config.ts L293）可按 id（如 official:sectl-official:virtual-fast、providerId:modelId、google:...）把 config.agent 解析成任意一个已配置模型。注意它是原地修改，为识图子模型解析时需要拷贝一份。
• SecAgentConfig.defaults 目前只有 modelId、reasoningEffort、customModelMode 等，没有“识图模型”字段。

3. 官方虚拟档位机制

• main.ts models:list（L836-867）从官方中继拉 /models，官方模式下只暴露 virtual-fast/standard/deep 三档（OFFICIAL_TIER_IDS，src/electron/main.ts L834），自定义模式下过滤掉所有 virtual- 档位。
• 中继返回的 model 带 virtual: true 标记。目前没有“识图”虚拟模型。

4. 运行时会话入口

• 桌面端：main.ts sessions:send（L1452）useConfiguredModel 后构造 SecAgentRuntime（src/runtime.ts）。
• CLI：src/index.ts openRuntime（L156）同样模式。

---

二、方案总体设计

核心思路：把“识图能力”抽象成一个独立的、可配置的后端模型，并以工具形式暴露给主 Agent。

┌──────────────────────┐   调用工具          ┌────────────────────────┐
│  主 Agent（可能无视觉）│ ──secagent__      │  SecAgentRuntime       │
│  (deepseek-v4-flash等) │  look_at_image    │  ┌──────────────────┐  │
│                       │   (path+prompt)   │  │ 识图子模型 Agent   │──► 视觉模型
│                       │ ◄── 文字结果 ───────  │ (vision model)    │   (自定义模型 或
└──────────────────────┘                    └──────────────────┘   官方 virtual-vision)

1. 新增工具 secagent__look_at_image：参数 { path, prompt }。读取图片 → 调用独立识图模型单轮问答 → 把文字结果返回主 Agent。工具返回的是纯文本，不会把图片块回塞给无视觉的主模型。
2. 新增配置 defaults.visionModelId：记录用户选择的识图模型（复用现有模型 id 空间）。
3. 自定义模型模式：设置界面提供“识图模型”下拉框，可从已配置模型中任选（或留空禁用识图工具）。
4. 官方服务：提供 virtual-vision（识图）虚拟模型别名；客户端在官方模式下默认用它做识图后端，并允许用户修改。

---

三、具体改动方案（分模块）

A. 数据模型（src/types.ts）

• SecAgentConfig["defaults"] 增加 visionModelId?: string。
• SettingsPayload 增加 visionModelId?: string。

B. 配置读写（src/config.ts）

1. readSettings：返回 visionModelId: config.defaults?.visionModelId。
2. saveSettings：raw.defaults 中加入 visionModelId: payload.visionModelId || undefined。
3. 新增两个非破坏性解析函数（关键）：

/** 返回一个 agent 已解析为指定模型的配置副本，不修改入参。 */
export function resolveModelConfig(config: SecAgentConfig, modelId: string): SecAgentConfig {
  const next = { ...config, agent: { ...config.agent } };
  useConfiguredModel(next, modelId);   // 只改 next.agent，原对象不受影响
  return next;
}

/** 解析识图子模型配置；未配置时回退官方 virtual-vision，仍无则返回 undefined。 */
export function resolveVisionAgentConfig(config: SecAgentConfig): SecAgentConfig | undefined {
  const id = config.defaults?.visionModelId;
  if (id) {
    try { return resolveModelConfig(config, id); }
    catch { return undefined; }   // 模型 id 失效时安全降级，不阻塞主流程
  }
  // 官方模式兜底：识图虚拟模型（配合中继端新增的 virtual-vision）
  if (config.defaults?.customModelMode === false
      && process.env.SECTL_OFFICIAL_TOKEN
      && config.agent.models?.some((m) => m.id.startsWith("sectl-official:"))) {
    try { return resolveModelConfig(config, `official:sectl-official:${OFFICIAL_VISION_MODEL}`); }
    catch { return undefined; }
  }
  return undefined;
}

注意：useConfiguredModel(config, id) 里对 official:sectl-official:xxx 的解析走的是 profileId="sectl-official" + model.id.startsWith("sectl-official:") 的 fallback（config.ts L300），与现有虚拟档位运行机制完全一致，无需新解析逻辑。

C. 识图工具（src/runtime.ts + src/system-prompt.ts）

1. system-prompt.ts 新增识图子模型的专用系统提示（如“你是 SecAgent 的图片识别助手，请根据图片回答用户问题，只输出回答内容”）。
2. SecAgentRuntime 构造函数增加可选参数 visionConfig?: SecAgentConfig，并内部构造子 Agent：

this.visionAgent = visionConfig
  ? new ModelToolAgent(
      { ...visionConfig, agent: { ...visionConfig.agent, systemPrompt: VISION_SYSTEM_PROMPT } },
      [],
      (stage, data) => this.emit(`vision.${stage}`, data),  // 追踪以 vision.* 前缀隔离
      undefined, false, true)                                 // 无工具、单轮
  : undefined;

3. run() 的 tools 数组有条件地加入工具（有识图模型才暴露）：

...(this.visionAgent ? [{
  key: "secagent__look_at_image",
  description: "使用独立识图模型查看本地图片并返回文字结果。当你的模型不支持直接查看图片时必须调用此工具代替 look_at。path 使用绝对路径或相对于工作区的路径；仅支持 png、jpg、jpeg、webp、gif。prompt 为需要基于图片回答的问题。",
  inputSchema: { type: "object", additionalProperties: false, required: ["path", "prompt"],
    properties: { path: {...}, prompt: {...} } }
}] : [])

4. 实现 callVision(request, args, signal)：
   • 校验 path/prompt 非空；复用 look_at 的图片读取校验（把 pi-tools.ts 中 look_at 的路径解析 + 扩展名 + 大小校验抽成共享函数，例如 readImageFile(workspace, path)，两个工具共用）。
   • 构造 ChatAttachment（dataUrl = data:<mime>;base64,...）。
   • 调用 this.visionAgent.run(prompt, [], ..., "none", [{ role:"user", content: prompt, attachments:[attachment] }], signal) —— 走 ModelToolAgent 已有的 attachments 多模态编码（四类 provider 均已支持）。
   • 返回 { path, name, text: 视觉模型回答 }，并走 secagent.tools/call|result 的 emit + 审计（与 callPiTool 一致）。
   • 通过 callTool 参数链把 abort signal 透传给识图子请求，保证“停止生成”能中断识图。
5. look_at 保持不变（视觉主模型可继续直接用）。

说明：runOpenAICompatible 等四个 provider 分支对 ConversationMessage.attachments 的编码（openAIContent/responsesContent/anthropicHistory/googleHistory）已经现成，识图子请求直接复用，无需改动 model-provider.ts。

D. 桌面端接线（src/electron/main.ts）

1. 定义 OFFICIAL_VISION_MODEL = "virtual-vision"。
2. models:list：官方模式可见列表加入识图虚拟模型，并打 vision 标记供前端区分：

return visibleRemote.filter((model) =>
  (OFFICIAL_TIER_IDS as readonly string[]).includes(model.model)
  || model.model === OFFICIAL_VISION_MODEL)
  .map((model) => ({ ...model, vision: model.model === OFFICIAL_VISION_MODEL }));

3. sessions:send：useConfiguredModel(config, modelId) 之后追加

const visionConfig = resolveVisionAgentConfig(config);
runtime = new SecAgentRuntime(runtimeConfig, audit, skills, trace, pluginManager, visionConfig);

4. settings:save：当 visionModelId 指向的模型被删除/过滤（如退出自定义模式）时，安全清理该字段（可选校验）。

E. CLI 接线（src/index.ts）

openRuntime 中同样 const visionConfig = resolveVisionAgentConfig(config)，构造 SecAgentRuntime 时传入。可选：增加 --vision-model <id> 参数便于调试。

F. 渲染层（src/renderer/src/）

1. vite-env.d.ts：ModelOption 增加 vision?: boolean；SettingsPayload 增加 visionModelId?: string。
2. utils.ts：增加 isOfficialVisionModel(model) 判断（model.model === "virtual-vision"）。
3. SettingsApp.tsx（模型页官方服务卡片，settings-models 区块）：
   • 在“默认模型”旁新增“识图模型”下拉框，选项 = availableModels（官方模式含 virtual-vision，自定义模式含本地/官方真实模型），可空（“未配置，不使用识图工具”）。
   • 帮助文案：主模型不支持直接看图时，Agent 会自动调用识图工具，把图片发给此处选择的模型并返回文字。
4. App.tsx 主模型下拉：过滤掉 vision 标记的 virtual-vision，避免误当主 Agent 使用（可选，若希望它也可选作主模型则不过滤）。
5. OobeWizard.tsx（自定义配置步）可选：在“模型列表”旁增加一个“识图模型”下拉（选项为刚添加的 provider.models），持久化时写入 visionModelId。若想保持首启向导精简，也可以不在此处理，交由设置页配置。

G. 官方服务端契约（仓库外，中继服务）

• /models 返回 { id: "virtual-vision", name: "识图", virtual: true }。
• /v1/responses 收到 model: "virtual-vision" 时路由到固定的视觉上游（如 Gemini 2.5/3 flash、GPT-4o 等），并允许上游后续调整而不影响客户端（这正是 issue 里“其它虚拟模型可能有时有识图能力有时没有”的解法）。
• 建议在 docs/ 中补一段中继契约文档，说明 virtual-vision 的语义。

---

四、测试计划

• config.test.ts：visionModelId 的读写往返；resolveVisionAgentConfig 的三种情况（显式配置 / 官方兜底 / 不可用返回 undefined）。
• runtime.test.ts：mock fetch 构造两段 SSE（主模型调用 secagent__look_at_image → 识图模型返回文字），断言：
  • 未配置识图模型时工具不在 tools 列表、调用返回明确错误；
  • 配置后主模型调用工具时，识图请求体包含图片 dataUrl 与 prompt，最终回复包含识图模型文字；
  • 图片路径/扩展名/大小校验与 look_at 一致。
• model-provider.test.ts：识图子 Agent 单轮带 attachments 的请求编码（可覆盖一个 provider 分支）。
• 手动验收：设置页配置识图模型 → 主模型（deepseek 等纯文本模型）要求查看图片 → Agent 自动调用 secagent__look_at_image → 返回文字描述。

---

五、注意事项与边界

1. 工具可见性：只有配置了识图模型（或官方兜底生效）时才暴露 secagent__look_at_image，避免误导模型。
2. look_at 与识图工具并存：视觉主模型继续用 look_at（少一次往返）；工具描述明确引导文本模型使用识图工具。
3. 权限/安全：识图工具与 look_at 同样只读工作区/本地图片，沿用 12MB 限制；视觉模型请求走 SECTL_OFFICIAL_TOKEN 或用户自定义 key，审计照常记录（图片二进制不落盘、不写审计，沿用 summarizeToolResult 脱敏）。
4. 失败降级：识图模型不可用（网络/鉴权/模型 id 失效）时返回 { error: ... } 给主 Agent，由主 Agent 向用户说明，不中断整轮。
5. 后续扩展（本期可不做）：用户聊天中直接贴图给无视觉主模型时，也可自动路由到识图模型（目前用户附件仍直发主模型）；可在识图工具中增加 attachmentId 或运行时预处理实现。

---

六、工作量与实施顺序（建议）

1. 配置层：types.ts + config.ts（visionModelId 持久化 + resolveModelConfig/resolveVisionAgentConfig）——小改动，可独立测试。
2. 运行时：pi-tools.ts 抽共享读图函数 + runtime.ts 识图工具/子 Agent + system-prompt.ts。
3. 接线：main.ts、index.ts。
4. UI：SettingsApp.tsx、vite-env.d.ts、utils.ts、（可选 OobeWizard.tsx）。
5. 官方契约：中继端加 virtual-vision + 文档；客户端 models:list 放行并打标。
6. 测试：按第四节补齐，跑 npm test（node --test dist/**/*.test.js）与 npm run build。

整体改动面集中在 config.ts、runtime.ts、main.ts 三个文件，model-provider.ts 无需改动，风险可控，且与现有“虚拟档位 + 多模型”机制天然兼容。

opencode session  |  github run

[PANDAJSR]

改吧

[PANDAJSR]

/oc

[PANDAJSR]

/oc 重新尝试

[opencode-agent]

Created PR #14

opencode session  |  github run

[opencode-agent]

User opencode-agent[bot] does not have write permissions

github run