独立项目 · 执行正式版 0.1.8
Agent GUI Runtime
已发布的 Windows 执行运行时，为兼容 MCP 的代理提供视觉定位、证据绑定的动作、结果验证，以及经确认的更新与回滚。
项目背景
问题与约束
- GUI 代理需要区分计划动作、已分发输入与已验证结果。
- 运行时维护需要保留任务所有权，并能从更新中断恢复。
个人贡献
- 独立设计并实现 Python/FastAPI 运行时、需认证的本地 HTTP/MCP 接口和结构化执行回执。
- 实现截图定位、Decision 检查与显式主代理复核，在原任务内继续且不重放已完成输入。
- 加入支持图像的当前代理点击适配器，以及带安装锁、备份和恢复日志的确认式更新器。
架构与工作流
- 计划 → 截图 → 定位 → 复核 → 动作 → 验证 → 继续 / 主代理复核
- API 路线使用可配置的视觉服务；当前代理模式把基本点击的定位和验证交给已连接且支持图像的代理。
- 暂存确切版本，确认摘要，取得维护权限，安装并检查健康状态；失败时保留恢复状态。
实现决策
- 把输入授权绑定到新鲜截图与原始命令；不重放状态未知的输入。
- 将下一步只读定位与下一次输入的分发权限分开。
- Runtime 与可选 Amadeus HTTP MCP + Skill 扩展独立发布；扩展保持 0.0.4。
技术地图
运行时与接口
视觉定位与复核
验证与可观察性
验证与证据
- 执行正式版 0.1.8 已发布，加入确切版本更新确认、任务感知维护锁和回滚。
- 当前代理模式完成 20 步真实 7-Zip 流程；已安装的 0.1.7 另行完成逐帧复核的计算器流程。
- 0.1.8 开发期回归组合记录 502 项通过、2 项跳过；重叠的后续检查单独报告。
- 0.1.8：开发期 502 项回归检查通过、2 项跳过；记录临时安装、更新、回滚、进程中断恢复和卸载检查。
- 0.1.7：在同一连接完成 20 步真实 7-Zip 操作；另行在已安装版本完成计算器 C → 1 → + → 2 → = 流程，取消与清理控制通过。
- 0.1.6：显式主代理复核后，完成 5 步 Runtime 直连及 4 步 Amadeus/Pi 恢复流程。
- pytest 回归与动作前后截图回执支持诊断，不把输入分发等同于任务成功。
限制与未完成工作
- 有限范围检查不证明任意任务、陌生应用或无人值守可靠性。
- 模型可能错误接受或拒绝证据；二次复核不保证准确率。
- 当前代理模式不支持文本输入、按键、滚动、任务计划和管理员模式；其他支持路线另有能力范围。
- 安装器未签名；本轮未新增物理断电恢复或全新机器依赖安装认证。
- 学习功能已暂停。Amadeus Host 更新 PR #261 待合并，安装 Runtime 0.1.8 不会安装该 Host 改动。
经验与下一步
- 分开记录执行事实、权限与验证结果。
- 发布证据应明确版本、运行路线和实际验证的流程。