读取当前渲染
语义、状态、几何与页面修订来自正在运行的浏览器。
选中界面问题,带着当前修订、组件与源码线索交给 Agent,再用更新后的页面验证结果。A3S Test 把这条反馈闭环变成可执行、可复查的测试。
北京市海淀区中关村大街 1 号 A3S 大厦 1001 室
正在读取真实页面上下文…
语义、状态、几何与页面修订来自正在运行的浏览器。
组件、定位器、区域与源码候选跟随同一个问题。
更新后的页面重新验证结果,再把稳定路径写成 ACL。
完整流程从 PRD、设计参考和运行页面同时开始。编码 Agent 负责理解与规划,A3S Test 约束每次浏览器行动、保存证据,并把已经证明的路径固化成确定性回归。
需求说明定义目标,设计参考约束视觉,浏览器提供当前事实。三类输入各自有边界,不互相冒充。
goalobservablereferenceboundedtargetrunning pageauthorityunchangedCLI 与 Agent Skill 用于会话和 ACL。需要在页面中点选、框选、截图或画草图时,再接入 Test Kit。
按需接入 Web Test Kitcurl -fsSL https://github.com/A3S-Lab/Test/releases/latest/download/install.sh | sh -s -- --version v1.0.0安装器校验发布归档的 SHA-256,并保持 CLI 与 Skill 版本一致。
这次对比隔离了执行层:双方使用同一个确定性求解器和相同的浏览器底层,MiniWoB 官方 reward 是唯一成功判定。
| 对比维度 | A3S Test 1.0.0 | 直接 agent-browser 0.26.0 |
|---|---|---|
| 任务成功 | 100%27 / 27 次主运行 | 88.9%24 / 27 次主运行 |
| 旧引用防护 | 3 / 3旧引用被拒绝 · 0 次页面修改 | 0 / 3旧引用被拒绝 · 3 次页面修改 |
| 内置运行证据 | 27 / 27次运行生成内置证据文件 | 0 / 27次运行生成内置证据文件 |
| 共同成功中位执行时间 | 7.48 秒+10.6% 相对直接客户端 | 6.74 秒本机基线 |
这是单机开发证据,不比较模型推理,也不代表通用性能。拖拽与滚轮探针在双方均超时,未计入主成功率。
查看完整协议、原始数据与复现步骤Test Kit 把人工意图与浏览器已经计算出的上下文组成一个有界交接包。Agent 能知道目标是什么、由谁负责、证据来自哪一版页面。
查看 Page Context、权限与失败关闭规则protocol a3s.test.repair/1
page /checkout · revision 18
selection button “提交订单”
source TestKitExperience.tsx
intent 提高文字对比度
context role · locator · viewport geometry
authority human submitted页面内容始终按不可信证据处理。点选、截图或保存草稿都不会自动授权修改源码。
先让应用照常运行,再为一次明确目标开启会话。每次只依据最新观察执行一个类型化动作。
使用项目原来的开发命令,不需要为 A3S Test 改构建流程。
npm run dev目标和成功条件必须能从页面直接观察。
a3s-test agent start http://127.0.0.1:3000 \
--session ui \
--goal "复现提交失败" \
--success "确认页标题可见"读取最新引用,完成验证后再把稳定路径收敛成 ACL。
a3s-test agent observe --session ui --interactive --json边界说清楚,比把所有能力一次铺开更重要。
不需要。CLI 可以直接驱动浏览器。只有当组件归属、源码候选、页面几何、截图草图或人工标记确实能帮助任务时,才接入 Test Kit。
不会。Test Kit 截取的是当前浏览器页面内容,并在页面内框选区域;它不调用整屏共享或系统级屏幕录制。
不会。点选和草稿只生成证据。只有用户明确提交的问题才进入修复队列,工作区修改仍属于单独授权的编码 Agent。
标记会根据当前滚动位置重新计算。页面修订变化后,无法证明仍然有效的旧引用和几何会失效,不会悄悄指向另一个元素。
会话用于路径未知的探索,每次根据最新观察选择动作。ACL 只保存已经证明过的明确动作、等待、断言与证据,用于本地和 CI 重复。
先用 CLI 跑通一个带可观察成功条件的会话。需要更多页面上下文时再接入 Test Kit。