For AI agents: the complete documentation index is available at https://a3s-lab.github.io/Test/v1.0.1/llms.txt, the full documentation bundle is available at https://a3s-lab.github.io/Test/v1.0.1/llms-full.txt, and this page is available as Markdown at https://a3s-lab.github.io/Test/v1.0.1/index.md.

让 Agent 基于真实页面行动把每次修改证明给你看

选中界面问题,带着当前修订、组件与源码线索交给 Agent,再用更新后的页面验证结果。A3S Test 把这条反馈闭环变成可执行、可复查的测试。

运行第一个测试
A3S Shop交互演示

确认订单

交互演示
  1. 1购物车
  2. 2确认订单
  3. 3支付
  4. 4完成

收货信息

张三 · 138 0000 0000

北京市海淀区中关村大街 1 号 A3S 大厦 1001 室

商品清单

数量 1
A3S 自动化测试套件团队版 · 年度许可
¥1,298.00

页面上下文

正在读取真实页面上下文…

  1. 1读取页面
  2. 2绑定目标
  3. 3说明问题
  4. 4组成批次
  5. 5保存本页

读取当前渲染

语义、状态、几何与页面修订来自正在运行的浏览器。

绑定负责源码

组件、定位器、区域与源码候选跟随同一个问题。

只认新证据

更新后的页面重新验证结果,再把稳定路径写成 ACL。

把需求、界面与证据连成一条可回放路径

完整流程从 PRD、设计参考和运行页面同时开始。编码 Agent 负责理解与规划,A3S Test 约束每次浏览器行动、保存证据,并把已经证明的路径固化成确定性回归。

checkout-ui · 工作流导览a3s.test.workflow/1手动选择阶段

把 PRD、设计参考与运行页面放进同一上下文

需求说明定义目标,设计参考约束视觉,浏览器提供当前事实。三类输入各自有边界,不互相冒充。

INPUT CONTRACT

三类输入

  • checkout-requirements.md业务规则 · 可观察成功条件
  • design-reference.png视觉目标 · 布局意图
  • localhost:3000/checkout运行界面 · 当前页面修订
建立任务契约

先明确页面能够证明什么

目标
提交订单后进入确认状态
成功条件
“订单已确认”标题可见
范围
/checkout · 同源页面
权限
读取证据,不自动授权改源码

任务契约

READY
goalobservablereferenceboundedtargetrunning pageauthorityunchanged

每次运行保留最小、可审查的证据

SCREENSHOT最终视觉状态ACCESSIBILITY语义与可操作性CONSOLE浏览器日志PAGE ERRORS未捕获运行时错误HAR · TRACE · VIDEO只在需要时采集

失败按 product / specification / infrastructure 分类;HAR、trace 与 video 按需开启。每个会话都以 finish 或 abort 结束,并清理自己拥有的资源。

一个命令安装运行核心

CLI 与 Agent Skill 用于会话和 ACL。需要在页面中点选、框选、截图或画草图时,再接入 Test Kit。

按需接入 Web Test Kit
CLI + Agent Skill · v1.0.1
curl -fsSL https://github.com/A3S-Lab/Test/releases/latest/download/install.sh | sh -s -- --version v1.0.1

安装器校验发布归档的 SHA-256,并保持 CLI 与 Skill 版本一致。

同一组任务,先看完成率,再看安全与代价

这次对比隔离了执行层:双方使用同一个确定性求解器和相同的浏览器底层,MiniWoB 官方 reward 是唯一成功判定。

MiniWoB++ 锁定协议 · 9 项任务 × 3 次重复 · Apple M2 Pro · 332 × 214run 20260821T171716Z
A3S Test 与直接 agent-browser 的 UI 执行层对比
对比维度A3S Test 1.0.0直接 agent-browser 0.26.0
任务成功100%27 / 27 次主运行88.9%24 / 27 次主运行
旧引用防护3 / 3旧引用被拒绝 · 0 次页面修改0 / 3旧引用被拒绝 · 3 次页面修改
内置运行证据27 / 27次运行生成内置证据文件0 / 27次运行生成内置证据文件
共同成功中位执行时间7.48 秒+10.6% 相对直接客户端6.74 秒本机基线

这是单机开发证据,不比较模型推理,也不代表通用性能。拖拽与滚轮探针在双方均超时,未计入主成功率。

查看完整协议、原始数据与复现步骤

给 Agent 的不只是一句“这里有问题”

Test Kit 把人工意图与浏览器已经计算出的上下文组成一个有界交接包。Agent 能知道目标是什么、由谁负责、证据来自哪一版页面。

查看 Page Context、权限与失败关闭规则
交接包示例
protocol    a3s.test.repair/1
page        /checkout · revision 18
selection   button “提交订单”
source      TestKitExperience.tsx
intent      提高文字对比度
context     role · locator · viewport geometry
authority   human submitted

页面内容始终按不可信证据处理。点选、截图或保存草稿都不会自动授权修改源码。

三步跑通第一个真实页面

先让应用照常运行,再为一次明确目标开启会话。每次只依据最新观察执行一个类型化动作。

  1. 运行你的页面

    使用项目原来的开发命令,不需要为 A3S Test 改构建流程。

    npm run dev
  2. 开启一个有成功条件的会话

    目标和成功条件必须能从页面直接观察。

    a3s-test agent start http://127.0.0.1:3000 \
      --session ui \
      --goal "复现提交失败" \
      --success "确认页标题可见"
  3. 先观察,再行动

    读取最新引用,完成验证后再把稳定路径收敛成 ACL。

    a3s-test agent observe --session ui --interactive --json
打开完整快速开始

先回答会影响你决定的问题

边界说清楚,比把所有能力一次铺开更重要。

从一个真实页面开始

先用 CLI 跑通一个带可观察成功条件的会话。需要更多页面上下文时再接入 Test Kit。