For AI agents: the complete documentation index is available at https://a3s-lab.github.io/ash/v0.1.0/llms.txt, the full documentation bundle is available at https://a3s-lab.github.io/ash/v0.1.0/llms-full.txt, and this page is available as Markdown at https://a3s-lab.github.io/ash/v0.1.0/guide/benchmarks.md.
  • 简体中文
  • v0.1.0
  • 基准与质量门禁

    ash 优先优化 Coding Agent 完成任务的总 Token、延迟和可恢复性。任何数字都必须来自 可复现语料、锁定工具版本和提交内报告。

    格式基线

    cargo run -p a3s-ash-bench --locked -- \
      --check benches/reports/v0.1.0/format.json

    报告固定语料 SHA-256、tokenizer、原始字节、Token 数、相对比例和门槛。当前 ASON 在两种 tokenizer 上都使用紧凑行式 JSON 约 62% 的 Token,回归上限为 65%。

    多核确定性

    cargo build -p a3s-ash --release --locked
    cargo run -p a3s-ash-bench --release --locked -- --runtime

    schema 6 测量八条真实路径:字面量搜索、BLAKE3 快照、磁盘 spill/fetch、全新 ash run 启动、空子进程启动、双管道压力、进程树取消和热态帧式 RPC 分发。矩阵场景使用 1、2、4、8 和主机可用 Worker。每次冷启动都会启动并回收同 profile 的真实二进制;热态 分发复用一条生产 RPC 会话,只排除握手。任何规范输出变化都会让报告失败。冷启动没有扩展 曲线,因此加速比和并行效率为 null。时序仅代表当前主机。

    原生 Shell 任务种子

    cargo run -p a3s-ash-bench --locked -- \
      --check-task-lock benches/tasks/v1/lock.json
    cargo run -p a3s-ash-bench --locked -- --tasks

    首批任务覆盖源码发现、诊断聚合和一次精确配置修改。锁文件绑定完整清单、每个初始工作区和 期望最终工作区。Runner 校验输出与最终状态,再用两种 tokenizer 统计目标、命令、stdout 和 stderr。它只执行当前平台的原生 Shell,不运行模型,也不声称这是 ash 任务成绩。

    当前自动化

    • 覆盖所有 workspace crate 的 Rust 单元与集成测试。
    • Linux、macOS、Windows 的 cargo check 与测试。
    • 三平台安装器的真实发行构建 Smoke。
    • 八条真实运行时路径,校验输出完全一致并执行有界的进程与服务清理。
    • 三个锁定任务及 Linux、macOS、Windows 原生 Shell 基线。
    • ASON、受限 ASH/1 帧、类型化请求与更新元数据 fuzz target。
    • 文件事务 crash cutpoint、更新激活/恢复和取消竞态测试。
    • 锁定的第三方许可证清单。

    仍需发布的证据

    首个受支持版本还需要真实 Agent 任务基准、持续 Fuzz 时长记录、硬件标注的延迟/吞吐 报告,以及使用正式凭据完成的六目标安装、升级和回滚结果。