For AI agents: the complete documentation index is available at https://a3s-lab.github.io/Power/v0.9.0/llms.txt, the full documentation bundle is available at https://a3s-lab.github.io/Power/v0.9.0/llms-full.txt, and this page is available as Markdown at https://a3s-lab.github.io/Power/v0.9.0/architecture.md.
  • 简体中文
  • v0.9.0
  • 嵌入式推理架构

    Power 把推理视为一个身份与结果都可验证的有界操作,而不是把模型名称当作执行契约。

    从第一性原理推导边界

    客观约束必要契约运行时机制
    内存、算力与队列容量有限每个请求必须具备明确限制与取消语义有界准入、确定性微批处理、放置计划与会话池
    文件名或模型别名无法标识真正执行的字节制品身份必须贯穿存储、镜像与设备放置SHA-256 描述符、签名身份、已验证镜像与驻留证据
    单独的响应无法说明其生成路径运行策略、设备路径、输入与输出必须共同提交规范化执行回执与加速器证据
    服务端不能自行批准自己的声明接受策略必须位于执行边界之外绑定 nonce 的 TEE 证据与独立验证器

    一个核心,三种入口

    锁定修订版的制品包       模型自有计算图          API 客户端
              |                    |                    |
           安装器               嵌入式库              服务
              \                    |                   /
               +------------ 共享运行时核心 ----------+
                                    |
                     准入 / 放置 / 取消
                                    |
                        设备 / 权重 / 状态
                                    |
                        证据 / 规范化回执
                                    |
                             独立验证

    嵌入式库与托管服务只是同一组契约的不同入口,而不是两套模型实现。制品安装保持独立,因为下载与安装经审查的 bundle,和执行它,本来就是不同权限。

    明确划分职责

    Power 负责模型 crate 负责
    类型化 CPU、CUDA、Metal 设备与有界图执行架构、拓扑、层、算子与数值计算
    准入、会话池、微批处理、取消与限制分词、前后处理与生成策略
    制品身份、副本、镜像、放置与驻留修订版 pin、转换、张量契约与质量门槛
    TEE 隐私、证明绑定、密封状态与回执KV/循环状态布局与语义状态

    这条边界保持 Power 的模型中立性。语言、视觉、OCR、嵌入以及未来的模型 crate,都能共享资源与证据机制,而无需把自身语义塞进中央模型分支。

    运行时契约

    有界执行

    准入机制限制正在执行和排队的工作。设备准入阻止多个独立模型过量占用同一加速器。请求等待或执行时均可安全检查取消。

    已验证权重

    权重描述符把张量区间绑定到存储身份。完整与局部镜像在存储层之间保持这一身份。放置与驻留证据记录真实选择的路径,而不只记录首选路径。

    加速器证据

    执行回执可包含声明绑定的设备、回退路径、融合批处理或多设备网格。只有证据与模型、运行设备、输入摘要和输出摘要一致时,才能附加到回执。

    可恢复状态

    认证的密封状态封装把模型与运行时身份绑定到热状态。恢复策略区分主备来源、授权导出范围、检测回滚,并清零敏感材料。

    隐私可观测性

    仅包含摘要的回执与遥测,让系统在不暴露提示词和响应正文的前提下可审计。无法可靠推导的字段保持缺失,绝不伪造确定性证据。

    执行生命周期

    声明限制与身份
           |
           v
    准入模型与设备容量
           |
           v
    解析存储与放置
           |
           v
    执行已审查的模型计划
           |
           v
    提交输入/输出/设备证据
           |
           v
    释放许可并验证回执

    详细设计还覆盖张量批处理、驻留预算、局部镜像、预取提示、异构网格、密封状态与调优证据。完整 API、不变量与验证门槛参阅规范架构文档