嵌入式推理架构
Power 把推理视为一个身份与结果都可验证的有界操作,而不是把模型名称当作执行契约。
从第一性原理推导边界
一个核心,三种入口
嵌入式库与托管服务只是同一组契约的不同入口,而不是两套模型实现。制品安装保持独立,因为下载与安装经审查的 bundle,和执行它,本来就是不同权限。
明确划分职责
这条边界保持 Power 的模型中立性。语言、视觉、OCR、嵌入以及未来的模型 crate,都能共享资源与证据机制,而无需把自身语义塞进中央模型分支。
运行时契约
有界执行
准入机制限制正在执行和排队的工作。设备准入阻止多个独立模型过量占用同一加速器。请求等待或执行时均可安全检查取消。
已验证权重
权重描述符把张量区间绑定到存储身份。完整与局部镜像在存储层之间保持这一身份。放置与驻留证据记录真实选择的路径,而不只记录首选路径。
加速器证据
执行回执可包含声明绑定的设备、回退路径、融合批处理或多设备网格。只有证据与模型、运行设备、输入摘要和输出摘要一致时,才能附加到回执。
可恢复状态
认证的密封状态封装把模型与运行时身份绑定到热状态。恢复策略区分主备来源、授权导出范围、检测回滚,并清零敏感材料。
隐私可观测性
仅包含摘要的回执与遥测,让系统在不暴露提示词和响应正文的前提下可审计。无法可靠推导的字段保持缺失,绝不伪造确定性证据。
执行生命周期
详细设计还覆盖张量批处理、驻留预算、局部镜像、预取提示、异构网格、密封状态与调优证据。完整 API、不变量与验证门槛参阅规范架构文档。
