开源工具
这些工具来自我在推理交付和训练里反复踩到的坑:安装命令、验收判据和失败后的退路都写在仓库里。
9 个 DSH 插件2 个独立库4 组能力11 条安装命令最近验证 2026-10-20GitHub ↗
推理交付
从把模型装起来,到量化、调优、排障 —— 四步各一件,每件都守着同一条底线:数字要成立。
4 个包
探测环境 → 选后端 → 部署 → 三段健康检查 → 注册;失败时逐级降级并回滚。
- 判据
- 端点可达 + 三段健康检查
- 失败
- 内存→并发→精度→端口逐级降级,最后回滚。
dsh plugin --profile <name> add @xiciyang/inference-serving在容器里做 PTQ(默认 AWQ + INT4),精度退化与真实吞吐是两道独立验收,通过才标记 verified。
- 判据
- 精度退化与真实吞吐两道独立验收
- 失败
- 按精度档位降级,不把「看起来没掉点」当通过。
dsh plugin --profile <name> add github:xiciyang/inference-quantizationgit clone https://github.com/xiciyang/inference-tuning.git && cd inference-tuning && npm pack && dsh plugin --profile <name> add ./xiciyang-inference-tuning-0.1.0.tgz生成脱敏采集脚本 → 离线解析 → 给出带反证条件的原因排序;修不好时只补采缺失的探针。
- 判据
- 带反证条件的原因排序
- 失败
- 只补采缺失的探针,不把整轮证据重跑一遍。
git clone https://github.com/xiciyang/inference-diagnose.git && cd inference-diagnose && bash scripts/build.sh && dsh plugin --profile <name> add .
训练
真实 GPU 上的四段训练。每段都要求可被证伪的证据,而不是「loss 曲线看着不错」。
4 个包
dsh plugin add github:xiciyang/training-sftdsh plugin add github:xiciyang/training-rl量化感知训练;产出的 checkpoint 能被量化流程直接消费,并拒绝把「看起来没掉点」当成验收通过。
- 判据
- checkpoint 可被量化流程消费 + 拒收假通过
- 失败
- 量化消费或精度门禁不成立即回退。
dsh plugin add github:xiciyang/training-qatdsh plugin add github:xiciyang/training-pretrain
判定与测量
一个零依赖的判定原语库,管的是更前面一件事:这个数字到底成不成立。
1 个包
七个零依赖原语:测量有效性、无泄漏切分、审计链、沙箱探针;证明不成立时报错,不返回数字。
- 判据
- 测量有效性 / 无泄漏切分 / 审计链可复算
- 失败
- 证明不成立时抛错,不返回数字。
git clone https://github.com/xiciyang/ai-infra-core.git
Agent 能力
一个 DSH 视觉记忆插件,一个自改进决策契约库。
2 个包
五个自改进决策原语:目标设定、方向选择、效果判定、风险识别、回退决策。纯函数,可单独测试。
npm i @xiciyang/rsi-contract图只存一次,之后按 sha256 取原始字节:读精确像素、回放旧帧、按文字/标签/轮次找回;不接第二个视觉模型。
dsh plugin --profile <name> add github:xiciyang/dsh-visual-memory
收录于 walkinglabs 的 DSH 插件列表
在列:inference-serving、training-sft、training-rl、training-qat、training-pretrain。
索引与验证
索引在 ai-infra-index:registry.json、兼容性矩阵和每条验证时间。
「验证于」首版取各仓库最后提交日,之后按判据重跑更新;边界见 ADR-0006。
使用中遇到问题,去对应仓库开 Issue,或写信 [email protected]。