习慈羊xiciyang
联系

定位

AI 解决方案架构师

我不定义方向，但我定义什么叫成功。

华为 AI 研发、售前、交付近 4 年 · RAG商用专利落地 · 总裁奖

华南理工大学 硕士 机电 × AI 系统落地 · 10 件成果 · 数模国一（队长）

开源工具 · 定义成功 · 论文与专利最近更新 2026-11-06

欢迎交流hi@xiciyang.com

习慈羊

行业洞察

AI 项目里，模型能力往往不是瓶颈。

模型选得对、指标也达标，项目却没落地 —— 技术、业务、财务、用户对“成功”的定义，不是同一件事。

四方各自对“成功”的定义四把不同的尺子 · 没有共同的刻度

瓶颈不在模型，在定义。

把几方冲突的诉求翻译成一句可验证的判据，项目才走得下去，交付方案才能验收。

常见01选技术路线02倒推目标判据事后补
我认为01定成功判据02选技术路线判据事前定

主案例

某头部运营商 大模型推理性能优化服务交付

职责：交付方案设计与落地，协调四方对齐成功判据。

无直接管理权，推动四方对齐

冲突：四方各自的标准
技术（工程师）指标达标
业务（业务方）要低时延
财务（采购）要低成本
缺统一判据
用户（使用方）我的问题真的被解决了

02我先做的

不选技术路线，先定义统一成功判据。

  1. 各方写下自己的底线
  2. 合成一张验收表
  3. 从此按表验收

03走向收敛

① 闭环 · 一轮每一步后面那条，是它在源码里对应的机器判据01探测环境后端/推理引擎/GPU 等环境信息02硬基线同一测点重复测，三 次取中位数性能与噪声落盘03判墙每堵墙给出上界，利用率 ≥90% 判墙04选 TOP1优化点只取被判中那一墙的 TOP1 优化05执行超参数或算子层优化06双门禁性能增益 ≥ 阈值 且 精度下降 ≤ 阈值07固化或回退通过则固化，不通过则回退，并反思落盘↺ 每一轮都回到 03 判墙：墙转移分析② 判墙 · 五堵根因墙每堵都有上界公式，和一条「口径错了」的判法根因墙上界口径撞墙阈值口径不成立时TOP1 干预内存带宽墙带宽TPS ≤ 实测可达带宽 ÷ 每 token 访存字节利用率 ≥90%反推带宽 > 实测可达 ⇒ 禁止判"硬件到顶"，反思优化并发容量 / KV 精度投机解码墙算法加速比 ≤ 接受长度 ÷（1 + 草稿开销比）边际接受率 ≤0加草稿预算不再换来更长接受长度 ⇒ 预算已饱和，反思优化墙分析草稿预算算力墙算力TPS ≤ 实测算力峰值 ÷ 每 token FLOPs算力利用率高achievedFlops > 实测峰值×1.02 ⇒ 重测，反思优化减少每 token 计算容量墙显存并发上限 ≤ 可用 KV 槽位 ÷ 每请求占用并发已达上限KV 池扩大后 OOM ⇒ 是显存而非容量，反思优化墙分析KV 池规模 / 序列预算调度墙调度吞吐放大潜力 ≤ 1 ÷ 实测 GPU 忙占比忙占比偏高忙占比好但吞吐不涨 ⇒ 停顿不在调度，反思优化墙分析批步数 / 连续批③ 护栏 · 会拒绝执行的约束禁止规格书理论峰值采用实测峰值数据阈值必须由调用方给精度与性能两个阈值缺失即拒绝执行先判测量是否成立性能侧与精度侧各自先过测量有效性，不成立时结论作废只动被判中的一维一次只取一堵墙的 TOP1 干预；推翻重来要显式回退，不做"顺手多调几个参数"① 闭环 · 一轮01探测环境后端/推理引擎/GPU 等环境信息02硬基线同一测点重复测，三 次取中位数性能与噪声落盘03判墙每堵墙给出上界，利用率 ≥90% 判墙04选 TOP1优化点只取被判中那一墙的 TOP1 优化05执行超参数或算子层优化06双门禁性能增益 ≥ 阈值 且 精度下降 ≤ 阈值07固化或回退通过则固化，不通过则回退，并反思落盘↺ 每一轮都回到 03 判墙：墙转移分析② 判墙 · 五堵根因墙内存带宽墙带宽TPS ≤ 实测可达带宽 ÷ 每 token 访存字节撞墙 利用率 ≥90%反推带宽 > 实测可达 ⇒ 禁止判"硬件到顶"，反思优化→ 并发容量 / KV 精度投机解码墙算法加速比 ≤ 接受长度 ÷（1 + 草稿开销比）撞墙 边际接受率 ≤0加草稿预算不再换来更长接受长度 ⇒ 预算已饱和，反思优化墙分析→ 草稿预算算力墙算力TPS ≤ 实测算力峰值 ÷ 每 token FLOPs撞墙 算力利用率高achievedFlops > 实测峰值×1.02 ⇒ 重测，反思优化→ 减少每 token 计算容量墙显存并发上限 ≤ 可用 KV 槽位 ÷ 每请求占用撞墙 并发已达上限KV 池扩大后 OOM ⇒ 是显存而非容量，反思优化墙分析→ KV 池规模 / 序列预算调度墙调度吞吐放大潜力 ≤ 1 ÷ 实测 GPU 忙占比撞墙 忙占比偏高忙占比好但吞吐不涨 ⇒ 停顿不在调度，反思优化墙分析→ 批步数 / 连续批③ 护栏 · 会拒绝执行的约束禁止规格书理论峰值采用实测峰值数据阈值必须由调用方给精度与性能两个阈值缺失即拒绝执行先判测量是否成立性能侧与精度侧各自先过测量有效性，不成立时结论作废只动被判中的一维一次只取一堵墙的 TOP1 干预；推翻重来要显式回退，不做"顺手多调几个参数"
inference-tuning · 开源包

04兑现

各压测档位的 TTFT / TPOT / 吞吐，均为相对基线的倍数
档位指标基线优化后（相对基线）
短上下文16k· 高并发TTFT1.00×0.74×↓26%更好
TPOT1.00×0.55×↓45%更好
吞吐1.00×1.00×
中上下文128k· 中并发TTFT1.00×0.40×↓60%更好
TPOT1.00×0.65×↓35%更好
吞吐1.00×1.04×↑4%更好
长上下文1M· 低并发TTFT1.00×0.68×↓32%更好
TPOT1.00×0.46×↓54%更好
吞吐1.00×1.86×↑86%更好

表中为相对基线的倍数（1.00× = 基线）；绝对值不在站内公开。

代价
  • 交付周期（1周）

05沉淀

一套大模型推理插件（开源社区收录）
  1. 01判据模板四方诉求 → 一张验收表新项目口径统一模板
  2. 02大模型推理性能优化流程基线 - 墙分析 - 优化 - 测试 - 迭代已内置在该包开源包
  3. 03交付验收清单交付前逐项核对已内置在该包开源包
  4. 04运行态证据客户生产态连续2个月、10万量级请求0服务故障
下一项目从这张表开始

反复验证

从竞赛到交付，一个方法逐渐清晰。

先定义成功判据，再选路线。

  1. 2020-2023 · 华南理工大学

    竞赛无意中做对了

    全国一等奖

    研究生数学建模竞赛 · 队长

  2. 2023-2025 · 华为

    研发隐约感觉到

    2 个商用落地项目

    机器学习/RAG项目主导交付 · 专利 · 总裁奖

  3. 2025-2026 · 华为

    售前商业侧显式定义

    2个合作伙伴 5 个拓展项目

    AI使能/优化解决方案开发与拓展

  4. 2026 至今 · 华为

    交付技术侧完整形态

    详见第三屏

    运营商 · AI使能/优化拓展项目交付

  5. 未来

    下一阶段仍在演进

    待续

    延伸至产品侧

方法论不是某天突然想出来的，是在不同阶段反复遇到同一类问题后，逐渐清晰的。

正在系统化

我正在把“定义成功”从个人能力，变成可复用的系统。

系统自主开发01基座DSH基于 DeepSeek 开源 · 二次开发与插件扩展我负责需求验收标准迭代方向可复用的编排与验收机制能力闭环任务规划 → 生产 → 评审 → 确认 → 发布已闭环交付站点开发与交付 · 大模型训练与推理02作品XagentLabxagentlab.com全程无人编码 · 部署在自有环境 · 公网可访问我负责需求验收标准迭代方向早期阶段 · 早期用户 · 数据量小 · 仍在完善 · 尚未在商用项目验证 · 业余推进人负责判断带过 3 人交付小组运营商AI商用交付项目系统承接重复劳动自主闭环，不用我盯着系统自主开发01基座DSH基于 DeepSeek 开源 · 二次开发与插件扩展我负责需求验收标准迭代方向可复用的编排与验收机制能力闭环任务规划 → 生产 → 评审 → 确认 → 发布已闭环交付站点开发与交付 · 大模型训练与推理02作品XagentLabxagentlab.com全程无人编码 · 部署在自有环境 · 公网可访问我负责需求验收标准迭代方向早期阶段 · 早期用户 · 数据量小 · 仍在完善尚未在商用项目验证 · 业余推进人负责判断带过 3 人交付小组运营商AI商用交付项目系统承接重复劳动自主闭环，不用我盯着
工程能力地图
工程保障横贯判据 · 评测 · 回滚 · 观测 · 成本五层01数据数据处理 + 数据治理 + 数据管理 + 数据飞轮02算力底座算力资源 + 调度编排 + 推理引擎 + 运维运营03模型服务训练 + 量化 + 部署 + 调优 + 排障 + 治理04知识智能存储与管理 + RAG + 运营与治理 + 知识飞轮05应用落地Agent + 工具链每一层都能被打包带走（可复用工具链）工程保障横贯判据 · 评测 · 回滚 · 观测 · 成本五层01数据数据处理 + 数据治理 + 数据管理 + 数据飞轮02算力底座算力资源 + 调度编排 + 推理引擎 + 运维运营03模型服务训练 + 量化 + 部署 + 调优 + 排障 + 治理04知识智能存储与管理 + RAG + 运营与治理 + 知识飞轮05应用落地Agent + 工具链每一层都能被打包带走（可复用工具链）
带过真实的人，也造了能自己干活的系统。两者不矛盾——系统负责重复劳动，人负责判断。

原则

我反复回到的三条判断

  1. 01

    多方诉求冲突时，先定义共同的成功判据，再选技术路线。

    判据先立，路线才有验收口径。

  2. 02

    判据必须定义在最终产物上，而不是链路中间的任何一层。

    过程指标可以看，但不能当验收判据。

  3. 03

    方向可以是别人给的，成功判据必须自己定。

    判据要能被别人验收，才算数。

更多判断，见关于页 →

继续看

31 篇工程记录→10 条学术与知识产权成果→1 个在做的项目↗