慎用指标：AI 岗位评估里最容易做错的那一步
0次浏览0条评论0个赞
评估一个算法负责人，最容易想到 3 个指标：模型准确率、论文数量、代码提交量。
它们客观、可统计、不需要争论。把这三个数字放进一张表，看起来就是一份完整的评估。
问题在于，三个数字都能被主动生产。
模型准确率可以靠让模型更贴合测试集刷高；论文数量可以靠选更容易发表的题目堆高；代码提交量可以靠把两百行写成两千行翻十倍。三条路的共同点是一样的：生产这个数字，比改善它本应描述的东西省力。
这条机制叫指标反噬——指标被当成目标之后，人会主动生产它，甚至以损害真实目标为代价。这跟执行者的道德无关，出问题的是度量方式本身。而 AI 岗位的关键能力恰好全都难以测量：结果严重滞后，贡献无法归因。评估者只能在”滞后且不可归因”与”即时且无关”之间二选一，“可归因但无关”的指标会赢，因为它至少能让讨论结束。
要跳出这个循环，需要三步：先认出会反噬的指标，再用行为锚定替代打分，最后承认岗位定义本身也有半衰期。下面按这三步展开。
一、三个慎用指标，各自的失败模式
先把三个指标摊开，看它们各自怎么坏。
① 单纯模型准确率。 测试集准确率提高，最省力的路径是让模型更贴合那批数据，业务理解可以一点不涨。一个能被省力刷高的指标，就会被那样刷高。
② 论文发表数量。它度量的是对外表达产出，而岗位要的是落地。两者在短期内可以一致，但一旦考核绑定，就会出现”为了可发表而选更易发表的问题”这种系统性偏移。
③ 代码提交量。这一个是三个里最值得记住的：它度量的是复杂度增长。同一个功能，写成两百行清晰代码与写成两千行缠绕代码，提交量差十倍；而如果提交量是考核项，后者会被奖励。
这三条共同的结构是：
它们的问题在于测的东西与目标不等价，而不等价的方向恰好是执行者能主动选择的那一个。
坏指标的危险在于它有方向 [1]，而不只是有噪声。
二、为什么这类岗位特别难评
如果只是”指标不好”，那换一个更好的就行。但 AI 岗位还有两个结构性困难，它们解释了为什么人们总是不自觉地退回活动量指标。
困难一：结果严重滞后。 一个模型上线到业务指标变化，中间隔着真实用户的适应期；一次架构决策的影响可能要几个季度才显现。而考核周期通常按季度甚至月度——当你只能在半年后知道对错时，本期就只能去测能被立刻测量的东西。
困难二：贡献难以归因。一个业务指标的改善，混杂了产品、运营、市场与模型四个来源。在一个无法归因的环境里，“可归因但无关”的指标会战胜”相关但不可归因”的指标——因为前者至少能让讨论结束。
这两条合起来就是坏指标的产生机制：评估者被迫在”滞后且不可归因”与”即时且无关”之间二选一。选择通常出于同一个原因：那一个能让讨论结束。
三、替代方案一：行为锚定，而不是打分
既然分数难以对应真实能力，那换一种记录方式：成对描述行为 [4]。
它的做法是给每个关键场景写两栏——普通表现与杰出表现——让评价落在”他当时是怎么做的”上，而不是”我给他几分”。
一组可用的例子：
| 场景 | 普通表现 | 杰出表现 |
|---|---|---|
| 高管汇报 | 罗列技术进展 | 用一条链路展示：每投入一元带来多少回报、风险系数多少、下一步建议是什么 |
| 跨部门冲突 | 协调各方妥协 | 把各方带回”用户价值”这一原点，用数据验证不同方案，再收敛到最优路径 |
| 突发风险 | 紧急救火 | 启动预设预案：先定位根因，再给缓解方案，最后闭环复盘 |
| 团队培养 | 分配任务 | 设计培养路径：让工程师参与业务复盘，让产品经理学习模型评估 |
这种做法有三个好处，而且都不依赖”更准的测量”：
- 它不需要归因。你评的是行为是否发生，不是行为带来了多少业务增量；
- 它无法被刷。一个人无法在不做那件事的情况下”生产”出这个行为；
- 它可讨论。两栏写得越具体，分歧就越会落在”事实是否如此”，而不是”你凭什么给这个分”。
行为锚定替代打分的核心理由是第 2 条：好的评价方式不必更精确，但必须更难被策略性地满足。
同样的思路也可以用在选拔上——把问题问成要一段经历，而不是要一个结论：
- “请分享一次你放弃更先进方案、选择更简单模型的经历” → 看他能不能说清”商业约束 × 技术风险 × 维护成本”的权衡；
- “如果业务方要求提升用户满意度，你怎么拆成技术任务？” → 看他能不能输出可计算的指标、采集方案与验证路径；
- “模型上线后效果波动，你的排查流程？” → 看他是系统性排查（数据 → 模型 → 业务 → 外部因素），还是只盯着模型。
四、贯穿线：容易测的量，通常不是要的量
把前三节连起来，可以得到一条比”慎用指标”更一般的判断：
“容易测量”与”真正重要”之间没有正相关——而当一个度量被当作目标时，它还会主动制造出它与目标之间的差距 [2][3]。
这也解释了为什么第三节换的是描述方式，不是更好的指标：行为锚定不试图测量能力，它记录能力的证据。
而这条判断有一个不太舒服的推论：
能被一个数字概括的能力，通常已经不重要了。
反过来说，一项能力确实重要却难以测量时，硬造一个代理指标是最坏的选择。代价应该花在证据上：接受评价更慢、更主观、需要更多材料，而不是把精力花在指标的精致度上。
五、替代方案二：推荐指标的共同特征
那是不是所有量化都要放弃？不是。有些量化指标是可用的——关键在于看它们测的是什么。
一组可用的推荐指标长这样：
- 业务指标弹性：模型迭代一次，核心业务指标平均变化多少；
- 反馈闭环效率：从发现漂移 → 完成重训 → 灰度验证，平均需要多久；
- 团队成长度：核心成员能独立负责模块的比例，年度提升多少；
- 技术债控制：紧急修复与临时方案占比，季度是否下降。
四个指标的共同特征值得单独指出：它们测的都是”回路”，不是”活动量”。
- 弹性：一次改动带来多少变化；
- 闭环效率：从发现到验证要多久；
- 成长度：多少人能独立负责；
- 债控制：欠下的债在增还是在减。
回路量的关键性质是：它衡量系统自我修正的速度，而不是个人的产出数量。而”更快地发现错误并修正”这件事，恰好是很难被伪造的——你没法在不缩短闭环的情况下让闭环变短。
六、岗位定义也有半衰期
最后一件容易被忽略的事：这份能力模型本身会过时。
同一批岗位材料里，有些能力项带有明显的时效性——比如”上下文工程与检索策略""多智能体编排与复杂任务拆解""用生成式工具快速验证原型”。它们在一两年前几乎不存在，而另一些能力项（商业翻译、系统思维、伦理判断）则长期稳定。
所以一份可用的能力模型应该显式区分这两层：
- 长期层：与工具无关的判断力与协同能力——修订周期以年计；
- 时效层：与当前工具链强绑定的能力——必须标注版本与复核时间。
这和我在别处写过的一条判断是同一个形状：底层机制可以长期复用，实现层按各自的半衰期迭代。只不过这里复用的对象从”技术方案”变成了”岗位定义”。
不带版本的能力模型有一个具体的害处：它会让人为一项已经开始贬值的能力做长期投入——比如为两年前的关键技能规划三年的成长路径。
七、局限与边界
- 没有实测数据。 三个慎用指标与四条推荐指标来自我对自己整理的一份岗位材料的重构，属于设计判断而非测量结论；具体到某个团队，哪项指标可用需要按业务重估。
- 行为锚定有一个真实成本：它更慢、更依赖评价者的专业度。它把”打分”变成”写证据”，而写证据是重活。在评价者本身不熟悉该领域时，它的效果会显著下降——这一点不能靠流程弥补。
- “能被一个数字概括的能力通常已不重要”是一条启发式，不是定理。有些重要能力确实可以粗略量化（如线上事故数）；把它当作拒绝一切量化的理由，是另一端的错误。
- 能力模型的时效层因领域而异。工具链变化快的领域（今天的 AI 工程就是）时效层占比高；变化慢的领域则相反，不能一概而论。
- 原始材料含若干断言型统计（例如”模型效果 70% 取决于给模型看什么”这类比例），一律未采用——它们没有给出可核验来源，只保留其定性含义。
结论：能被一个数字概括的能力，通常已经不重要了
回到开头的”代码提交量”。
它之所以是最好的反面教材，是因为它足够具体：它奖励的那个行为（写更多代码），正好是它想避免的那个结果（更多复杂度）。
所以我现在评估一个 AI 岗位时，只看三件事：
一、这个指标能不能被主动生产；二、它测的是活动量还是回路；三、有没有一套不依赖打分的行为记录。
三样都缺，说明评价体系还停留在”找一个看起来客观的数字”的阶段。好的评价方式不必更精确地测量能力，它让能力难以伪造地留下证据。
参考文献
[1] CAMPBELL, D. T. Assessing the Impact of Planned Social Change[J]. Evaluation and Program Planning, 1979, 2(1): 67–90. DOI: 10.1016/0149-7189(79)90048-X
[2] GOODHART, C. A. E. Problems of Monetary Management: The U.K. Experience[C]//Papers in Monetary Economics, Vol. I. Sydney: Reserve Bank of Australia, 1975.
[3] STRATHERN, M. “Improving Ratings”: Audit in the British University System[J]. European Review, 1997, 5(3): 305–321.
[4] SMITH, P. C.; KENDALL, L. M. Retranslation of Expectations: An Approach to the Construction of Unambiguous Anchors for Rating Scales[J]. Journal of Applied Psychology, 1963, 47(2): 149–155. DOI: 10.1037/h0047060
评论
填个昵称就能发，不需要注册或登录