不取悦的教练
大多数 AI 产品在为"用户当下感觉好"做优化。一个教练必须为"用户变得更 好"做优化。这两个目标真的会冲突。从选第二个出发的三个产品决策。
30 秒版
大多数 AI 产品为”用户此刻感觉好”做优化。一个教练必须为”用户随 时间变得更好”做优化。在 AI 必须选择说什么的瞬间,这两个指标大约 一半时候是分叉的。做”教练”版意味着反复地、刻意地选不那么让 用户当下舒服的那条。从这个选择出发的三个具体产品决策。
这件事对教练为什么更重要
一个让人愉快的助手没问题。一个让人愉快的导师只要它同时也准确就 没问题。一个让人愉快的教练是失败的教练。教练的全部意义就是把你 不想听的事用能落地的方式告诉你。
大多数 AI 产品为当前会话的用户满意度调优。这对搜索引擎、写作 工具、内容生成器合理。这对面试教练是灾难性的——因为用户 此刻的”感觉好”在统计上和下个月没变好相关。
困难的产品决策:选会延迟几个月才显现的指标而非这个会话内能上 报的指标。大多数团队嘴上说会。少数真做。因为第二个指标是 dashboard 没有的。
冲突在哪里出现
在一次面试教练会话里,逐时刻的轨迹长这样:
- 用户用一个含糊的例子回答了一道行为面试题。
- 教练有两个合理回应:
- A:“好例子!这里有几个让它更强的方法……”
- B:“这个答案会让我作为面试官放弃你。这是为什么,这是不会 放弃的结构。”
- A 让用户当下感觉更好。
- B 让用户到下次面试变得更好。
满意于 A 的用户离开会话时受到鼓舞。得到 B 的用户离开会话时感觉略 差——而在真正算数的时候表现更好。
累计的产品效应:调成 A 的教练 app 在三次会话内和 ChatGPT 没区别。 调成 B 的教练 app 的留存会随用户感受到自己的表现在变化而上升。
三个产品决策
一旦把”用户变好”定为指标,三个具体选择就跟着来了。
1. 教练有权拒绝鼓励
大多数 AI 产品把鼓励当默认行为。教练把鼓励当工具——若干工具之一, 只在诊断说用户需要鼓励时使用。
我的系统里,agent 有一个 tone 参数,不是由用户设置,而是由
教练的诊断设置。如果用户在表现回避行为(跳过练习、只要正面反馈、
反复练同样的简单题),诊断把 tone 设为 confront。Agent 在这个
状态下的回应被刻意调成有建设性地让人不舒服。
用户不能通过要求鼓励来覆盖这个状态。当你需要被对峙时还要求鼓励, 那就是回避本身。
2. 教练把用户自己的模式反射回来
大多数 AI 产品没有用户行为的记忆。它们有用户内容的记忆(说了 什么),但没有用户行为的记忆(跨会话做了什么)。
教练必须追踪:
- 用户完成 vs 中途放弃会话的频率
- 用户偏好的题型(= 舒适区)
- 用户回避的题型(= 成长边)
- 用户接受反馈 vs 反驳反馈的频率
这些反射回到对话里。不是控诉——是观察。“我注意到你这周练了 五次行为题,一次系统设计。系统设计是你上次面试得分最低的。要不要 聊聊为什么我们一直回到行为题?”
这一句读起来不舒服。这一句也正好是改变用户行为的那一句—— 因为它是证据,不是建议。
3. 教练不按相对进步打分
大多数 AI 产品对照用户自己的过去打分。“你比上周好 12%!“——这感 觉好。教练对照用户想要跨过的门槛打分——他们要面对的面试官的水准, 不是他们曾经的水准。
具体:我的系统给每个用户一个目标岗位(比如”B 轮创业公司的 senior PM”)。所有分数都对照那个目标的难度归一化。一个比上周好 12%、但还 低于目标 30% 的用户,两个数字都被告知,重点放在 30% 上。
这不舒服。这也是唯一诚实的 framing。如果目标是跨过门槛,指标 必须是门槛,不是用户自己的过去。
这件事的代价
三件事,都不轻:
1. 第一次会话的跳出率上升。 有些用户想要一个啦啦队。他们会在第一 次会话感觉被审判、不再回来。这没关系——他们不是你要服务的用户。 为他们调产品,会毁掉那些本来会和教练一起成长的用户。
2. 部分用户会写愤怒的评论。 “它说我的答案弱。我知道我答案弱。我 来这里是为了感觉好一点。“抵制软化产品的压力。愤怒的评论和沉默的 留存来自不同的用户群。
3. Agent 必须异常擅长说硬反馈。 这是最难的部分。五行反谄媚 规则有帮助(见 反谄媚)但不够。你 需要把硬反馈的说法——什么时候、用什么语气、配什么证据——和说不 说的决策一样仔细地设计。
一个给出准确但残忍反馈的教练比一个谄媚的更糟。残忍的教练被 拒绝、不被学习。谄媚的教练永远被咨询、永远不被学习。
我会怎么在面试里讲
“你的 AI 教练产品有什么不一样?“——很容易用陈词滥调回答。非陈词滥 调的版本:
大多数 AI 产品为用户当前会话的感觉调优。教练必须为用户下个月的 结果调优。在 agent 要决定说什么的瞬间,这两个指标大约一半时候是 分叉的。我们选第二个——明知有些用户会因此在第一次会话就离开。 留下的是那些拿到 offer 的人。
这个答案不时髦。这个答案也站得住。真正算数的面试官会尊重 “愿意为正确的理由失去用户”的态度。