Chatbot 相关的事项分享
AI-Assisted Live Service Chatbot · Review & Methodology

邱梓涛 精灵运营部 2026.07
▶
NETEASE · 网易游戏
CONTENTS
目录What we'll cover today
01
项目背景
机器人一环扣一环，Chatbot 是最后一环
02
困难与解法
采纳率为什么低？我们做了什么
03
方法论沉淀
从 embedding 到「面粉与蛋糕」
04
未来愿景
手动 → 半托管 → 全托管
01 / 15
01 · 项目背景
Chatbot 长什么样In the agent workbench
  • 1
    嵌在聚星工作台会话流中玩家话术下方实时浮现「AI 推荐回复」区块
  • 2
    三种使用方式一键发送 · 复制到编辑框 · 手动复制
  • 3
    后验证拦截生成不好/不可对玩家用的话术 → 拦截，显示「暂无话术推荐」，不展示
  • 4
    0428 正式上线覆盖 ma75（光遇）+ xyq（梦幻西游）等业务线
🤖 AI 推荐回复
"理解大佬的心情，可以多留意后续活动哦~"
复制并粘贴到输入框 一键发送
▶ 点击播放
聚星工作台真实界面 —— 点击播放，看 Chatbot 实际怎么用
02 / 15
01 · 项目背景
一个玩家进线，背后是一条环环相扣的 AI 流水线。 而 Chatbot，是直接面向客服的 最后一环。 — 它能不能用、好不好用，决定了前面所有环节的价值能否兑现
VOC 意图识别
进人工前对话
→ 三级意图
→
AX 工具执行
一个 VOC 调一个工具
查知识库/数据/后台
→
Chatbot 🤖
工具结果+上下文
→ 推荐话术
→
人工客服
一键发送 / 编辑 / 复制
03 / 15
📖 知识加油站
大模型靠啥理解文字？ —— Word embedding · 词嵌入

Chatbot 要先看懂玩家说什么，可机器只认数字。最简单的办法：给每个词打几个"分"。比如用「地位、性别」两个维度来描述：

地位性别
👑 国王21
👸 女王22
🧔 男人11
👩 女人12

每个词 → 一串数字（坐标）

👑国王(2,1) − 🧔男人(1,1) + 👩女人(1,2)
= (2,2) = 👸女王！

机器不是死背字典——「国王之于男人」就像「女王之于女人」，词之间的关系，竟然能用加减算出来。意思越近，坐标越近。

主流模型词向量维度
DeepSeek DeepSeek 7168维
豆包 豆包 5120维
ChatGPT ChatGPT 4096维

💡 一句话：embedding 把「文字」翻译成机器能算的「坐标」—— 这是 VOC 识别和 Chatbot 共同的底层。

04 / 15
01 · 项目背景
上线初期效果Early metrics after launch · Apr
50.8%
话术生成率
后验证拦截刚上线
46.0%
话术可用率
首次人工标注原始可用率
2.80%
话术采纳率
4/28 上线首周

上线初期，推荐能生成，但可用率、采纳率都偏低 —— 效果远没释放出来。这，就是我们要解决的起点。

05 / 15
02 · 困难与解法
采纳率上不去，问题出在哪？Where's the room to grow — data-driven

不靠拍脑袋 —— 全量拉取 12.8 万条会话，再人工抽取每批 200 条逐条标注，把每一条话术是否可用都归因到具体环节。

🔬 一层层剥开，可用率其实很高
原始可用率46.0%
剔除"暂无推荐"（前端本就不展示）66.7%
再剔除上游链路待优化项86.8%
同口径 xyq：23% → 37% → 79%　·　底座能力已成立
📌 提升空间主要在上游链路
剔除"暂无推荐"后，剩余待优化项主要来自：
上游链路（AX / 知识查询）约 77%
Chatbot 自身能力约 23%
98%
低风险
0
高风险
另有使用侧
客服习惯 · 拦截策略

结论：Chatbot 底座已成立，再上一层靠全链路协同 —— 上游数据与工具的稳定性是重点，客服使用习惯同步养成。

06 / 15
02 · 困难与解法
我们做了什么，效果立竿见影！What we did & the results
68.01%↑ 17.2pp
话术生成率
有多少消息生成了推荐
55.10%↑ 9.1pp
话术可用率
推荐话术中可用的比例
6.30%↑ 3.5pp
话术采纳率
较上线初期翻倍以上
A 优化工作流
补充闲聊/安抚类话术覆盖；禁止"收到""稍等"类废话。
B 补高频知识库
针对高频场景补充识别与话术，提高推荐命中率。
C 调拦截策略
在保证质量前提下释放推荐量，平衡"可用率"与"覆盖率"。

三项指标全面抬升 —— 我们做的事，实打实有效。下一步规划二次动态 VOC 调用，让上游按「信息量」自动再识别、再调用，进一步纠偏。

07 / 15
03 · 方法论
沉淀下来的四条方法论Methodology distilled
08 / 15
03 · 方法论
同样一袋面粉，
可以做成馒头，也可以做成蛋糕。
原料没变，关键看你怎么塑造、放在什么位置。
揉一揉上锅蒸，是馒头；加点心思进烤箱，就是蛋糕。
面粉
面粉 · 同一原料
→
$1馒头
馒头
或
$100蛋糕
蛋糕
09 / 15
03 · 方法论
那么，我们的"面粉"是什么？Same flour, different cake

—— 同样的 AX 工具结果，提示词与方法不同，做出的话术天差地别；
—— 同样的客服，不该被钉死在"打字员"，他可以是盯盘的指挥官。

🌾 同样的"面粉"
  • =
    同一份 AX 工具结果
  • =
    同一个大模型底座
  • =
    同一批客服同事
🎂 不同的"蛋糕"
  • ▲
    提示词/方法变通 → 话术可用率翻倍
  • ▲
    流程变通 → 二次 VOC 自动纠偏
  • ▲
    角色变通 → 客服从"回复"到"盯盘"

基础资源是一样的，思路与方法不同，结果完全不同 —— 这就是产品运营的价值。

10 / 15
04 · 未来愿景
从手动回复，到全托管Manual → Co-pilot → Auto-pilot
现在
手动辅助
客服逐条点击「一键发送/复制」使用推荐
下一步
半托管
高置信话术自动发；低置信/有风险才提醒客服介入
愿景
全托管 · 智能盯盘
机器人自动在发，没"堵车"不打扰；一个客服盯更多会话
▶ 观看盯盘演示

核心理念：没有卡点就自动流转，有"堵车"（准确率低/有风险/需抉择）才提醒人介入。

11 / 15
"
一个好的问题，
比好的答案更重要。
— 写在公司饭堂墙上的一句话

过去我们一直问："怎么让话术更准？" 但真正该问的也许是：
"客服到底需要什么样的辅助？""我们用什么指标衡量它真的有用？"

一个好的问题，比好的答案更重要
12 / 15
升华 · The Second Half
AI 的「下半场」From "how to solve" to "what's worth solving"
上半场

比拼怎么解题 —— 更强的模型、更高的准确率、更好的话术。

下半场

比拼定义对的问题 —— 该解决什么、怎么衡量价值、如何重塑人与 AI 的协作。

姚顺雨说，AI 的下半场，瓶颈不再是"能不能做到"，而是"做什么、怎么定义成功"。
Chatbot 的下半场，不是更准的话术，而是 —— 重新定义客服与机器的关系。

13 / 15

面粉一样，
但我们要做最好的那块蛋糕。
Thanks · Q&A

NETEASE · 网易游戏　|　邱梓涛