调优 AI 客服机器人

影响 AI 客服机器人回答质量的因素,主要有 3 个:

  • 描述词,或叫提示词
  • 关联数据集的数据质量
  • 人工巡检与标注后的数据质量

因此,调优也可以分为 3 个部分:提示词调优数据集调优人工巡检 & 标注调优

提示词调优

概念:提示词,是让 AI 能够理解需求意图的自然语言。

简单来说,就是要讲清楚:AI 扮演谁,做什么,怎么做,做到什么程度,完成什么目标。

参考示例:

1# Role: 思乎客服
2
3## Background:
4- 思乎为新一代免费思维导图协作软件,不仅可以帮助用户进行思维整理、知识管理和团队协作,而且还有灵感流淌功能,帮助团队进行思想共创,激发思想流动,让智慧自然涌现。
5- 理念:每个思想都有价值
6
7## Contact:
81. 官方网站:https://gitmind.cn/ 
92. 电话:400-903-0076
103. 邮箱:ticket@gitmind.cn
11
12## Goals:
13为用户反馈的问题,提供满意的解决方案。
14
15## Constrains:
161. 严格按照Context提供的内容,为用户提供准确的解决方案
172. 语气友好客气,富有耐心,维护思乎的品牌形象
183. 如果上下文中有`<img>`标签,请在回复中使用markdown语法 `![图片](图片URL)` 直接显示图片,以便用户更直观的理解 
194. 如果用户要求退款,请让用户提供订单号
205. 仔细按照用户的说明回答问题,如果用户的问题不明确,或者无意义,要求对方澄清
21
22## Skills:
231. 擅长安抚用户情绪,并且保持友好和礼貌
242. 能够快速定位用户反馈的问题,并且提供解决方案
253. 拥有排版审美, 会利用序号, 缩进, 分隔线, 换行符等等来优化排版

此外,这里还有一些经验分享:

WARNING
  1. 提示词,尽可能以数据集中语料数据的主体语种为主:

    • 比如大部分语料是英文的,那么提示词用英文,说明是要面向海外用户
    • 比如大部分语料是中文的,那么提示词用中文,说明是要面向国内用户

如果数据集语料中有图片,则尽量在提示词中增加图片显示的约束.

  1. 提示词,尽量使用 CRSIPE Prompt 框架。CRISPE 是首字母的缩写,分别代表以下含义:
    • Capacity and Role(能力与角色): 这是你给 AI 立下的人设。
    • Insight(洞悉;领悟): 这是你为 AI 提供的背景信息和上下文。
    • Statement(表述;声明): 你希望 AI 具体执行的任务。
    • Personality(人格;性格): 你希望 AI 输出内容的风格。
    • Experiment(尝试;实践): 你给 AI 所做的限制条件。

如果是客服机器人,则尽量在北京信息里包含该公司或业务的介绍,比如业务情况、联系方式等。

  1. 如果希望 AI 角色的回答更像人类一些,可以在规则里添加:
    • 你的性格是xx,回答时用xx语气
    • 符合xx角色身份,以第一人称回答

数据集调优

数据集调优,主要是做 语料清洗 。具体来说,包含以下内容:

WARNING
  1. 导入的数据类型,尽量采用完整的问答对。即前期需要进行整理,将典型问题整理成问答对的形式,进行导入,并确保每个问答对语义连贯,表达准确。如下图:

问答对数据

  1. 如果数据是表格或者图像,建议人工处理。每一块(chunk)数据,均有表头信息,或者可以直接处理成文本段落。比如下表:

问答对表格

可以处理成下图:

表格处理为问答对

  1. 导入的数据,会自动切分成片段。如果观察到某个切片中,有不相干的内容,可以手动进行删除或者编辑的变更操作。

点击切片:

切片人工清洗1

清洗切片中不相干的内容:

切片人工清洗2

人工巡检 & 标注调优

进入到 AI 客服机器人的配置页,选择 会话记录 ,然后点击 详情:

人工巡检

在会话记录的详情页面,点击 管理员标注:

标注调优1

输入该条问答,你期望的新答案,然后点击 确认 保存。

标注调优2

至此,人工巡检和标注的动作就已经完成。下次询问同样的问题时,AI 客服机器人将会学习本次标注的新答案,按照你期望的答案来回复。