哈啰智能客服的全体介绍和算法流程
用户、算法眼中的智能客服痛点
右图是哈啰APP的客服中心，用户进入该页面，体系会根据用户的运用情况智能引荐高频问题，并猜测用户想处理的问题，这部分标准问题的处理计划由事务专家进行收拾，能包含用户大部分的目的。关于处理不了的问题，用户进入IM进口，聊天机器人会和用户进行对话。机器人基于常识库进行匹配，针对每个目的别离装备答案，或者给出详细处理计划。
现在的痛点在于：
- 常识库迭代更新费时吃力
- 模型难以跨事务通用
- 处理计划涉及到多模态的杂乱数据融合问题
- 多轮使命型会话上下文的长间隔依赖问题
用户在哈啰智能客服的进程
用户进入热线或在线服务渠道，以线渠道为例，体系会猜测用户想咨询的订单，并给出猜你想问和自助服务，如不能处理问题，会进入机器人服务。机器人链路包含query补全、精准匹配、分类模型、匹配模型和启示式问答，处理计划依托于常识库，或许是一套标准的服务流程，也或许需求判责，包含规矩和智能判责。
机器人仍不能处理问题，会进入人工服务，咱们用了NLP辅佐人工客服更好地服务用户，如智能派单，并给出服务引导，在承认问题后实时引荐计划，用户承认计划后会进行话术引荐。如果不能处理需求升级到专门的客服，会生成摘要工单后移交。
此外，哈啰有一套运用众包模式的云客服体系，现在云客服受理占比达到70%。
事例：目的辨认 表明型文本匹配模型 > 分类模型
目的辨认可用分类做，也可用匹配。分类模型无法习惯常识库变更、迁移性弱，而匹配模型能很好地战胜这些缺陷。
分类模型限制性：
- 常识库变更无法及时呼应，模型保护投入量大；
- 新标准问短少练习数据，无法更新模型；
- 需求很多标注高质量数据，耗费人力大；
- 无法快速迁移到新事务。
匹配模型优势：
- 对常识库变更能及时呼应，下降保护成本；
- 在新增标准问短少练习数据情况下，也能进行辨认；
- 可快速迁移到新事务，可做成通用模型，应用于一切事务；
- 可单纯经过增加类似问就能提高辨认才能，易于优化。
但是匹配模型有自己的问题。在战胜准确率下降的困难后，咱们匹配模型逾越了分类模型的作用。
在实践中咱们测验了多种模型和优化计划，终究逾越了线上分类模型的作用，在一条事务线的目的辨认top1 准确率达到了82.21%。
事例布景
匹配模型分两类，各有自身缺陷。交互型匹配模型准确率高，但核算量大，故而放弃。表明型匹配准确率一般不如分类，怎么提升准确度成了咱们考虑的关键。
表明型匹配模型落地流程
一系列优化措施提升准确率
运用对比loss可以对作用有所提升，但还是远远不够。咱们做了一系列试验，如图是试验的记录，发现范畴内大规模预练习、扩大高质量数据和输入文本mask有效，增大语句长度和温度系数有必定作用，采样战略作用一般。
成功关键 VS 无效测验
成功关键：
- 逾越线上分类模型（fastText），top1 准确率82.21% > 80.62%；
- 目的辨认QPS高，精排匹配不适合，关键转向更好的编码表明；
- 预练习和数据质量始终是影响的大头；
- 多测验，引进CV经验和各种tricks。
无效测验：
- 测验不同丢失函数：tripletloss、bprloss，丢失组合等；
- 调参：学习率，batch size；
- 模型挑选：CNN、ALBERT、SentBert、ESIM；
- 其他逻辑：mask方法、拼接标准问等。
下一步启示
- 难负例是指间隔小于一个较小阈值的负例，需求拉开；
- 常识库里不同标准目的（类）间，类似的样本少，导致难以区别；
- l 受simCSE启示，可用dropout机制为难负例生成更多难负例。
事例：度量学习技能提升新目的发现的准确率
用户常常会有新的目的，需求及时发现。咱们期望建设有壁垒的常识库，需求重叠率低且覆盖率高，覆盖率高需求自动发掘新目的。传统的做法是对未辨认问题聚类，然后人工选出新目的，而咱们的做法是用模型辨认已知类和不知道类，然后从不知道类中选出。终究，咱们引荐出的新目的占比提升50%，人工审阅功率提升。
事例布景
传统聚类办法有必定的限制，人工审阅功率低，引荐的新目的占比低。
关键实践
咱们用分类的方法辨认新目的，假定k个类是已知类，第k+1类是不知道类，例如“车主为什么不接单”这类表述分类到k+1类。详细的做法是经过决议计划鸿沟，到每个类别中心的间隔d是否在一切鸿沟外，判别是否为新目的。鸿沟的半径由自习惯学习而来。
咱们进行了更好的语义特征表达，对『难』正负例进行采样。引进度量学习的三元组丢失，每个batch挑选跟锚点最远的正例，最近的负例。
试验数据
咱们在snips、banking和oos等3个该范畴的公开数据集进行了试验，随机挑选25%、50%、75%的类别作为已知目的，其他都作为新目的。
随机x%的类作为已知类，剩下的不知道类。80%的数据作为练习集，其他为测试集。第一个使命是做二分类，F1是对不知道类，咱们的全体正确率是最高的。第二个使命是做K+1分类，别离对已知、不知道类核算F1，也是相同的成果。
成功关键
- 自习惯地确定决议计划鸿沟，避免人为设置阈值的弊端；
- 运用度量学习，侧重于取得更加各向同性的目的表达。为后续分类和学习决议计划鸿沟发明了条件；
- 可从T-SNE可视化印证。
T-SNE Visualization
Beneficial from deep metric learning, the intents of the same class are clustered close, and the intents of different classes are also well separable. Moreover, open intents are farther away from known intents.
事例：生成式模型用于NLP使命
咱们运用生成式模型辅佐人工客服，经过域内学习哈啰的常识，并经过微调，提升域内表现。
事例布景
人工客服了解事务、规矩难度大，成本高，而ChatGPT等大模型表现出惊人的对话才能和总结才能。但怎么应用于公司事务，有两个问题待处理。一是IDC资源受限，RT要求快，中文作用好；用多大的大模型，这么大的模型是否够用不明确。二是怎么在保持通用才能一起，学到公司的事务常识。
开源基础模型评测
咱们对开源基础模型进行比较和评测。发现清华开源的ChatGLM-6B 参数较小，A100上RT 2s内，QPS也OK，中文使命支持高。
一起，咱们对原生作用进行了评测，这儿以语义分类使命和阅览了解使命为例。
事务上优化
一是在Prompt工程，给模型更明晰的提示。实体辨认准确率有所提高，但指令遵照性较差，回复内容不可控，导致准确率低。
二是融入GPT4中文指令，并微调P-tuning。指令遵照性有所提高，但呼应时刻较长，影响体验。
三是学习哈啰常识，实体辨认准确率和匹配准确率有所提高，但胡编几率较高，输出不可控。
四是增多高质量数据，匹配准确率大大提高，答复更可控。
未来展望
- 基于常识库QQ匹配的目的辨认技能已经很成熟。在专业范畴内持续练习及微调，获取范畴常识后，可以生成更好的答复，减轻人们的脑力负荷；
- 生成式大模型短期内不太或许直接为用户提供处理计划。由于事务的杂乱性 常常超出想象，而且处理计划取决于多模态的数据。除了文本和图像，还和订单状况、用户画像、地舆轨道、点击行为、产品卡券等相关；
- TaskMatrix提供思路，一系列处理计划可以笼统为APIs，它们和详细事务 数据相关。把LLM作为自然语言人机交互工具。LLM正确顺序调用正确的 API并给出处理计划，仍然有不少难点。
（本文作者：王林林）
重视大众号「哈啰技能」，第一时刻收到最新技能推文。
