一文了解智能客服行业现状与趋势 智能客服发展趋势怎么样( 三 )


当然,这只是火车票中的一个场景,在火车票这个场景中还有退票、改签、查询等功能 。这些都是需要我们在需求梳理中要确定的 。
3. 如何评判一个智能客服系统的好坏
(1)基于人工标注的评价
基于问答知识库来回答的系统,回答能力受限于知识库的丰富程度,也就是说知识库对用户问题的覆盖率,覆盖率越高,准确性越高 。
因此并非能回答用户的所有问题,系统最佳的状态是将能回答的全部回答准确,不能回答的全部拒识,即拒绝回答 。
因此这里的评价指标包括有问题解决率、拒识率、召回率和准确率等,我们的目标是让系统的有结果率无限接近数据的真实有结果率,召回率和准确率尽量高 。
召回率 = 机器人能回答的问题数 / 问题总数准确率 = 机器人正确回答的问题数 / 问题总数问题解决率 = 机器人成功解决的问题数 / 问题总数拒识率=机器人未回答问题数/用户问题数
通过从每日的全量数据集中抽样出一个小数据集,保证小数据集的数据分布尽量符合全量数据集,然后由标注团队对数据集做标注,标注出每个问题的实际答案,一般标注完成后还有质检的环节,以保证标注结果尽量准确,这样便生成了每日数据的标准评测集 。
基于该标准评测集我们会去评价系统的好坏,并且每次做新模型迭代时都会使用标准评测集去评价新模型,只有新模型达到某个指标才可以上线 。
(2)基于用户反馈的评价
人工评价能够评价智能客服系统的准确率,但是答案是否合理,能否为用户解决问题,需要用户去反馈评价,整个智能客服系统的最终目标是帮助用户解决问题 。
我们会在产品上设计智能客服和在线客服的评价功能,例如会让用户评价智能客服的每个答案或者某次会话,在和人工客服聊天完毕会发送评价卡片给用户去评价满意度,如下图所示 。
最终我们会统计参评比例、满意度等指标,这些指标能够真正反应智能客服系统的好坏 。实际中往往用户参评比例低,我们会使用各种方法去刺激用户评价 。
三、智能客服遇到的那些问题1. 做通用智能客服系统还是垂直行业智能客服系统
智能客服系统的都是2B的,通用型智能客服系统意味着市场更大,用户更多 。而垂直领域的客服系统用户就少的多了 。
以保险行业为例,全国保险公司一共一百多家 。而且做垂直领域的智能客服系统,AI团队必须充分理解行业 。了解业务需求,了解业务流程还需要跨部门沟通 。
做垂直领域的智能客服系统,往往会陷入一两个大项目,不断满足用户的个性化需求上 。最终系统很“定制”,同时市场也很小 。做几个项目之后就会碰到透明的天花板 。
然而做通用型智能客服系统最然市场很大,但是和做垂直领域的智能客服系统的团队相比,没有了优势,技术优势现阶段各家差距不大,小公司可以给用户定制化,但是通用化系统不可以,最终变成市场很大,但是被一个个一句突起的做垂直领域的智能客服系统小公司蚕食了 。
那怎么办呢?
互联网刚开始的时候,门户网站率先突起,能够服务大多数人的需求,接下来,微信公号可以订阅,每个人的阅读内容都不一样了,这就是一种定制版的资讯平台 。从用户角度来说,定制化是演进方向,最终通用型客服会被垂直行业智能客服所取代 。
2. 做SAAS服务还是私有化部署
传统行业银行、保险、证券、房地产等大企业往往有很强的客服需求,对引入智能客服系统的意愿很强,但同时其对自身数据安全性的要求也很高,因此只会同意本地化部署的解决方案 。