第六届全国社会媒体处理大会

SMP2017中文人机对话技术评测（ECDT）技术报告：

第六届全国社会媒体处理大会（The Sixth China National Conference on Social Media Processing, SMP）之中文人机对话技术评测（The Evaluation of Chinese Human-Computer Dialogue Technology，SMP2017-ECDT）经过近五个月的筹备和角逐，目前已顺利落下帷幕，关于任务一（包括封闭式和开放式）和任务二的全部评测工作已完成，感谢所有参赛单位的积极参与和大力支持。

“第六届全国社会媒体处理大会（The Sixth China National Conference on Social Media Processing）”将于2017年9月15—17日在北京召开。全国社会媒体处理大会专注于以社会媒体处理为主题的科学研究与工程开发，为传播社会媒体处理最新的学术研究与技术成果提供广泛的交流平台，旨在构建社会媒体处理领域的产学研生态圈，成为中国乃至世界社会媒体处理的风向标，会议将以社交网络的形式改变传统的学术会议交流体验。全国社会媒体处理大会每年举办一次，现已成为社会媒体处理的重要学术活动。第六届全国社会媒体处理大会（SMP 2017）由中国中文信息学会社会媒体处理专委会主办，中国科学院计算技术研究所承办。SMP 2017欢迎社会媒体相关方面的原创研究和应用论文。

在本届SMP会议上，专委会举办了中文人机对话技术评测（ECDT）。近年来，人机对话技术受到了学术界和产业界的广泛关注。学术上，人机对话是人机交互最自然的方式之一，其发展影响及推动着语音识别与合成、自然语言理解、对话管理以及自然语言生成等研究的进展；产业上，众多产业界巨头相继推出了人机对话技术相关产品，如个人事务助理、虚拟情感陪护机器人、娱乐型聊天机器人等等，并将人机对话技术作为其公司的重点研发方向。以上极大地推动了人机对话技术在学术界和产业界的发展。

本届中文人机对话技术评测由中国中文信息学会社会媒体处理专委会主办，哈尔滨工业大学、科大讯飞股份有限公司承办，讯飞公司提供数据，华为公司提供奖金。旨在促进中文人机对话系统相关研究的发展，为人机对话技术相关的学术研究人员和产业界从业人员提供一个良好的沟通平台。

本次评测包含任务一——用户意图领域分类（包括封闭式评测和开放式评测），任务二——特定域任务型人机对话在线评测。现将参与评测单位的技术报告公示如下：

一、任务一——用户意图领域分类

注意：任务一的报告不区分封闭/开放式，同时参加两个子任务的单位提供一份整合报告。

1. 封闭式评测：

排名	单位名称	参赛人员	F值	报告
1	华南农业大学口语对话系统研究室	唐杰聪梁泳诗闫江月李杨辉凌大未曾真杜泽峰黄沛杰	0.9391	PDF
2	义语智能科技（上海）有限公司	陆晨昱	0.9288	PDF
3	山西大学计算机与信息技术学院	李大宇张文跃张鹏符玉杰王素格	0.9089	PDF
4	北京邮电大学智能科学与技术中心	王小捷温丽云侯沐澜付豪高彭齐玉碧刘艾婷雷书彧马跃商甜甜白子薇李可	0.9082	PDF
5	哈尔滨工业大学(深圳)	刘欣陈静陈清财	0.9028	PDF
6	哈尔滨工业大学深圳研究生院	刘琴赵亚辉祝方泽	0.8952
7	哈尔滨工业大学计算机学院机器智能与翻译实验室	杨沐昀徐冰赵晶晶赵玉坤	0.8914	PDF
8	山西大学	李茹张钊宁王留香霍振峰李显明	0.8896	PDF
9	山东大学	郭诚赵恒宋洋	0.8854
10	深圳智能语义挖掘技术工程实验室	徐子涵傅左右郑海涛	0.8831	PDF
11	达闼科技有限公司	李彭云桑海岩檀利李斯源黄孟歆	0.8830	PDF
12	深思考人工智能机器人科技（北京）有限公司	杨志明王泳毛金涛陈巍巍	0.8660
13	东南大学	漆桂林毕胜刘丰	0.8598	PDF
14	智能感知与图像理解教育部重点实验室	缑水平王秀秀周海彬	0.8537
15	大连理工大学信息检索研究室	李裕礞岳天池刘喜凯汶东震杨亮	0.8215
16	广东外语外贸大学刘汉锋团队	李霞刘汉锋杨展源刘振兴谢勇生章友豪李扬陈敏萍蔡樱丹冯梓亨	0.8127
17	内蒙古师范大学	李艳玲李猛王晓宇刘娇侯丽仙陈婷婷	0.8054	PDF
18	上海葡萄纬度科技有限公司	张辉敏邱小虎王栋张炯孟庆阳夏雨露	0.8019
19	北京语言大学	刘鹏远郑志军邓宇宁	0.2470
20	对外经济贸易大学	李兵蔡斐钊崔璨梅御东杨铭张蓓贇张海航	0.0046	PDF

【注】未在此名单中的参赛单位为未正确提供服务器信息或者最后时刻仍然没有联通。

2. 开放式评测：

排名	单位名称	参赛人员	F值	报告
1	华南农业大学口语对话系统研究室	唐杰聪梁泳诗闫江月李杨辉凌大未曾真杜泽峰黄沛杰	0.9414	见上表
2	义语智能科技（上海）有限公司	陆晨昱	0.9288	见上表
3	中国科学院自动化研究所-出门问问语言智能与人机交互联合实验室	张贺蒋潇孟振南李超吴世伟赵亮王唯康	0.9258	PDF
4	广东外语外贸大学	徐凯谢文秀郝天永	0.9255	PDF
5	山西大学计算机与信息技术学院	李大宇张文跃张鹏符玉杰王素格	0.9123	见上表
6	薄言信息技术有限公司	陈俊男崔安颀熊琨	0.8991	PDF
7	哈尔滨工业大学计算机学院机器智能与翻译实验室	杨沐昀徐冰赵晶晶赵玉坤	0.8853	见上表
8	东南大学	漆桂林毕胜刘丰	0.8824
9	上海海知智能科技有限公司	刘璐阎于闻	0.8699
10	深思考人工智能机器人科技（北京）有限公司	杨志明王泳毛金涛陈巍巍	0.8660
11	内蒙古师范大学	李艳玲李猛王晓宇刘娇侯丽仙陈婷婷	0.8640	见上表
12	中国移动研究院大数据与IT技术研究所	冯俊兰胡珉王燕蒙孟繁宇乔杨	0.8401
13	大连理工大学信息检索研究室	李裕礞岳天池刘喜凯汶东震杨亮	0.8215
14	上海葡萄纬度科技有限公司	张辉敏邱小虎王栋张炯孟庆阳夏雨露	0.8019
15	北京邮电大学信息与通信工程学院	高升劳雅迪杨靖璇焦点韩玉平袁泉	0.7324	PDF
16	广东工业大学	朱斌俊郑艾斯蔡瑞初	0.0046

【注】未在此名单中的参赛单位为未正确提供服务器信息或者最后时刻仍然没有联通。

二、任务二——特定域任务型人机对话在线评测

排名	单位名称	参赛人员	任务完成率	平均话轮数	用户满意度	回复流畅度	引导能力*	报告
1	深思考人工智能机器人科技（北京）有限公司	杨志明王泳毛金涛陈巍巍	0.3175	64.53	0	-1	2	PDF
2	上海葡萄纬度科技有限公司	张辉敏邱小虎王栋张炯孟庆阳夏雨露	0.1905	72.28	-1	1	3	PDF
3	北京邮电大学信息与通信工程学院	高升劳雅迪杨靖璇焦点韩玉平袁泉	0.1905	78.72	0	1	3	PDF
4	中国科学院自动化研究所-出门问问语言智能与人机交互联合实验室	王唯康蒋潇李超吴世伟赵亮	0.1111	71.39	-2	-1	3

*指静态的数据库资源未覆盖情况的引导能力。

任务完成率高，平均话轮数少，用户满意度和流畅度高，则系统更优。

【注】未在此名单中的参赛单位为未正确提供服务器信息或者最后时刻仍然没有联通。

三、注意事项

评测组委会有权将提交的技术报告放在SMP会议网站及评测主页上，仅供开放下载及其他非商业使用，技术报告的署名权归作者所有。