你的模型够强吗？哈工大SCIR组织的6个评测任务等你来挑战!
2020年06月16日
如果，你是 NLP 的初学者，在掌握了一定的基础知识后却到达了瓶颈，苦于没有高质量的项目来积累实战经验；如果，你是学术“大牛”，正巧研制出一款强如“屠龙宝刀”的模型，却缺少一个机会试试模型的威力；如果，你是工业界的“脊梁”，想将工业界锤炼的框架在学术界颇有新意的任务上再创佳绩，那么机会来了！
目前，哈工大SCIR组织的6大评测任务正在如火如荼地进行中！
语义依存分析任务着力增强自然语言处理的基础建设，小样本对话理解任务聚焦产业研发的实际难题，微博情绪分类技术评测、新冠概念图谱评测以 NLP 技术助力抗疫，中文司法阅读理解任务评测为机器赋能服务民生，更有机器人群聊比赛为聊天机器人搭设“比武擂台”。
新数据，新场景，新挑战！还有丰厚奖金和高认可度的荣誉证书等着你！
炎炎盛夏将至，你是否也在摩拳擦掌，跃跃欲试了呢？
快看看下文的任务简介，赶紧选择你感兴趣的任务注册报名吧！
01 语义依存分析任务
中国计算语言学大会（CCL 2020）技术评测任务五：中文语义依存图分析
任务简介
语义依存分析是依存句法和语义的有机结合，其建立在依存理论基础上，是对语义的一种深层分析。语义依存用“图”而非“树”来表示，允许一个节点拥有多个父节点，且弧之间可以交叉。
该任务可分解为两个部分，首先是根据依存语法建立依存结构，即找出句子中的所有修饰词与核心词对，然后再对所有的修饰词与核心词对指定语义关系。
解析出句子中词语间的语义关系能够帮助回答 “Who did what to whom when where and how”等问题，为自然语言处理的其他下游任务提供更为直接和丰富的语义信息。
评测语料由北京语言大学信息科学学院和哈尔滨工业大学社会计算与信息检索中心联合推出。语料根据语义依存图结构语义标注方案中粗粒度标准标注，共35430条，其中涉及新闻、中小学语文课本、散文、剧本四个领域。
评测时间
2020年5月26日-2020年9月30日
负责人
邵艳秋（北京语言大学）、车万翔（哈尔滨工业大学）
季雨秋（哈尔滨工业大学）、刘殿卿（北京语言大学）
奖励设置
一等奖（1名），12,000元
二等奖（1名），6,000元
三等奖（1名），2,000元
任务网址
http://ir.hit.edu.cn/sdp2020ccl
02 小样本对话理解任务
小样本对话语言理解技术评测
任务简介
对话语言理解SLU（Spoken Language Understanding）是任务型对话系统的关键组成模块，它把用户的自然语言输入（Utterance）转化为结构化信息（Semantic Frame）以为后续的对话状态管理和回复生成提供支持。其中Semantic Frame包括用户意图（Intent）和语义槽（Slot）。
区别于普通的对话语言理解，本评测关注小样本学习场景，即每个测试类别只有几个标注样例。模型先在一些数据充足的领域训练，然后在未见的新领域上测试。针对一个领域，我们每次给定模型一个带标注的支撑样本集（Support Set）作为参考，让模型对任意未见过的查询样本集（Query Set）标注用户意图和槽位。
评测时间
2020年6月16日-2020年8月5日
负责人
车万翔（哈尔滨工业大学）
侯宇泰（哈尔滨工业大学）、茅佳峰（哈尔滨工业大学）
奖励设置
一等奖（1名）20,000元
二等奖（2名）各10,000元
三等奖（2名）各5,000元
任务网址
https://smp2020.aconf.cn/smp.html#3
03 机器人群聊比赛
第二届SMP机器人群聊比赛（The 2nd SMP-MCC）
任务简介
在机器人群聊场景中，已知群聊主题和历史消息记录，要求生成符合群聊主题和上下文逻辑的回复。同时，所生成的回复需要流畅且与群聊对话主题相关。任务说明如下：
（1）群聊主题。在任务中，我们会给定群聊主题，在每个主题下进行 N×10 轮对话( N 表示参与群聊机器人总数)。本届群聊比赛将使用以下五个主题：电影 、 数码产品、美食 、音乐、 体育。
（2）轮转策略。在某个群聊主题下，我们将按一定策略初始机器人回复顺序，确保所有机器人的回复优先级总体相同。而在其他群聊主题中，我们将多次轮番调换机器人回复顺序，以保证最终评分环境的公平性。
（3）消息决策。在评测任务中，当我们向每个机器人请求回复时，会提供当前群聊主题和历史消息记录。参赛队伍需要根据群聊主题和历史消息记录进行相关决策，以生成合理的回复。
本次比赛提供部分多方主题闲聊数据供参赛队伍参考，除此以外，参赛队伍可以自行收集或使用开源的对话数据进行模型训练。同时，本次比赛也提供 Baseline 工具包（包括检索和生成两种基本模型）和在线评测平台以及排行榜供参赛队伍调试参考。
评测时间
2020年3月20日-2020年9月上旬
负责人
评测主席：张伟男（哈尔滨工业大学）
副主席：张洪忠（北京师范大学）、黄民烈（清华大学）、车万翔（哈尔滨工业大学）
评测委员会成员：张开颜（哈尔滨工业大学）、张家乐（哈尔滨工业大学）、冯梓娴（哈尔滨工业大学）
奖励设置
一等奖（1名）40,000元
二等奖（2名）各15,000元
三等奖（3名）各10,000元
任务网址
http://mcc.8wss.com/
（备用地址：http://221.207.166.58:8000/）
04 微博情绪分类技术评测
SMP2020微博情绪分类技术评测（SMP2020-EWECT）
任务简介
微博情绪分类任务旨在识别微博中蕴含的情绪，输入是一条微博，输出是该微博所蕴含的情绪类别。在本次评测中，我们将微博按照其蕴含的情绪分为以下六个类别之一：积极、愤怒、悲伤、恐惧、惊奇和无情绪。
本次技术评测使用的标注数据集由哈尔滨工业大学社会计算与信息检索研究中心提供，原始数据源于新浪微博，由微热点大数据研究院提供，数据集分为两部分：
- 第一部分为通用微博数据集，该数据集内的微博内容是随机获取到微博内容，不针对特定的话题，覆盖的范围较广。
- 第二部分为疫情微博数据集，该数据集内的微博内容是在疫情期间使用相关关键字筛选获得的疫情微博，其内容与新冠疫情相关。
在本次评测中，参赛成员需要同时针对以上两个数据集分别进行情绪分类。
评测时间
2020年5月16日-2020年8月31日
负责人
赵妍妍（哈尔滨工业大学）
刘益东（微热点大数据研究院）、袁明琛（哈尔滨工业大学）
奖励设置
一等奖（1名）：10,000元
二等奖（2名）：各5,000元
三等奖（3名）：各3,000元
任务网址
https://smp2020ewect.github.io/
05 新冠概念图谱评测
新冠知识图谱构建与问答评测子任务二：新冠概念图谱的上下位关系预测
任务简介
新冠概念图谱即是一种自动构建概念体系（schema）的知识图谱，该图谱利用自动挖掘的手段从网络文本中采集了大量细粒度的上位概念词。即此概念图谱的is-a层次结构是自动构建而成的，包含了细粒度的上下位层次结构。传统的知识图谱对实体的概念类别体系定义非常有限，如：ACE-2007将实体分为7大类、45小类，Yosef（2013）将实体分为505类。上述将命名实体的类别进行人为的定义，其优点在于可以将命名实体识别中标明实体类别的过程看作分类问题，然后应用传统的模式分类方法解决该问题。然而，预先对类别进行定义也有其不可避免的缺陷：人工定义的类别覆盖程度有限且不易更新，当涉及新的领域时，实体类别体系可能需要重新定义。事实上，实体和上位词之间以及上位词和上位词之间存在复杂的层次关系，如果能够自动的构建这种细粒度的上下位层次关系能够为众多的智能服务系统提供帮助。
本次评测任务输入实体列表以及概念（类型）列表，输出为实体-概念之间的类型关系以及概念与概念-概念之间的上下位关系，前者是后者的子概念。本任务共公开20000左右实体，1000左右概念。
评测时间
2020年3月20日 – 2020年9月30日
负责人
秦兵（哈尔滨工业大学）、刘铭（哈尔滨工业大学）
王必聪（哈尔滨工业大学）、佘琪星（哈尔滨工业大学） 、张裕舟（哈尔滨工业大学）
奖励设置
一等奖（1名），5,000元
二等奖（1名），3,000元
三等奖（1名），2,000元
任务网址
https://www.biendata.xyz/competition/ccks_2020_7_2/
06 中文司法阅读理解任务
“讯飞-法研杯” 中文司法阅读理解
任务简介
法律智能研究旨在赋予机器理解法律文本的能力。近些年来，随着以裁判文书为代表的司法大数据不断公开，以及自然语言处理技术的不断突破，如何将人工智能技术应用在司法领域，来提高司法人员在案件处理环节的效率逐渐成为法律智能研究的热点。
中国计算语言学大会（CCL 2020）与中国司法人工智能挑战赛（CAIL 2020）联合举办“讯飞-法研杯”中文司法阅读理解评测。在CAIL 2019阅读理解评测基础上，本年度中文司法阅读理解评测体现两大新特点：（1）文书种类由民事、刑事扩展为民事、刑事、行政；（2）问题类型也由单步预测扩展为多步推理，难度有所升级。对于给定问题，只通过单句文本很难得出正确回答，系统需要结合多句话通过推理得出答案。
本任务技术评测训练集包括两部分，一部分为去年的CAIL 2019司法阅读理解评测训练集，一部分为重新标注的约3000个问答对，其中民事、刑事、行政各1000个问答对，均为需要多步推理的问题类型。
评测时间
2020年5月15日-2020年9月07日
负责人
伍大勇（哈工大讯飞联合实验室）
崔一鸣（哈工大讯飞联合实验室）
胡 振（中国司法大数据研究院）
王宝鑫（哈工大讯飞联合实验室）
奖励设置
一等奖（1名），15,000元
二等奖（2名），各7,500元
三等奖（4名），各5,000元
任务网址
http://cail.cipsc.org.cn/instruction.html