哈工大SCIR 6篇主会/2篇Findings/1篇Demo 共9篇长文被EMNLP 2021录用
2021年09月15日
EMNLP 2021（The 2021 Conference on Empirical Methods in Natural Language Processing）将于2021年11月7日至11日以在线会议的形式举办。EMNLP是计算语言学和自然语言处理领域顶级国际会议之一，CCF B类会议，由ACL SIGDAT（语言学数据特殊兴趣小组）主办，每年举办一次。
哈尔滨工业大学社会计算与信息检索研究中心有九篇长文被录用，其中六篇被主会录用，两篇被Findings of EMNLP子刊录用，一篇被EMNLP System Demonstrations录用。下面是论文列表及介绍：
题目：Logic-level Evidence Retrieval and Graph-based Verification Network for Table-based Fact Verification
简介：面向表格的事实验证任务的目的是根据给定的表格数据来验证输入文本的正确性。在这个任务中，带有逻辑操作的符号推理起到了重要的作用。现有方法利用逻辑表达式来加强验证的过程，然而，由于在逻辑表达式获取的过程中缺少监督信号，模型会选择到一些伪逻辑表达式，这会导致模型无法捕捉到有用的逻辑操作。基于以上思考，我们将面向表格的事实验证任务定义为证据检索-推理的框架，通过将检索得到的逻辑表达式作为表格的补充证据，来避免生成无用的逻辑表达式。具体来说，首先，我们从给定的表格和文本中检索逻辑层面的证据来作为表格的补充输入；然后，我们构建了一个逻辑层面的图来捕捉实体与逻辑函数之间的逻辑关系；最后，基于我们构建的图，我们设计了一个基于图结构的网络来验证给定表格与文本之间的关系来得到最终验证结果。在大规模数据集TABFACT上的实验结果证明了我们提出方法的有效性。
开源代码：https://github.com/qshi95/LERGV
题目：Don’t be Contradicted with Anything! CI-ToD: Towards Benchmarking Consistency for Task-oriented Dialogue System
作者：覃立波，谢天宝，黄仕爵，陈麒光，徐啸，车万翔
简介：我们认为生成回复的一致性特性在神经网络为黑盒的对话模型中非常重要， 相比于开放域对话系统的一致性研究，任务型对话系统更为重要，因为它影响最终的用户实际体验。我们贡献了一个数据集，希望促进这块的研究，相比于大部分的开放域对话一致性工作，它有如下几个特点：(1) 考虑真实多轮对话，相比之前单轮一致性更真实(2) 考虑任务型对话系统特定的数据库是否一致的问题(3) 三种细粒度标注，帮助模型诊断当前回复是否与对话历史不一致，用户query不一致，还是对应的知识库不一致。我们将近期开源所有数据集，相关baseline代码。
开源代码：https://github.com/yizhen20133868/CI-ToD
题目：Learning to Rewrite for Non-Autoregressive Neural Machine Translation
简介：非自回归机器翻译由于其解码过程不依赖于之前翻译结果从而获得很高的推理速度，但是其翻译质量相对较差。近期许多工作将迭代式的解码策略引入非自回归机器翻译中，其通过多次优化先前的翻译结果从而提升最终翻译质量。但是，其中一个显著问题是在迭代式解码过程中这些方法并不能显示区分翻译结果中的错误。在本工作中，我们提出一个新的非自回归机器翻译架构，其可以学习改写翻译结果的错误内容。该架构使用一个定位模块识别翻译中的错误，而后使用另一个改写模块将其改写成正确翻译内容。此外，为了保证训练和迭代式解码过程中输入数据分布的一致性，我们采用迭代式的训练方法进一步提升模型的改写错误能力。在多个广泛使用的翻译数据上的实验结果显示，相比多个传统的迭代式非自回归方法，我们提出方法可以获得更好的翻译性能，同时显著的减少解码时间。
题目：Neural Natural Logic Inference for Interpretable Question Answering
简介：本文将多项选择问答任务转换成文本蕴含任务：将问题与候选项构成的陈述句视为假设（hypothesis），外部知识库视为前提（premise）。因此，任务转换为是否能够从外部知识库中找到一个前提，该前提能够蕴含假设。本文提出了一种神经-符号方法，通过将自然逻辑和神经网络相结合，使得模型的推理过程具有可解释性。相比于一阶逻辑，自然逻辑直接在自然语言上进行推理，无需进行一阶逻辑转换，避免了转换过程中的语义损失。由于自然逻辑的推理过程构成一个树状的层次结构，所以我们把前提和假设投影到双曲空间以获得更精确的表示。我们的方法在两个公开的数据集取得SOTA效果，而且自然逻辑固有的推理规则为模型的预测过程提供了解释。
开源代码：https://github.com/Shijihao/NeuNLI
题目：DuRecDial 2.0: A Bilingual Parallel Dataset for Multilingual and Cross-lingual Conversational Recommendation
简介：在本文中，我们构建了首个中英双语平行的包含多种对话类型、多领域和丰富对话逻辑(考虑用户实时反馈)的human-to-human对话推荐数据集DuRecDial 2.0，使研究人员能够同时探索单语言、多语言和跨语言对话推荐的性能差异。DuRecDial 2.0与现有对话推荐数据集的区别在于，DuRecDial 2.0中的数据项（用户Profile、对话目标、对话所需知识、对话场景、对话上下文、回复）都是中英平行的，而其他数据集都是单语设定。DuRecDial 2.0包含8.2k个中英文对齐的对话（总共16.5k个对话和255k个utterance），这些对话都是通过严格的质量控制流程，由众包人员标注而成。然后，我们基于DuRecDial 2.0，设定了5个任务(包含单语言、多语言和跨语言对话推荐)，并基于mBART和XNLG构建单语、多语和跨语言对话推荐基线，支持未来研究。实验结果表明，使用英语对话推荐数据可以提高中文对话推荐的性能。
题目：Allocating Large Vocabulary Capacity for Cross-lingual Language Model Pre-training
作者：郑博、董力、黄绍晗、Saksham Singhal、车万翔、刘挺、宋夏、韦福如
简介：与单语模型相比，跨语言模型需要更大的词表来充分表示所有语言。在近期的跨语言模型中，许多语言没有被分配足够的词汇量，导致这些语言不能被很好的表示。为此，我们提出了VoCap，该方法通过分别评估每种语言所需的词汇量来生成更大的多语言词表。然而，增加词汇量会减慢预训练速度，并使模型参数量更大。为了解决这些问题，我们首先提出了基于 k-NN 的目标采样（k-NN-based Target Sampling），通过估计Softmax 来加速大词表模型的预训练。同时我们减少输入和输出词向量维度以保持模型参数量不变。我们在XTREME上进行了实验，结果表明使用VoCap得到的多语言大词表有益于提升跨语言模型的性能。此外，基于 k-NN 的目标采样和减少词向量维度的策略减轻了增加词表大小的副作用，在实现了可比性能的同时大幅度提升了预训练速度。
开源代码：https://github.com/bozheng-hit/VoCapXLM
题目：Less Is More: Domain Adaptation with Lottery Ticket for Reading Comprehension
录用类别：Findings of EMNLP 子刊
简介：在本文中，我们提出了一种用于阅读理解的简单的小样本域适应方法。我们首先识别出基于 Transformer 的源域模型中的子网络。然后，使用目标领域上的标注数据来更新子网络的参数（占整个模型参数的一小部分）来进行领域迁移。为了获得更具迁移性的子网络，我们引入了自注意力归因来帮助识别子网络，通过这种方法，我们同时考量参数的结构化与非结构化重要性。实验结果表明，进行少样本领域迁移时，我们的方法在四个目标领域上优于微调全部参数及三个基线方法。此外，引入自注意力归因后，子网络包含了更多的来自重要的自注意力头（Self-Attention Head）的参数，提高了领域迁移的性能。进一步分析表明，除了利用较少的参数进行领域迁移外，子网络的选择对有效性有非常重要的影响。
开源代码：https://github.com/haichao592/ALTER
题目：Retrieve, Discriminate and Rewrite: A Simple and Effective Framework for Obtaining Affective Response in Retrieval-Based Chatbots
录用类别：Findings of EMNLP 子刊
简介：获得情感回复是建立共情对话系统的关键步骤。这个问题在生成式聊天机器人中已经有很多研究，但是在检索式聊天机器人中还未受到广泛关注。检索式聊天机器人中的现有相关工作基于”检索-重排序”框架，通常会优先满足情感目标而牺牲回复相关性。在本工作中，我们提出了一个简单有效的”检索-判别-重写”框架来解决这个问题。该框架在原有检索机制的基础上增加了两个新模块，其中新的判别模块用于判断高质量检索回复的情感，而新的重写模块用于实现对情感不一致回复的微调，三者共同作用使得回复情感和内容可以兼顾。此外，该领域目前缺乏合适的公开数据集，本工作在豆瓣对话语料库的基础上标注了一个新的情感回复数据集，以支持实验和后续工作的开展。实验结果表明，现有”检索-重排序”方法在情感目标满足时回复质量严重下降，而我们的”检索-判别-重写”方法则有效解决了这个问题，并在大多数评价指标上都明显优于现有方法。
题目：N-LTP: A Open-source Neural Chinese Language Technology Platform with Pretrained Models
录用类别：EMNLP System Demonstrations
简介：在本文中，我们介绍了 N-LTP，这是一个开源中文信息处理平台，支持六项基本的中文 NLP 任务：词法分析（分词、词性标注和命名实体识别）、句法分析（依存句法分析）、和语义分析（语义依存分析和语义角色标注）。与现有最先进的工具包（例如 Stanza）对每个任务采用独立模型不同，N-LTP 采用共享预训练模型的多任务框架以在不同任务中共享知识。此外，我们进一步引入了单任务模型到多任务模型的知识蒸馏，以期多任务模型超越单任务教师模型，并在多个任务上取得SOTA结果。最后，我们提供了一系列易于使用的 API 和可视化工具，使用户更容易使用并直接查看处理结果。
开源代码：https://github.com/HIT-SCIR/ltp
