语言技术平台

语言技术平台(Language Technology Platform, LTP)是哈工大社会计算与信息检索研究中心(HIT-SCIR)历时多年研发的一整套高效、高精度的中文自然语言处理开源基础技术平台,目前已发布 LTP v4 版本。该平台集词法分析(分词、词性标注、命名实体识别)、句法分析(依存句法分析)和语义分析(语义角色标注、语义依存分析)等多项自然语言处理技术于一体。其中句法分析、语义分析等多项关键技术多次在CoNLL国际评测中获得了第1名。此外,平台还荣获了2010年中国中文信息学会科学技术一等奖、2016年黑龙江省科技进步一等奖。国内外众多研究单位和知名企业通过签署协议以及收费授权的方式使用该平台。

传统的自然语言处理方法采用pipeline的方式来处理多个任务,但是这种方法忽略了不同任务之间的共享知识,占用的内存较大,同时也一定程度上影响了处理速度。因此我们基于多任务学习框架进行统一学习,使得全部六项任务可以共享语义信息,达到了知识迁移的效果。既有效提升了系统的运行效率,又极大缩小了模型的占用空间。

另外为了保持常用任务的处理速度,我们使用 Rust 重写了基于感知机的算法,准确率与 LTP v3 版本相当,速度则是 LTP v3 的 3.55 倍。相较于深度学习模型速度更快,但是精度有所下降。

评测成绩

相关资源

论文列表

N-LTP: An Open-source Neural Language Technology Platform for Chinese

Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 42--49, 2021.

Che, Wanxiang and Feng, Yunlong and Qin, Libo and Liu, Ting

N-LTP: An Open-source Neural Language Technology Platform for Chinese

Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 42--49, 2021.

Che, Wanxiang and Feng, Yunlong and Qin, Libo and Liu, Ting

LTP: A Chinese Language Technology Platform

Coling 2010: Demonstrations, 13--16, 2010.

Che, Wanxiang and Li, Zhenghua and Liu, Ting

LTP: A Chinese Language Technology Platform

Coling 2010: Demonstrations, 13--16, 2010.

Che, Wanxiang and Li, Zhenghua and Liu, Ting