哈工大信息检索研究室参加TAC’2008 Update Summary评测任务并取得好成绩

Update Summary评测任务由文本理解会议DUC（Document Understanding Conference）提出，并在美国高级研究计划署ARDA的资助下，由NIST于2007年1月举办了首次评测。它是传统文摘评测的一个自然延伸和扩展，区别在于其处理的对象是跨时段、带有时序进化的动态文档集。

2008年，该项任务成为TAC(Text Analysis Conference)评测中的子任务之一，DUC评测停办。今年的Update Summary评测共有33家单位参赛，每家最多可以提交3个系统，总共提交了72个系统。官方采用三种评价方法，即：ROUGE、PYRAMID、BE。

在秦兵老师的指导下，我研究室博士生贺瑞芳、本科生刘杨代表实验室于2008年7月参加了此次评测。在PYRAMID评价体系下，我实验室提交的系统有三项指标名列第1，分别为：average modified (pyramid) score、average numSCUs和macroaverage modified score with 3 models；在ROUGE和BE评价体系下，我们的最好名次分别为第13和17。