第十五届全国机器翻译大会机器翻译评测

欢迎参加第十五届全国机器翻译大会机器翻译评测(CCMT 2019),希望本次评测能够促进国内外科研单位、产业界相关单位之间的学术交流和联系,共同推动机器翻译研究和技术的发展。以下是关于评测的一些重要信息:

一、评测简介

评测时间:第十五届全国机器翻译大会(CCMT 2019)将于2019年9月27日至29日在中国江西南昌举行。

语言种类:评测涉及的语言对包括中文、日语到英语;英语、蒙语、藏语、维语到汉语。

评测内容:CCMT 2019 机器翻译评测包括:

1. 新增语音翻译任务评测;

(语音翻译评测样例数据已经开放下载,http://ai.baidu.com/broad/subordinate?dataset=bstc)

2. 翻译质量评估任务升级为包含句子级和词汇级两个质量评估项目,评测范围更加完善;

3. 其余翻译任务与CWMT2018 保持一致,包括由CCMT与WMT2019合作组织的汉英、英汉新闻领域的翻译评测;维汉*、蒙汉、藏汉的翻译评测;以及专利领域的日、汉、英多语言翻译评测等。

(*该项目训练数据有所变化,相对2018年减少了部分训练数据)

数据来源:本次评测由主办方提供全部训练、开发、测试集数据,与上次评测相同,本次评测不再设置统一发放数据的时间,各参评单位报名之后即可获取数据进行系统训练,请有意向参与的单位尽快报名。

组织信息:

评测主办机构:中国中文信息学会

评测组织单位:中国中文信息学会机器翻译专业委员会

评测主页: http://ccmt2019.jxnu.edu.cn/page/main1923/pctz.htm

会议主页: http://ccmt2019.jxnu.edu.cn

本次评测的具体信息请参见评测大纲及其附件。

二、评测日程
日期
评 测 环 节
2019.03.15 发布评测大纲,评测报名开始。评测组织方向报名单位提供训练集、开发集数据,以及BLEU-SBP打分程序、格式检查程序(通过ftp方式发放)
2019.04.20 报名截止,停止发放训练集、开发集数据
2019.04.20 CCMT评测平台上线(估计时间)
2019.06.1 10:00am

评测组织方发放多语言翻译任务的日英项目的测试数据;

评测组织方发放翻译质量评估任务的汉英、英汉机器翻译四个项目的测试数据。
2019.06.7 10:00am

参评单位提交多语言翻译任务的日英项目的翻译结果;

参评单位提交翻译质量评估任务的汉英、英汉机器翻译四个项目的翻译结果。
2019.06.8 10:00am

评测组织方发放翻译任务的汉英、英汉新闻领域机器翻译两个项目的测试数据;

评测组织方发放维汉新闻领域、蒙汉日常用语、藏汉政府文献机器翻译三个项目的测试数据;
2019.06.13 10:00am 评测组织方发放语音翻译评测项目的测试数据
2019.06.15 10:00am

参评单位提交翻译任务的汉英、英汉新闻领域机器翻译两个项目的翻译结果;

参评单位提交维汉新闻领域、蒙汉日常用语、藏汉政府文献机器翻译三个项目的翻译结果;

2019.06.20 10:00am 参评单位提交语音翻译评测项目的测试数据
2019.07.01 参评单位提交评测技术报告(参照CCMT学术论文投稿要求和方法)
2019.07.20 评测组织方向参评单位通知初步评测结果
2019.08.15 评测组织方返回评审结果
2019.08.31 评测技术报告终稿提交
2019.9.27-9.29 会议召开,会上正式报告评测结果并进行研讨

三、评测报名

CCMT 2019的参评单位必须填写评测报名表和评测协议,通过邮寄或者电子邮件的方式将报名表和评测协议发送给评测组织方。报名表需要有负责人正式签字或者单位盖章。本次评测不收取注册费用,请所有参评单位至少派一人参加第十五届全国机器翻译大会(CCMT 2019)并进行会议交流。

本次评测部分项目还需要和第三方签署授权协议,全部完成后才能得到评测数据。具体项目包括:

◆词汇级翻译质量估计项目数据由阿里巴巴(中国)有限公司提供,需签署的单独数据授权协议(附件1-1);

◆语音翻译评测任务数据由百度公司提供,需签署的单独数据授权协议(http://ai.baidu.com/broad/);

(语音翻译评测样例数据已经开放下载http://ai.baidu.com/broad/subordinate?dataset=bstc)

报名表及相关协议请寄至:

联系人: 杨沐昀 电子邮件:yangmuyun *AT* hit.edu.cn

通信地址:哈尔滨市南岗区西大直街92号哈尔滨工业大学逸夫楼111房间

邮政编码:150001 电话:15636831219



评测相关文件下载:

   CCMT2019评测大纲

   附件1:报名表及评测协议

   附件1-1-CCMT2019词汇级翻译质量估计评测数据协议

   附件2:机器翻译任务数据

   附件3:语音翻译任务数据格式

   附件4:翻译质量评估任务数据格式

   附件5:技术报告要求

   附件6:评测数据一览