第五届中文语法缺点自动诊断大赛(Chinese Grammatical Error Diagnosis,简称 CGED)刚在澳大利亚墨尔本举办。
本届CGED评测的参赛者可谓高手如云,团队包括中国社科院、阿里巴巴、北京大学、哈工大讯飞联合实验室(下文简称HFL)等,终极由HFL竞得冠军。
而上一届的冠军是阿里巴巴团队。

外国人写的中文错句做考题

新增“语病改动”项获最高分

写完一篇作文,语文老师批改时从里面选出多余的词、短缺的词、利用不当的表述、以及语序不通的表述,然后逐一改正过来。
这样的场景,现在已经成为一场天下性的比赛——第五届中文语法缺点自动诊断大赛(简称CGED)(比赛官网:http://www.cged.science)。
今年第五届的评测大会于上周四(2018年7月19日)在澳大利亚墨尔本举行,这场比赛终极由哈工大讯飞联合实验室摘得桂冠。

AI也能改病句科大年夜讯飞摘得中文语法缺点自动诊断大年夜赛桂冠

比赛办法是,主理方挑选了一些外国人写作的中文句子片段,让参赛者通过人工智能算法技能对个中的语法语义缺点进行识别并进行系统性能评估。

今年共13个团队参加CGED评测

所选“考题”有四种缺点类型,详细包括多词、缺词、用词不当和语序不当。

比赛从四个维度对参赛者的能力进行评估:语病识别(即:识别句子是否有缺点)、语病分类(识别详细的缺点类型)、语病定位(识别缺点的位置和类型)、语病改动(对付缺词和错词,供应改动的建议)。
一共有13个团队参加了这项比赛。

在这四项成绩中,哈工大讯飞联合实验室得到了后三项的第一名以及第一项的第二名,总体排名第一,首次参赛便摘得冠军。

值得一提的是,去年的比赛只有三项成绩,第四项“语病改动”是今年才增加的比赛分项。
和去年比较,除了“指出问题”,还供应“办理答案”,其难度更上一级。
在“语病改动”的任务中,在“第一候选”或“前三候选”项,HFL分别得到0.1723分和0.2527分,以绝对领先的成绩排第一名。
也便是说,在13个参赛团队中,HFL做语法改错题成绩最棒。

为什么可以在“语病改动”任务中斩获佳绩?

科大讯飞研究院北京分院副院长、哈工大讯飞联合实验室主任助理付瑞吉剖析,由于参赛系统采纳了端到真个神经网络模型与词汇点互信息相结合,将语病位置空出,根据高下文以及语病信息对付该位置精确的词汇进行推测。
拥有极强探索精神的你,可以直接英语论文穷究个中事理(链接:http://www.aclweb.org/anthology/W18-3707)

纠错语法AI冠军如何出身?

通过神经网络序列标注模型天生

怎么区分“悄悄的顿河”与“悄悄地等待”这两个短句中,“的”和“地”有何差异?哈工大讯飞联合实验室出品的AI神器就能做得到!
靠的是对神经网络序列标注模型BiLSTM-CRF进行改进。

付瑞吉剖析,这次HFL的AI可以得到冠军,有赖于对神经网络序列标注模型BiLSTM-CRF进行改进,包括底层的全体模型、单模型内部的领悟、模型外的领悟三大板块。
详细而言——

第一,将词向量、统计、先验的语法知识相领悟,如汉语措辞习惯用法等统计特色,比如“悄悄的顿河”和“悄悄地等待”中构造助词“的”和“地”的利用会根据高下文的词性决定;

第二,采取模型内部领悟的技能,将多个BiLSTM单模型的输出加权领悟,再经由CRF打算终极结果;

第三,采取了模型选取、模型排序等外部领悟方法,发挥了不同模型的上风。

总体来说,这三项“黑科技”让哈工大讯飞联合实验室出品的AI可以得到更好的语感,从而摘冠。

中文比英文语病纠错难度大得多

语病纠错运用前景广泛

须要解释的是,在语病纠错领域,中文比英文难度大得多。
这紧张由两个缘故原由决定的:第一,英语语法规范,有严格的主谓宾;第二,英文积累的语料丰富,剑桥大学已经积累了上千万个句子。

相较之下,中文语法灵巧,语病检测的技能难度高得多,而且目前参加评测的语料库只有3万多个句子,语料量亟待扩充。

以是,目前英语语法纠错已经有成熟的运用,而中文的语法纠错还处于不断积累和探索的阶段。
从现在的评测结果来看,目前的技能指标还比较低,离实际运用尚需时日。

值得期待的是,无论是学习外语,还是文稿的错字校正,这次参赛获奖的语病检测和改动技能未来都将有广泛的运用前景。

据悉,为了推动这项技能的发展,赛本家儿办方已经将精心标注的历届比赛数据全部开源,付瑞吉说,“我们对主理方的科学奉献精神表示感谢!
也希望更多的研究者能够参与到该任务中来,共同推动技能进步”。

HFL“牛”在哪里?

布局“讯飞超脑”让机器能理解会思考

哈工大讯飞联合实验室(HFL)是科大讯飞针对“讯飞超脑”项目操持,重点引进和布局的核心研发团队之一,由科大讯飞AI研究院与哈尔滨工业大学社司帐算与信息检索研究中央(HIT-SCIR)在2014年共同创办。

根据联合实验室培植方案,双方将在措辞认知打算领域进行长期、深入互助,详细开展阅读理解、自动阅卷、类人答题、人机对话、语音识别后处理、社会舆情打算等前瞻课题的研究。

研究重点将打破深层语义理解、逻辑推理决策、自主学习进化等认知智能关键技能,支撑科大讯飞实现从“能听会说”到“能理解会思考”的技能超过,并环绕教诲、法律、金融、人机交互等领域实现科研成果的规模化运用。
目前,HFL有语文评阅、阅读理解、智能法律、社司帐算等研究方向。

2017年7月、10月以及2018年1月,哈工大讯飞联合实验室的阅读理解研究组(HFL-RC)在业内公认的机器阅读理解顶级赛事斯坦福SQuAD寻衅赛中先后夺得三次第一名。
2018年2月,得到国际语义评测(SemEval 2018)阅读理解任务第一名。

这次得到CGED大赛的是HFL语文评阅研究组,其研发的作文自动评阅技能通过自动学习人类专家的评分标准,对纸笔考试作文从字迹工致度、词汇丰富性、句子畅通度、文采、篇章构造、立意等多个维度综合评价。
目前,作文自动评阅技能以赞助人工进行评分质检等运用办法,已在全国多地考试中运用,覆盖考生数百万人。

CGED大赛【考题类型】

看看你强还是AI强?

1.M(missing word)错词

缺点:人降服了饥饿,才努力为了下一代做更好的、更康健的东西。

精确:人降服了饥饿,才能努力为了下一代做更好的、更康健的东西。

2.R(redundant word) 多词

缺点:我根本不能理解这妇女辞职回家的征象。
在这个时期,为什么放弃自己的事情,就回家当家庭主妇?

精确:我根本不能理解妇女辞职回家的征象。
在这个时期,为什么放弃自己的事情,就回家当家庭主妇?

3.S( word selection) 用词不当

缺点:我根本不能理解妇女辞职回家的征象。
在这个时期,为什么放弃自己的事情,就回家当家庭主妇?

4.W(word order)语序不当

缺点:饥饿的问题也是该当办理的。
天下上每天由于饥饿很多人去世亡。

精确:饥饿的问题也是该当办理的。
天下上每天很多人由于饥饿去世亡。

科大讯飞AI

连获多项“天下第一”

2017年,国际语音合成大赛全新无监督Machine Learning任务第一名;

2017年-2018年,三次刷新机器阅读理解领域威信评测SQuAD天下记录;

2017年10月,刷新自动驾驶领域威信国际评测Cityscapes天下记录;

2018年,声音模拟领域 Voice Conversion Challenge得到第一名;

2018年2月,机器阅读理解领域第十二届国际语义评测比赛(International Workshop on Semantic Evaluation, SemEval 2018)第一名;

2018年3月,在由国际医学影像顶级会议ISBI举办的IDRiD眼底图剖析竞赛中,科大讯飞在最表示机器赞助年夜夫诊断能力的病灶分割任务中最难的子项“MA分割任务”得到第一;

2018年4月,在由国际学术顶会ICPR举办的图文识别寻衅赛 MTWI Challenge中,科大讯飞与中科大语音及措辞国家工程实验室联合团队在全部三项比赛任务上得到第一;

2018年7月,在Blizzard Challenge 2018国际语音合成大赛的比赛中,科大讯飞报送的参赛系统摘得10个测评打分项目中的9项第一,成为“最全能的冠军”,科大讯飞已在该项比赛中连续十三年夺冠。

【】宾彤霞

【图片】受访企业供图

【校正】符如瑜

【作者】 宾彤霞

【来源】 南方报业传媒集团南方+客户端