近年来,人工智能(AI)技能推动生产力快速发展,但同时也因技能滥用导致各种问题。
为监督AI技能利用,如今市情上不乏各种用于检测AI天生内容(AIGC)的工具,如普林斯顿大学学生开拓的GPTZero、斯坦福大学研究团队推出的DetectGPT等。我国一些研究团队也陆续发布各种检测工具,如西湖大学文本智能实验室研发的Fast-DetectGPT。
人类的创作与AIGC之间存在哪些差异?AI检测工具如何根据差异进行识别?AI检测工具如何应对越来越聪明的大模型?带着这些问题,采访了有关专家。
AI创作套路化明显
“虽然大模型在不断发展迭代,但到目前为止,AIGC与人类的创作在用词用语、逻辑语法等方面依旧存在明显差异。”Fast-DetectGPT研发者之一、西湖大学文本智能实验室博士生鲍光胜说。
在用词用语上,AIGC有相对固定的偏好。“不难创造,一些词语会反复在语段中涌现。”鲍光胜举例说,有研究创造,大模型运用于英语学术论文写作时,“delve”(深入研究)一词的利用频率大大提高,这是由于大模型习惯用这个词对语句进行润色修正。
在逻辑语法上,AIGC惯常利用的一些语法搭配办法,在人类创作中可能并不常见。“受模型建模的影响,AIGC有相对固定的行文逻辑和表述模式,且这些模式会不断地被重复。人类在行文上则更为灵巧,没有固定套路。”鲍光胜说。
北京大学信息管理系师生比较了AI天生与学者撰写的中文论文择要。研究结果同样显示,AI天生的择要具有较高同质性和较强写作逻辑性,并惯用归纳总结等学术话语体系;学者撰写的择要则具有显著个性化差异,利用凸浮现实含义的搭配较多,并常用与国家政策密切干系的词语。
哈尔滨工业大学一名研究生向讲述了他利用大模型的实际感想熏染:“当我给大模型供应一些材料让它扩写,它每次都用相同的套路——把给定的材料拆解开,分为多少点论述。总体来说觉得它写得比较“僵”。”
AIGC相对套路化的创作,可能会影响人类的用语习气。“随着越来越多人用AI创作或润色笔墨,人类会受到潜移默化的影响,这或将影响全体社会对措辞的利用。”鲍光胜说。
三种路径识别文本
如何准确识别AI天生内容?鲍光胜先容,目前紧张有三种技能路径进行检测,分别是模型演习分类器法(也被称为监督分类器法)、零样本分类器法、文本水印法。“三种检测方法实质上都是利用AI检测AI,且各有利害。”鲍光胜说。
模型演习分类器法,首先要网络大量人类创作内容与AIGC,然后以此为根本演习一个能区分两类内容的分类器。“这是目前被广泛利用的一种方法,但缺陷较为明显。”鲍光胜阐明,用于演习分类器的数据有限,很难覆盖所有类型和措辞的文本。分类器在演习数据覆盖的文本领域或措辞上检测准确率较高,反之准确率则较低。而且,模型演习每每须要较高本钱,数据规模越大,演习本钱越高。
比较之下,零样本分类器法不须要对机器进行演习,也无需网络数据。它利用已演习好的大模型,抽取措辞模型天生文本的特色,据此来差异人类与机器。“似然函数是零样本检测法中比较常用的基准之一,它可以大略理解为一段文本在某个模型的建模分布中涌现的概率。概率是一种特色,不同的概率表示了人类创作内容与AIGC的差异。”鲍光胜进一步阐明,“零样本分类通过综合考虑多种函数特色来区分人类创作内容与AIGC。”
如今,很多大措辞模型险些覆盖了互联网上的全部数据。因此,比较于模型演习分类器,零样本分类器在不同领域、不同措辞的文本上表现较为同等。
不过,零样本分类器也存在明显缺陷。一方面,现有零样本分类器依赖天生文本的源措辞模型进行检测,这意味着如果是未知源模型天生的文本,分类器就无法准确检测。另一方面,为提高检测准确率,零样本分类器每每须要多次调用模型,这增加了模型的利用本钱和打算韶光。
“文本水印法则是一类“主动方法”。差异于前两类方法,它不是检测已天生的文本,而是在AI天生文本时加入水印。人类虽然看不出这些水印,但却能通过技能手段检测出来。”鲍光胜说,文本水印法的准确率较高,但缺陷在于水印可能被人为弱化乃至移除。此外,对付无法访问模型内部构造的大措辞模型,技能职员可能无法在天生内容时成功加入水印。
检测技能需不断改进
“未来,我们要不断更新、完善现有技能,力争实现快速、准确、低本钱检测,在大模型这把“矛”越来越锋利的同时,让检测技能这面“盾”更为坚固。”鲍光胜说。
理解到,为提升检测准确性,目前市情上的商用AI检测软件大多领悟了多种技能手段。国内外研究团队也在进一步完善干系技能。
例如,西湖大学文本智能实验室团队在DetectGPT根本上研发的Fast-DetectGPT模型,可提升AI检测准确性,缩短检测韶光。“Fast-DetectGPT与其他零样本分类器事理同等。个中一个创新点在于,我们提出通过条件概率曲率指标进行检测。”鲍光胜说,“与DetectGPT比较,Fast-DetectGPT在速率上提升340倍,在检测准确率上相对提升约75%。”
对AI检测AI的前景,有两种截然不同的不雅观点。一种不雅观点认为,未来AIGC将会与人类创作极为相似,以至于检测工具无法判别。还有一种不雅观点认为,随着技能发展,检测技能或将赶超大模型技能,实现对AIGC的有效识别。
“目前,无论是AI天生的笔墨、图片还是视频,都在技能可识别的范畴之内。相较于笔墨,图片和视频乃至可以直接被专业人士肉眼识别。期待未来通过大模型技能的不断进步,推动检测技能发展。”鲍光胜说。
来源:科技日报