作者 | 邹 威
编辑 | 丛 末
论文地址：https://arxiv.org/pdf/1911.03677.pdf
1
背景先容
对抗样本（adversarial example）是近年来用于探索深度学习系统鲁棒性的主要工具。对抗样本通过对普通测试输入进行眇小扰动（以不改变人期望输出为准），并以劣化系统输出为目标得到。
当前神经机器翻译（neural machine translation, NMT）系统在实用场合常常会涌现用户无法计算的缺点，这些缺点乃至存在悲观的社会影响。而基于用户反馈进行的掩护常日也是在这些缺点产生后才能进行，开拓者更希望在上线前就能进行大量的测试进行预防性掩护。直接的鲁棒性测试常日须要专家体例大量对应的测试数据并进行标注，但对付机器翻译这类任务而言本钱过高。因此我们可以通过利用已有平行句对的输入产生对抗样本的办法，沿用原来的输出，从而快速得到大量可用于鲁棒剖析的平行数据。
图1: 对人名的变动影响了翻译的预期结果（此样例当前已被修复）
2
文本对抗样本及难点
对抗样本的两个核心为：保持语义限定，同时达成系统性能恶化。不同于图像处理（computer vision, CV）的对抗样本由直策应用梯度优化的方法得到，文本由于其表示的离散性子无法直接套用。当前生产文本对抗样本的模式分为两大类：
对图像对抗样本天生方法的离散化改进。即将文本嵌入（embedding）视为图像的像素输入，利用k-PGD（k round of projected gradient descent）探求一组对嵌入的扰动δ，之后通过采样的办法映射为详细的文本表示，但此模式的毛病在于任意的扰动并不能担保存在实词对应，产生的结果常日被视为“虚拟对抗”（virtual adversarial）。
将对抗天生的过程视为搜索优化问题（search optimization），即为每个词修正动作定义一个丢失，通过优化整体的丢失来找到一组修正，从而得到样本。但此模式须要针对对抗目标设计间接的丢失函数（常日是基于梯度的丢失），因此，此类方法除了特色工程（feature engineering）在带噪数据上限定语义和实现对抗目标的局限性，还面临搜索优化的打算开销问题。此外，如果对抗编辑改变了输入的切分方案，搜索所依赖的单步分数会失落去意义。
3
办理思路
根据上文的归纳，我们总结问题的核心在于：
须要直接针对离散文本建模对抗天生；
我们无法预知缺点特色，天生对抗样本是无监督学习；
我们无法直接建模对抗样本天生中对带噪数据的语义限定。
实质上，对抗样本的天生还可以被视为一个受限的马尔可夫决策过程（markovian decision process, MDP），我们可以从左到右编辑每个位置，每个编辑决策取决于已有修正对语义的影响程度和对系统输出的劣化期望。对付MDP的无监督学习问题，我们可以利用强化学习（reinforcement learning, RL）建模学习值函数估计，通过对受害系统的不断交互反馈得到对抗样本的天生策略。不同于一样平常的梯度优化，强化学习并不受限于优化离散建模，因此适宜建模本问题的优化。
再者，强化学习是基于「探索&利用」（explore & exploit）事理进行的无监督学习，当前已在许多人工智能寻衅中取得很好的成绩。其核心在于建模环境交互，以演习能完成特定目的的智能体（agent）。一个直不雅观的例子便是flappy bird游戏，如下图所示，玩家（或智能体）须要根据图像状态产生动作，与环境（environment，env）交互；环境基于动作发生变动，并将更新后的状态和对动作的反馈（如游戏分数）返回给智能体。期间小鸟飞过柱子会得分，而撞柱子和落地都会闭幕游戏。智能体需根据正、负反馈选择强化有利于目标的策略（最大化游戏分数），终极达成学习。
图2: 强化学习进行flappy bird游戏
类似的，我们生产一句话的对抗样本，同样可以从左到右逐个token进行编辑动作，而编辑动作须要知足对抗样本定义的语义限定，类似于游戏中的障碍物会剖断game over。如此我们须要找到一组编辑，最大化完成编辑后翻译系统的指标丢失。
根据以上逻辑，我们就可以将受害的NMT系统作为环境的反馈之一，将其终极的测试性能丢失作为阶段性反馈。而对付带噪语义的限定，我们借鉴了天生对抗网络（generative adversarial network，GAN）的思想，利用一个自监督的句匹配（sentence matching）为演习agent供应存活/闭幕旗子暗记（survive/terminal signal）：即当前的原端和原始目标端进行二分类。演习此判别器（discriminator）也同GAN相同，随机将一半批次的句对利用当前agent进行编辑作为负样本，另一半则是不变作为正样本，环境的分类器须要间断性随着agent的学习更新，直至agent和环境的分类器达成博弈平衡，我们便得到了一个针对受害NMT系统产生对抗样本的天生器。同样类似于flappy bird中的柱子，当agent成功在限定条件下进行编辑，会将分类器的正类likelihood作为每个决策的survive reward，如此勉励其在知足语义的限定条件下进行对抗天生。
我们选择了A3C（asynchronous advantage actor critic）作为智能体的实现。如图3，即agent等分别含有用于决策的actor和值函数估计的critic，二者共享编码层，前者以二分类做输出，后者为单值输出。
图3: agent设计
我们的整体流程如图4所示，在每个演习周期中，我们会循环下述三个动作直至系统闭幕状态或者完成句子编辑：
环境会将当前句子的token和要修正的token作为agent的输入；
agent产生编辑动作修正原端；
环境中的discriminator对修正的句对评估survive/terminal旗子暗记，并产生单步反馈。
在agent保持survive完成一轮修正后，会终极得到环境中的NMT的测试性能丢失作为阶段反馈。
图4: 整体交互流程示意
对付编辑动作我们沿用了基于搜索的文本对抗事情，利用ε间隔以内的token作为每个token的candidate（没有候选的会利用UNK作为候选）。演习中为了强化学习的探索，会利用随机策略首先采样是否进行编辑，然后随机选择candidate更换；测试时为确定策略，会选择最佳的动作，并在critic为正时选择间隔最近的候选更换，以担保语义近似。
4
实验结果与剖析
对付受害系统，我们稽核了中英、英法、英德的Transformer和RNN-search翻译系统，演习对抗样本天生利用的数据也是演习翻译系统的平行数据。
我们选择了Michel et al. (2019) 基于梯度搜索（gradient search，GS）的方法作为基线比拟，同时利用随机噪声插入（random synthetic noise injection，RSNI）作为掌握组，比拟的指标同样参考Michel et al. (2019)， 须要稽核公式1的“每编辑的相对性能低落”（relative degradation，RD）：即翻译的BLEU相对低落比拟原端字符级BLEU的变革；此外由于我们无法利用分类对带噪数据进行语义评估，因此须要人工测评，采样双盲检讨语义相似度（human evaluation，HE），范围0-5。
公式1: 每编辑BLEU相对低落
不同于前任事情，我们的事情通过自监督的办法很好地平衡了语义近似度和攻击效果（表1），在坚持高HE的条件下达成攻击效果，而基线和对照组除了须要制订攻击比例，还每每会涌现为了降落系统指标，而产生严重语义变更的情形（表2）。
表1: 中英翻译上的对抗样本天生实验结果
表2: 基于梯度的搜索方法随意马虎为了实现攻击而明显改变语义
除了效果的上风之外，我们的方法在天生效率上比拟梯度搜索有绝对的上风。不同于梯度搜索，对付繁芜系统不同修正结果求导的时空开销，我们的agent只须要很小的系统开销直接对策略进行展开即可，如图5，我们的方法比拟基线，限定相同内存开销天生性能可以达到至少50倍以上。
图5: 限定内存的天生800句对抗样本的韶光比拟
得益于高效率的对抗天生，我们可以产生大量用于抗噪增广的数据对模型进行微调，如表3，我们产生了和演习语料等量的对抗样本进行直接微调演习，可以在对原测试极小的性能丢失下，极大强化在对抗数据上的性能。此外我们测试了模型微调前后对IWSLT的测试性能（IWSLT数据并不参与任何演习、微调），可以得到些微提升，解释我们的方法确实强化了模型的鲁棒能力。
表3: 利用大规模生产的对抗样本直接微调
由于我们的方法是基于对受害系统的不断交互反馈从而习得的攻击偏好，因此我们在不依赖缺点特色建模的条件下能通过这些偏好不雅观察系统的弱点。我们统计了攻击涉及的POS，比拟对照组RSNI（较随机均匀）和基线GS（有一定程度偏好）可以明显看出系统弱点（图6），比如各种命名实体（N）、数字（M）、后缀（K）等。
图6: 智能体对与中-英Transformer模型攻击的偏好
我们额外考试测验了将阶段反馈转置，并忽略会引入UNK的攻击动作来产生“对输入进行细微扰动但是能提高测试性能”的样本。虽然我们暂时无法提高测试的整体性能，但相称部分的样本可以成功达成测试优化。类似对抗样本，我们称其为“强化样本”（表4）。强化样本的意义在于它是不同于微调、须要改变模型参数的鲁棒性探索方向，且强化样本的形式不同于严格的文本预处理纠正，可以许可带噪声。
表4: 强化样本示例
5
总结
综上，我们通过利用强化学习建模针对机器翻译生产对抗样本，此方法差异于已有问题办理思路，在没有缺点特色建模的条件下，能高效生产特定系统的对抗样本，且可以被进一步用于系统的鲁棒性剖析和改进。此外，针对“强化样本”的征象，我们会在未来的事情中进一步探索，以求不同的强化系统鲁棒性能的方案。
招 聘
AI 科技评论希望能够招聘 科技编辑/ 一名
办公地点：北京
职务：以跟踪学术热点、人物专访为主
事情内容：
1、关注学术领域热点事宜，并及时跟踪宣布；
2、采访人工智能领域学者或研发职员；
3、参加各种人工智能学术会议，并做会议内容宣布。
哀求：
1、热爱人工智能学术研究内容，善于与学者或企业工程职员打交道；
2、有一定的理工科背景，对人工智能技能有所理解者更佳；
3、英语能力强（事情内容涉及大量英文资料）；
4、学习能力强，对人工智能前沿技能有一定的理解，并能够逐渐形本钱身的不雅观点。
感兴趣者，可将简历发送到邮箱：jiangbaoshang@yanxishe.com
点