现在，一项新的研究揭示了神经网络经历就寝阶段，并帮助预防这种健忘症的新方法。
人工神经网络面临的一个紧张寻衅是“灾害性遗忘”（catastrophic forgetting）。当它们去学习一项新任务时，会有一种不幸的方向，即溘然完备忘却他们以前学到的东西。实质上，新学到的知识会覆盖过去的数据。
比较之下，人类的大脑能够终生学习新任务，而不会影响其实行先前影象的能力。在早有的研究表明，当一轮又一轮的学习穿插着就寝时，人脑的学习效果最好。就寝显然有助于将近期经历融入长期影象中。
“重组影象实际上可能是生物体须要经历就寝阶段的紧张缘故原由之一，”加州大学圣地亚哥分校的打算神经科学家 Erik Delanois 说道。
那 AI 是否可以睡觉呢？此前的一些研究试图通过让 AI 仿照就寝来办理灾害性遗忘。例如，当神经网络学习一项新任务时，一种被称为交错演习的策略会同时向机器供应它们之前学习过的旧数据，以帮助它们保留过去的知识。这种方法之前被认为是在模拟大脑在就寝时的事情办法，不断重播旧的影象。
然而，科学家们曾假设交错演习须要在神经网络每次想要学习新事物时，为其供应最初用于学习旧技能的所有数据。这不仅须要大量的韶光和数据，而且彷佛也不是真正的大脑在真正的就寝中所做的事情——生物既不会保留学习旧任务所需的所有数据，睡觉时也没有韶光重播所有这些内容。
在一项新研究中，研究职员剖析了灾害性遗忘背后的机制，以及就寝对付预防这种遗忘中的效果。研究职员没有利用传统的神经网络，而是利用了一种更靠近仿照人脑的“脉冲神经网络”。
在人工神经网络中，被称为神经元的组件被输入数据，并共同办理一个问题，例如识别人脸。神经网络反复调度突触(神经元之间的联系），并不雅观察由此产生的行为模式是否能更好地找到办理方案。
随着韶光的推移（不断演习），网络会创造哪些模式最适宜打算结果。末了，它采取这些模式作为默认模式，这被认为是部分模拟了人脑的学习过程。
此图代表了抽象突触空间中的影象及其在就寝和不就寝时的蜕变
在大多数人工神经网络中，神经元的输出是随着输入的变革而不断变革的数字。这大致类似于生物神经元在一段韶光内可能发出的旗子暗记数量。
比较之下，在脉冲神经网络中，一个神经元只有在给天命量的输入旗子暗记后，才会产生输出旗子暗记，这一过程是对真正生物神经元行为的真实再现。由于脉冲神经网络很少发射脉冲，因此它们要比范例的人工神经网络传输的数据更少，原则上也须要更少的电力和通信带宽。
正如预期的那样，当脉冲神经网络学会在网格中创造水平粒子对，然后被演习去探求网格中垂直粒子对时，它显示出灾害性的遗忘。然而，在之后的几轮学习后，研究职员让脉冲神经网络经由一段韶光间隔，参与学习第一个任务的神经元凑集被重新激活。这更靠近神经科学家目前认为的就寝过程。
大略来说便是，脉冲神经网络使得之前学习过的影象痕迹能够在离线处理就寝期间自动重新激活，并在不受滋扰的情形下修正突触权重。
该研究利用带有强化学习的多层脉冲神经网络来探索将新任务演习周期与类就寝自主活动周期交错，是否可以避免灾害性遗忘。值得把稳的是，该研究表明，可以通过周期性地中断新任务中的强化学习（类似就寝阶段的新任务）来预防灾害性遗忘。
捷克科学院打算机科学研究所的打算神经科学家 Pavel Sanda 表示“有趣的是，我们没有明确地存储与早期影象干系的数据，以便在就寝期间可以人为地重放它们，以防止遗忘。”
科学家们创造，他们的策略有助于防止灾害性的遗忘。在经历了类似就寝的阶段后，脉冲神经网络能够实行这两项任务。他们认为，此项策略有助于保存与新旧任务干系的突触模式。
“我们的事情展现了开拓受生物学启示的办理方案的实用性”Delanois 说道。
研究职员指出，他们的创造不仅限于脉冲神经网络。Sanda 表示，即将开展的事情表明，类似就寝的阶段可以帮助“战胜标准人工神经网络中的灾害性遗忘”。
该研究于 11 月 18 日揭橥在《 PLOS Computational Biology 》杂志上。
参考链接：https://spectrum.ieee.org/catastrophic-forgetting-deep-learning