约翰·J.霍普菲尔德是美国物理学家、神经科学家，普林斯顿大学教授。霍普菲尔德 1933 年出生于美国伊利诺伊州，1958 年得到康奈尔大学博士学位。他在 1982 年发明了著名的霍普菲尔德神经网络（Hopfield neural network），这是第一个能够储存多种模式，并具备影象功能的神经网络模型，是神经网络发展早期的一座主要的里程碑。霍普菲尔德神经网络的出身为递归神经网络的发展铺平了道路，其提出的能量最小化事理，对付办理优化问题产生了深远影响。
杰弗里·E.欣顿是英裔加拿大打算机科学家、神经科学家，加拿大多伦多大学教授，前“谷歌大脑”卖力人。欣顿 1947 年出生于英国伦敦，1978 年得到爱丁堡大学人工智能博士学位。欣顿是神经网络早期（且一贯没有放弃）的主要研究者之一。20 世纪 80 年代，他为将反向传播算法（backpropagation）引入多层神经网络演习做出了主要贡献， 并发明了“玻尔兹曼机”——一种在霍普菲尔德神经网络的根本上发展而来的随机递归神经网络。在 2012 年，欣顿及两位学生 Alex Krizhevsky、Ilya Sutskever 发明的AlexNet在打算机视觉竞赛 ImageNet 中以压倒性上风取得冠军，创造了深度神经网络发展的里程碑，并引发了大量采取卷积神经网络（CNN）和图形处理器（GPU）加速深度学习的研究。欣顿与 Yoshua Bengio 和 Yann LeCun 并称为“深度学习三巨子”、“AI教父” ，共同得到 2018 年图灵奖。2023 年 5 月，在ChatGPT横空出世半年后，欣顿宣告从谷歌辞职，以便能够“自由地评论辩论人工智能的风险”。他对人工智能的恶意滥用、其引发的技能性失落业以及人类的生存风险表达了深切的担忧。
许多人已经体验过打算机翻译措辞、阐明图像，乃至进行合理对话的能力。然而，不太为人所知的是，这种技能对科学研究更加主要，包括对大量数据的分类和剖析。一种名叫人工神经网络（artificial neural network）的构造，推动机器学习在过去十五到二十年间迅猛发展。如今人们评论辩论的人工智能，一样平常指的便是这种技能。只管打算机不能思考，但机器可以模拟影象和学习等功能。今年的诺贝尔物理学奖得主为此做出了贡献。他们利用物理学的基本观点和方法，开拓出了利用网络构造处理信息的技能。机器学习系统与传统软件不同。传统软件的事情办法类似食谱：软件吸收数据，按照明确的描述进行处理，并天生结果，就像一个人采购食材，并按照食谱加工成蛋糕一样。相反，在机器学习中，打算机通过一个个例子进行学习，使其能够处理那些模糊且繁芜到无法通过人类的逐步指令来处理的问题。一个范例的例子便是解读图片，并识别个中的物体。模拟大脑
人工神经网络利用其全部网络构造来处理信息。起初，研究神经网络的科学家只是想要理解大脑的事情机制。20世纪40年代，研究职员已经开始探索大脑神经元和突触网络背后的数学事理。此外，生理学领域也为这一领域供应了主要线索，神经科学家 Donald Hebb 的假设指出，学习之以是发生，是由于当神经德配合事情时，它们之间的连接得到了加强。随后，科学家循着这样的想法，通过打算机仿照构建了人工神经网络，从而重现大脑网络的功能。在这些仿照中，节点构成了大脑的神经元，每个节点被授予不同的值，而突触则由节点之间的连接表示，这些连接可以被加强或削弱。Donald Hebb 的假设至今仍是通过演习来更新人工网络的基本规则之一。
20 世纪 60 年代末，一些令人沮丧的理论结果导致许多研究职员疑惑这些神经网络永久不会真正有用。然而，到了 20 世纪 80 年代，一些主要思想（包括今年两位获奖者的事情）产生的影响，重新点燃了人们对人工神经网络的兴趣。
遐想影象
想象一下，你试图回顾一个相称不屈常且很少利用的词，比如用于描述电影院或者无障碍通道中那种倾斜地面的词汇。你在脑海中征采：它有点像斜面（ramp）……或许是滑坡（radial）？不，不是。对了，是斜坡（Rake）！
这种通过搜索相似词来找到精确词汇的过程，让人遐想到物理学家约翰·霍普菲尔德（John hopfield）于 1982 年创造的遐想影象模型。霍普菲尔德神经网络能够存储模式，并且可以重现这些模式。当网络吸收到一个不完全或稍有失落真的模式时，该方法能够找到与之最附近的已存储模式。霍普菲尔德利用其在物理学领域的背景，探究了分子生物学中的理论问题。有一次，他受邀参加一场关于神经科学的会议，打仗到了有关大脑构造的研究。会议内容令他着迷，并让他开始思考大略神经网络的动力学特性。当神经德配合浸染时，它们能产生新的、强大的特性，如果你只关注网络中的每一个独立神经元，是很难察觉这些特性的。1980 年，霍普菲尔德离开了彼时就职的普林斯顿大学，他的研究兴趣已超越了物理学同寅们的研究领域。他接管了加州理工学院（Caltech）在南加州帕萨迪纳的化学与生物学教授职位。在那里，他得以利用学校的打算机资源进行免费实验，并发展他对神经网络的构想。然而，他并未放弃自己的物理学根本，还从中汲取了灵感，理解了由浩瀚协同事情的小组件构成的系统如何产生新的有趣征象。他尤其受益于具有分外特性的磁性材料，这些特性源于其原子自旋——一种使每个原子成为眇小磁体的性子。相邻原子的自旋会相互影响，这使得自旋方向同等的区域得以形成。他利用描述自旋相互影响时材料特性如何变革的物理学事理，构建了一个包含节点和连接的模式网络。
网络用“地形”保存图像
霍普菲尔德构建的神经网络中，节点与节点之间连接的强度是不同的。每个节点可以存储一个单独的值——在霍普菲尔德的早期事情中，这个值可以是 0 或 1，就像黑白照片中的像素一样。霍普菲尔德用物理学中的自旋能量来描述这个网络的整体状态。能量是通过一个公式打算的，该公式利用了所有节点的值和它们之间所有连接的强度。霍普菲尔德神经网络通过将图像输入到节点中进行编程，节点被授予玄色（0）或白色（1）的值。然后，能量公式会调度网络的连接，使得存储的图像能量更低。当另一个模式输入到网络中时，程序会依照特定规则遍历每个节点，看看如果改变该节点的值，网络的能量是否会降落。如果创造将玄色像素变为白色会降落能量，则改变其颜色。这个过程会持续进行，直到能量再也无法降落。当实现这一点时，网络常日已经能重现演习时所用的原始图像。如果你只存储一种模式，这可能看起来并不那么惊人。你可能会想，为什么不直接保存图像本身，然后与要测试的另一幅图像进行比较呢？但霍普菲尔德的方法之以是特殊，是由于它可以同时存储多幅图像，并且常常能通过网络区分它们。霍普菲尔德将在网络中搜索特定保存状态的过程比作“一个小球在山丘和山谷之间滚来滚去”，滚动的球因摩擦而减慢。如果球从一个特定位置被放下，它将滚入最近的谷底并停在那里。如果给网络输入的模式靠近某个已经被存储的模式，它将以同样的办法连续提高，直达到到能量景不雅观中某个谷底，从而找到影象中最靠近的模式。
霍普菲尔德神经网络可以用来重现包含噪声或被部分擦除的数据。图片来源：Johan Jarnestad/The Royal Swedish Academy of Sciences霍普菲尔德等人连续深入研究了霍普菲尔德神经网络功能的细节，包括可以存储任何值的节点，而不仅仅是0或1。如果你将节点视为图片中的像素，它们可以有不同的颜色，而不仅仅是玄色或白色。改进后的方法使得存储更多图片并区分它们成为可能，纵然这些图片非常相似。只要信息是由许多数据点构建的，识别或重构任何信息都是可能的。十九世纪物理学分类法
记住图像是一回事，但理解一张图像的意思须要再多一点点努力。纵然是年幼的孩子也能自傲地分辨出一只动物是狗、猫还是松鼠。起初小孩可能会偶尔出错，但很快他们就可以做到险些每次都精确。纵然没有看到任何关于物种或哺乳动物等观点的图表或阐明，小孩也能学会这一点。在打仗过每种动物的几个例子后，孩子便会逐渐明晰不同的动物种别。通过不雅观察、体验周围的环境，人们能学会识别猫，或理解一个单词，或进入房间并把稳到有些东西发生了变革。当霍普菲尔德揭橥关于遐想影象的论文时，杰弗里·欣顿（Geoffrey E. Hinton）正在美国卡内基梅隆大学（Carnegie Mellon University）事情。他曾在英格兰和苏格兰学习实验生理学和人工智能，当时他就思考：机器是否能像人类一样学会处理模式，自行分类和解读信息。欣顿与同事Terrence Sejnowski一起，从霍普菲尔德神经网络出发，结合统计物理学的思想，扩展并构建了新的模型。统计物理学描述由许多相似元素组成的系统，例如气体中的分子。追踪气体中所有独立分子的行为是非常困难的，乃至可以说是不可能的。但我们可以将所有分子视作一个整体，从而确定气体的总体特性，如压力或温度。气体分子各自以不同的速率在一定体积内扩散，但仍能产生相同的集体特性，这个中有许多潜在的方法。统计物理学可以剖析各个组件能够共同存在的各种状态，并打算它们涌现的概率。有些状态比其他状态更有可能发生，这取决于可用能量的多少，19 世纪物理学家路德维希·玻尔兹曼（Ludwig Boltzmann）曾用方程来描述这种行为。而欣顿的网络正是利用了这一方程。1985 年，他以“玻尔兹曼机”这一引人瞩目的名称揭橥了这一神经网络。
识别同类新例
玻尔兹曼机常日利用两种不同类型的节点：一种节点接管信息，被称为可见节点；另一种节点构成隐蔽层，隐蔽节点的值及其连接也会影响全体网络的能量。这种机器通过逐一更新节点值的规则运行。终极，玻尔兹曼机将进入这样一种状态：节点的模式可以变革，但网络的整体性子保持不变。根据玻尔兹曼方程，每种可能的模式都有由网络能量决定的特定概率。当机器停滞运行时，它已天生了一种新模式，这使得玻尔兹曼机成为天生模型的早期实例。
玻尔兹曼机能够学习——不是通过指令，而是通过输入的示例学习。它的演习办法是更新网络连接中的值，使得在演习时输入到可见节点的示例模式，在机器运行时涌现的概率最高。如果同一个模式在演习过程中重复涌现多次，那这种模式的涌现概率会更高。演习还会影响机器输出与演习示例相似的新模式的概率。经由演习的玻尔兹曼机能够识别它未曾见过的信息中的熟习特色。想象一下，当你碰着一位朋友的兄弟姐妹，你急速就能看出他们一定是亲戚。同样地，如果玻尔兹曼机遇到一个属于演习数据集中某一类别的新示例，它就能识别出来，并能将其与不相似的信息区分开来。在最初的形式下，玻尔兹曼机的效率相称低，探求办理方案须要很永劫光。当它以各种办法发展时，情形变得更有趣了，而欣顿也一贯在探索这些发展。后来的版本已经由简化，由于一些单元之间的连接已被移除。结果表明，这可能会使机器更高效。20 世纪 90 年代，许多研究职员对人工神经网络失落去了兴趣，但欣顿是那些连续在该领域事情的人之一。他还帮助开启了新一轮激动民气的成果爆发。2006 年，他与同事 Simon Osindero、Yee Whye Teh 和 Ruslan Salakhutdinov 共同开拓了一种方法，通过一系列分层堆叠的玻尔兹曼机来预演习网络。这种预演习为网络中的连接供应了更好的出发点，优化了识别图像中元素的演习。玻尔兹曼机常日被用作更大型网络的一部分。例如，它可以根据不雅观众的喜好来推举电影或电视剧。
机器学习：当下与未来
约翰·霍普菲尔德和杰弗里·欣顿自 20 世纪 80 年代以来的事情，为 2010 年旁边开始的机器学习革命奠定了根本。我们现在所见证的人工智能盛况得益于能被用于演习网络的海量数据，以及打算能力的巨大提升。如今的人工神经网络常日非常弘大，由多层构成。这些被称为深度神经网络，它们的演习方法被称为深度学习。快速回顾霍普菲尔德1982 年终于遐想影象的文章，可以让我们对这一情形有所理解。在文章中，他利用了一个包含30个节点的网络。如果所有节点都相互连接，会有435个连接。节点有各自的值，连接有不同的强度，统共有不到500个参数须要跟踪。他还考试测验了一个包含100个节点的网络，但对付当时的打算机来说过于繁芜。我们可以将其与如今以ChatGPT为代表的大措辞模型进行比较，这些模型构建为网络，可以包含超过一万亿（10¹²）个参数。许多研究职员正在开拓机器学习的运用领域。哪些领域最具可行性还有待不雅观察，同时环绕这项技能的发展和利用也引发了广泛的伦理谈论。由于物理学为机器学习的发展供应了工具，因此反过来，不雅观察物理学作为一个研究领域如何从人工神经网络中受益也很有趣。过去的诺贝尔物理学奖所涉及的领域中，已经充满了机器学习的身影，包括利用机器学习来筛选和处理创造希格斯粒子所需的大量数据。其他运用包括减少丈量黑洞碰撞产生的引力波的噪声，或探求系生手星。近年来，这项技能也开始运用在打算并预测分子和材料的性子——例如打算决定蛋白质分子功能的构造，或者找出哪种新材料可能具有最佳性能，以用于更高效的太阳能电池。
END
版权保护声明：西安科普因此传播科学、科普知识为主的公益性"大众号，均不通过采编的内容（包括笔墨、图片、音频、视频、软件、程序等）参与任何商业活动、获取商业利益。本"大众年夜众号采编内容版权归原作者所有，如有侵权，请及时联系删除，如需转载请注明出处，特此鸣谢！