在我最精良的学生里，中国人占到很大的比例。以是每次来到俏丽的中国，我都特殊高兴。接下来我要先容的事情进展，有部分便是由我的中国学生完成的。
刚才，我们听常启德师长西席先容告终合国可持续发展目标。我赞许他的意见。事实上，我们最近写了一篇论文，揭示了AI的巨大潜力，如果利用得当，势必有助于我们更快地实现这些目标——不仅是在金融领域，而是对全天下全人类而言。
现在：人工智能能做什么？
近几年，人工智能的发展可谓提高神速。我们看个机器人行走的视频，不久前还是这水平：
00:10
第二个机器人特殊尬，由于是麻省理工的机器人……现在的机器人已经完备不同：
00:15
我们再试试Midjourney。2022年，我们向这个天生图像的AI输入了一个指令，得到图一：
图一
一年后，输入同样一个指令，得到的是图二：
图二
以是说，进步是肉眼可见的快。
再看一个有声音的：
00:08
“深度假造”（deep fake），也到了真假难辨的地步。这真的不是汤姆·克鲁斯吗？当然不是。
有些研究职员认为，这些大型措辞模型仍旧非常屈曲，缺少对天下的深刻理解。虽然看上去花俏，但并没有超出统计学的范畴，他们把这些模型叫做“随机鹦鹉”（stochastic parrots），言下之意，它们只是在重复以前听过的东西。我们最近的一篇论文，证明这种意见是缺点的。
这些大措辞模型能够自主开拓模型，并合成它们所学到的东西。以Llama2为例。这个AI从未受过图像演习，也没见过天下舆图。但我们创造，仅仅通过阅读文本，它就在心里，准确地说，是第53层创制了一幅字面意义上的天下舆图（图三）。它知道北京在这里，波士顿在那里，还知道你去过哪里。
图三
事实上，Llama2不仅建构了一个物理天下的模型，还建构了一个抽象观点的模型，比如是非对错。我们录入了很多句子，有些是对的，比如“北京在中国”，有些是错的，比如“芝加哥在马达加斯加”，然后不雅观察它怎么处理这些信息。我们创造，在某一层，Llama2把它认为精确的信息放在左边，缺点的则放在右边。以是，我们实在可以打造一个大措辞模型的测谎仪，看看AI有没有撒谎，它见告你的是不是精确的，以及你们交互的结果是否与它认为是精确的相同。
可见，这些模型已经变得很聪明，问题是：它们能走多远？我喜好用抽象的任务景不雅观来思考这个问题——海平面代表2018我年制作这个bot时人工智能实行任务的水平，高地则代表人类的水平（图四）。现在许多高地都沉到海平面下面了，可见这几年人工智能发展得有多快。
图四
末日：人工智能掌握人类？
现在，人工智能已经胜任很多编程事情，它们开始证明数学定理，创作艺术作品，还能给我们当副驾驶。那么，问题来了：我们会有实现人工通用智能（AGI）的那一天吗？
到那天，大水将淹没所有的陆地，而人工智能可以像人类一样去完成人类所有的任务。到那天，人工智能自己就能开拓人工智能，乃至比人类做得还要好——那往后人工智能发展的速率会好比今快得多，由于开拓AI的是AI，而不是人类这种精力有限的肉体凡胎。AI的智能每个月、每星期，乃至每一天都会翻番，大概还会涌现智能爆炸，到那时AI会比人类聪明得多，就像人类比毛毛虫和蜗牛聪明得多一样。
关于人工通用智能，争议一贯很大，众说纷纭。不过，大家的不雅观点一贯在变。几年前，我的MIT同事罗德尼·布鲁克斯（Rodney Brooks）预测说，人类在未来三百年内是搞不出AGI的。AI研发职员比他乐不雅观，但也认为我们间隔AGI还有好几十年。多数同仁认为，我们三十年内是做不出像ChatGPT4这样聪明的AI的。但现在，我们已经做出来了。微软声称在ChatGPT4中看到了AGI的火花，也便是说，我们正在靠近人工通用智能。
在座的可能都听说过本吉奥（Yoshua Bengio），他是被引用次数最多的人工智能科学家，不出意外的话，很快就会成为史上被引用次数最多的科学家。按照他的不雅观点， ChatGPT 已经通过“图灵测试”，能够很好地节制措辞和知识，足以让人误以为它是人类。
过去三年里，人们对AGI预测的变革是有那么大。天生式人工智能（Gen AI）和大措辞模型的涌现，“砰”地一下改变了人们的意见。显然，AGI不再只是一种长期的可能性。根据AI领军企业Anthropic的CEO达里奥·阿莫代（Dario Amodei）的判断，它两三年内就会涌现。以是我们不应该再利用“长期”这个词，由于这让AGI听起来跟恐龙一样遥不可及。当然，未来存在各种可能性，抵达AGI大概真的须要很永劫光。我们不妨多谈论谈论。
人工智能的教父阿兰·图灵（Alan Turing）曾在1951年就预言说：如果AGI涌现了，那么很快，机器就会变得很聪明、超级聪明。它们会掌握统统，换句话说，人类将失落去对地球的掌握。
这听上去可能挺奇怪的。以是，阿兰·图灵为什么要说这样的疯话呢？如果你只是把人工智能当成一门技能，就像是电力或者互联网，那就真的没什么好担心的。但图灵显然不这样认为。在他看来，人工智能不是一门技能，而是一个新的物种，一个在各方面都碾压我们的数字代理和机器人物种。它们取得掌握权是自然而然的事。
不但图灵这样认为。OpenAI首席实行官山姆·奥特曼（Sam Altman）设想过一种极度场景，便是我们所有人都会被淘汰。“极度”可能只是一种礼貌的说法，达里奥·阿莫代认为概率在10% 到 25%之间。事实上，中国和西方顶级的AI研究职员最近都警告说，人工智能可能导致人类灭绝。虽然只是“可能”，不“一定”会发生，但我们必须负责对待这一风险，并努力化解它。
未来：可证明安全的人工智能
接下来，我想谈谈怎么把AI管起来，在统统变得不可控之前。毕竟，是我们人类在创造AI，我们还不至于束手无策——以是让我们一起确保人工智能为我们所用，管好它，用它创造美好的未来。
我们该当怎么做呢？我认为，我们首先要有远见，想得远，才能做得大。本吉奥、我和其他一些研究职员正在制定一项倡议，我们管它叫“定量人工智能倡议”。前几周，我们写了一篇论文专门阐明这一“安全人工智能”的愿景。
其基本逻辑是：当技能很薄弱时，我们不用太担心安全问题——如果出了问题，我们可以想办法办理；技能越强大，容错率就越低，我们就越是要在安全性高下功夫。
比如说有人想在中国推出新型飞机，要做到若何才算安全达标呢？“我们觉得良好。我们试飞了一个小时，没掉下来，所以是安全的”——这显然是不足的，要做的远远不止于此。我们得进行定量打算，比如估算飞机在某一年发生故障的概率，如此这般，直到我们能够证明它足够安全，利大于弊。对付人工智能的安全性，我们同样须要进行事先的定量打算。我相信我们可以做到。
以其底层技能的改造为标志，人工智能经历了许多不同的发展期间。从打算上看，我们经历了打孔卡期间，然后是磁带、晶体管、集成电路等等，到现在的微芯片期间。硬件方面，GPU的迭代速率极快；软件方面，各种算法也这天月牙异。
而我们这个期间的标志，我认为是“Transformer”模型，它是所有大措辞模型的根本。许多年后，人们大概会把它称作“2024年的真空管”。真空管现在看起来很古老了，但却是开启打算机时期的第一项技能。Transformer也一样，我相信，它是开启大措辞模型时期的第一项技能，但不是末了一项，也不是最好的，更不是最安全可靠的。
我们最近有篇关于KANs架构的论文。和传统神经网络架构MLP不同,KANs将权重（weight）从节点移到边缘，能以更少的参数得到更高的精度，性能大大优于MLP。我只是举个例子解释我们本日的技能并不是最好或终极的，统统都在改造。以是什么才配得上“嫡技能”这几个字呢？我认为它不仅要比本日的AI更强，还要更好懂、更安全、更随意马虎管理。
现在对人工智能的管理大多还勾留在“破解”的阶段上，也便是“创造bug，办理bug”的思路，在测试中勾引大措辞模型说些“坏话”什么的，然后修复导致出错的漏洞。但就像我在前面提到过的，这种办法只适用于低技能阶段，由于它充其量只能证明问题存在，而永久无法证明问题不存在。如果你想证明问题不存在，证明强大的人工智能很安全，那么你可能须要其余一种防护栏。而我们所能拥有的最强大防护栏，不是别的，正是数学证明。
举个例子。假设你研究数学，喜好数学，有人见告你“任何两个立方数相加，不会即是第三个立方数”——他说得对吗？你试着用3³加4³，嗯，它们的和不是立方数……你试了10次，没创造反例，于是下结论“他说得对”。不，这不是数学证明，无法证明“他说得对”，而只证明了你没创造反例。
当然，这个说法是对的，由于有人证明了：在无穷的整数里，没有一个立方数是其余两个立方数之和，这便是“费马末了定理”。
在人工智能和打算机科学领域，形式验证（formal verification）同样是个大课题，也便是对软件进行严格的数学证明，证明它在任何输入情形下都能按指令行事。可证明安全的人工智能——这是很高的安全标准。
目前干系领域的进展比较慢，由于事情量太大，而且多数得靠人来完成。不过，我很乐不雅观，用不了多久大措辞模型和AI就能办理这个问题。人工智能已经彻底改变了艺术创作和措辞处理，通过编写代码，它也将彻底改变程序综合（program synthesis）。这样一来，形式验证的许多事情就可以由AI自动完成，我们证明代码安全性的能力也会随之打破。
以下是我对可证明安全的人工智能的设想。举个例子，假设你经营着一家大型金融企业，你要用AI工具来做一些高风险交易。你肯定不想出错，由于这会让客户血本无归。于是，你把这个AI须要遵守的规范都写下来，交给一个强大的人工智能系统，让它帮你编写所需的工具，并出具干系安全证明。这些证明能够通过证明检讨器的自动考验，表明所天生的代码知足安全规范。
你可能会说：“我怎么能相信这个工具呢？我压根不知道人工智能是若何事情的。这个工具的代码行数太多，我读不过来，而且证明太长，我也读不过来”。没紧要，你不须要懂人工智能，也不用看它编写的工具或证明代码，你只要知道证明检讨器是怎么回事就行了——实在便是一个只有 300 行旁边代码的软件，它能严格检讨和验证证明是否有效。
证明检讨器可以安装在你的条记本电脑上，飞快地运行。只要安全证明通过验证，你就可以放心利用你的AI工具了，这个繁芜、强大的财务软件系统会完备遵照你的哀求事情——不是多数时候，而是一贯永久，由于这套软件经由严格的数学证明，没有bug，没有安全漏洞，只要宇宙不崩坏，它便是可靠的。
如果出于某种缘故原由，你的人工智能系统写的工具软件不足好，那你还有其余一个办法：让传统的人工智能系统、大措辞模型之类的去学习算法。比如，我们现在用 Python或者 C++ 写的翻译软件都远远不如Transformer写的好用。以是你得让机器去学习，然后再用一个类似于神经科学家的AI软件去捕捉学习到的算法和数据，并转化为 Python或者 C++ 代码，最后进行形式验证。这便是所谓的”机器可阐明性”（mechanistic interpretability）。这是人工智能的一个小众领域，去年我在MIT组织了这个领域的最大型会议，但实在也没几个人参加。不过，这方面的技能发展得很快，在座感兴趣的都可以加入进来。
举个非常大略的例子。我们小时候学加法，有时老师会让我们用竖式做循环进位加法，从个位起通报进位。现在我们让神经网络系统去学加法，给它一堆数据，当然是用二进制来做。不一会儿，它的准确率就达到了100%。这时，我们知道这个神经网络里已经有了一个数字相加的算法。接下来的问题是，在这个演习出来的黑盒模型里，若何把这个算法“取出来”？我们用其余一个AI工具到神经网络里去找，再把找到的算法转化成我们须要的Python版本。 这里可以看到这个Python程序也有循环，就像我们小时候学的多位数加法，从低到高打算和进位。显然这段天生的Python程序，比原始演习出的神经网络，效率好得多。然后我们对这段Python代码进行形式验证，证明它能精确地将任何数字相加——不仅是演习数据中的数字，而是任意数字、任意多数字，我们可以信赖它。
当然，我这里谈论的是一个非常伟大的目标——可证明安全的人工智能或定量安全的人工智能。要实现全部目标，我们有漫长的路要走。主要的是记住，我们的征程会很精彩，即便只是在初始阶段。比如你能取得形式证明，证明任何人不经由认证都没法登录你的条记本电脑，不喷鼻香吗？这样你永久都不用担心被黑了。
还有，不管多么强大的AI，只要你想，就可以随时关闭它，或者可以让它只运行一定的韶光；如果它只能在上海的某个数据中央利用，那么当你或其他人把它带到其他地方，它就会停滞事情。那不是很爽吗？
这些我们都能做到。我对此感到愉快，也渴望互助。
结语
末了，总结一下。我今天主要谈了技能——人工智能的技能变得越来越强大，但我们也有很多安全技能可以把它管好，确保AI为我们事情，而不是与我们为难刁难。
前面的发言者谈到了国家政策和良好管理的主要性。我想强调的是，如何勾引管年夜大好人工智能，是一个环球性的寻衅，由于未来非常强大的人工智能所带来的风险当然是全人类共同面临的。无论如何，技能都不会止步于国界，因此它所带来的寻衅也不是任何国家可以独力应对的。
如果我们做对了，天下会因人工智能而更美好；但如果我们搞砸了，全体天下都会一团糟。在政策方面，我认为我们该当做的和不应该做的都是显而易见的。
无为而治是不可能的。你不能说：“行吧，每个人都有权利用AI尽可能快地制造出他们想要的东西。只要在超级智能涌现前，有人能及时找到掌握这些东西的办法就行了。”
我们必须像对待其他强大技能那样去对待人工智能，大略说，我们须要安全验证机制。比如在中国，如果有人想推出一种很好的新药，那么他首先要得到国家药品管理部门的批准，而不是直接在淘宝上卖。有了这样的药品安全机制，医药公司在研发新药的同时，也会把足够的资源投入临床检测，以证明新产品足够安全，给患者带来的好处大于副浸染。再比如，如果你想兜售一款新型飞机，那么你肯定得先把定量风险剖析做好，否则民航局是不会放行的。
对付人工智能，我们也该当采纳同样的做法。首先我们要有统一明确的安全标准，对付相对低级和无害的AI，比如本日多数的大措辞模型，安全标准可以很低，但对付功能逐渐强大、可能造成更大危害乃至失落控的AI系统，我们的安全标准也要逐级提高。
标准确立之后，市场会完成剩下的事情。谁先达到安全标准，谁就先盘踞AI市场，富可敌国。这样一来，AI公司就不仅有动力制造更聪明的机器，还会尽可能快地确保它们达到安全标准。
末了，我想回到我们开头提到的人类可持续发展目标。该当指出，人工智能有两种类型，不能混为一谈：一种是比所有人都聪明的“超级智能”，人们对人工智能99%的担忧集中在这里，由于人类可能失落去对超级智能的掌握；另一种是“普通的”人工智能，99% 的AI属于此类，我们实现“无贫穷”、“零饥饿”、“良好康健与福祉”等17个可持续发展目标，有这样的AI助手就够了，并不须要超级智能。就此而言，推迟制造可能失落控的超级智能，大力发展可控的、安全的人工智能，才不失落为上上策。感激大家！
----
迈克斯·泰格马克，系麻省理工学院教授、生命未来研究所所长。本文由作者在华东师范大学上海人工智能金融学院成立揭牌仪式上的演讲整理而成。许子善译。