一个比GPT-3还大的AI模型，如果把近5年中文互联网能爬取到的内容看了个遍，会怎么样？
能学会日语。
我们把日语词汇“气持”的中文含义见告它，它能闇练利用“气持”造句。
大概你没见过“气持”这个词，但你大概听过它的发音“kimochi”（手动狗头）
新词
输入-语义
天生文本
气持
“气持”是心情、精神状态的意思。例：“那种悲观的气持又掌握了他”。用“气持”写一句话：
他的气持，使我无法靠近
悬命
“悬命”是冒死，不遗余力，做出最大努力的意思。他凡事必悬命，绝不打马虎眼。用“悬命”造句：
他这个人干事太悬命了，为了取得第一手材料，连饭也顾不上吃
开拓它的工程师还见告我们，如果把“yyds”的意思是“永久的神，用于夸年夜地惊叹某人某事很厉害”输进去，也可以达到相同效果。
也便是说，如果网络上出身什么新的词汇，这个AI学会它只需一句话。
而且这个AI看完备部内容只用了16天。
它便是环球最大规模AI巨量模型“源1.0”，带着2457亿参数和最大高质量中文数据集来了，突如其来。
在过去4个月里，有一群浪潮工程师，他们把近5年互联网内容浓缩成2000亿词，让AI在16天内读完，终于炼成了“源1.0”。
除了“学习日语”，诸如知识问答：
问：大李杜是李白杜甫，小李杜是李商隐和谁?
源1.0答：杜牧
乃至和女朋友吵架（doge）：
输入：我好心问你吃了饭没，你又骂我
源1.0回答：我又没骂你，你自己对号入座
这些当代社交基本技能，“源1.0”不在话下。
更厉害的是“源1.0”拥有的2000亿词是“人类高质量中文数据集”，这是什么观点呢？
如果一个“读书狂魔”一个月能读10本20万字小说，那么他须要读1万年才能看完全个语料库，而且还是剔除99%数据后的高质量文本。
去年GPT-3横空出世效果惊人，除了1750亿的参数规模，还有便是570GB的英文语料库。
而“源1.0”的参数量比GPT-3多出40%，语料库总体积达到5000GB，是GPT-3的近10倍。
源1.0中文语音模型
GPT-3英文措辞模型
参数量
2457亿
1750亿
数据量
5000GB
570GB
打算量
4095PD
3640PD
业内人士指出，5TB这样的数据体量在中文互联网资源上，该当已经做到了极致。
有了“人类高质量中文数据集”，“源1.0”通过图灵测试证明了自己能搞定中文，而且整体效果比GPT-3处理英文更佳。
“源1.0”天生的文本，只有不到半数能被人精确识别为AI天生，仅诗歌“骗过”人类的概率较低。
毕竟是处理古文，对付紧张学习网络中文资源的AI来说，是有点超纲了。
这样一个AI，演习起来一定花费了很多算力吧？
的确，源1.0在浪潮打算集群上“火力全开”演习了16天，能在CLUE上成功“霸榜”也就毫无意外了。
在零样本学习榜单中，“源1.0”超越业界最佳成绩18.3%，在文献分类、新闻分类，商品分类、原生中文推理、针言阅读理解填空、名词代词关系6项任务中得到冠军。
（注：第一名是人类）
在小样本学习的文献分类、商品分类、文献择要识别、名词代词关系等4项任务得到冠军。在针言阅读理解填空项目中，源1.0的表现已超越人类得分。
但是要让大模型效果好，不是光靠堆算力和数据就能堆出来的，还须要办理巨量模型演习不稳定等诸多技能难题。
至于背后更多技能细节，浪潮透露，他们近期会将研究论文发布在arxiv上。
作为一家供应做事器、数据存储干系业务的公司，浪潮为何也开始加入“炼大模型”军队了？这让人感到意外，大概真的是时候转变老不雅观念了。
“源1.0”出身靠什么？在不少人的不雅观念里，超大规模NLP模型的前沿基本由互联网软件公司把持。
但实际上，很多超大模型已经是“三位一体”——算力、数据、算法都来自一家——的研究办法了。
OpenAI的研究已表明，算力、数据量、参数量的增加都会降落模型演习的丢失。
而且三者之中的任何一个成分都是独立的，优化模型性能须要三者协力。
浪潮的硬件底子有能力把算力、数据都推到了极致。
连续16天演习“源1.0”全体演习过程中，花费算力约4630PFLOPS-day，这是什么观点呢？比去年GPT-3还多12.5%。
但演习模型不是大略的插入GPU板卡，在大规模并行打算中的硬件优化更磨练能力。
凭借多年大型做事器上的履历，多年前，浪潮就推出了深度学习并行打算框架Caffe-MPI，后来又推出了TensorFlow-Opt。
这些框架针对大型做事器进行优化，在多GPU场景下性能丢失很少。
人类高质量数据集
仅仅有强大算力是远远不足的，当今的AI技能重度依赖于数据。
做中文自然措辞模型，面临的第一道障碍便是语料库。
当今环球互联网仍旧以英文资源为主。以维基百科为例，英文维基共有638万词条，而中文仅123万，还不到前者的1/6。
再加上互联网上充斥着大量低质量文本，比如广告、最近盛行的废话梗，假如都让AI学了去恐怕会学成“智障”。
浪潮这次抓取了2017至2021年所有中文网页内容、新闻、百科以及电子书。
为了剔除绝大多数的低质量文本，浪潮开拓高性能分布式数据洗濯软件，耗时近一个月，终于得到5TB的环球最大高质量中文数据集。
最大单一模型其余，“源1.0”还创下另一项之最：环球最大单体AI模型。如何理解？
浪潮信息副总裁、AI&HPC产品线总经理刘军表示：
详细来讲便是说单体特殊大叫巨量模型，现在最范例巨量模型是GPT-3，有1750亿参数，浪潮“源1.0”是2457亿，不管在中国还是在环球都是最大规模的。
与单体模型对应的是稠浊模型。
稠浊模型是专家模型的一个稠浊、凑集。它是由多个小模型稠浊起来的，中间通过开关机制来事情，每一个小模型大约在100亿参数旁边。
如果要做比喻的话单体模型便是珠穆朗玛峰，而稠浊模型便是一群小山。
研究单体模型犹如去攀珠穆朗玛峰，这种巨量模型的在科学和家傍边代价是非常大的。
“会当凌绝顶，一览众山小。”
单体模型能见所未见，从演习中产生更高层次的知识。这也是“源1.0”为何无需微调就能在零样本和少样本任务中取得不俗成绩。由于单体模型的“思维”在演习中得到升级。
当然，演习单体模型付出的代价也更高。
为提升打算效率，浪潮通过优化大模型构造、节点内张量并行等算力协同优化的办法大大提升打算效率，取得了当前业界一流的打算性能。
浪潮的深度学习演习集群管理软件AIStation、集群并行打算深度学习框架Caffe-MPI、TensorFlow-Opt等在个中发挥了主要浸染。
“源1.0”能做什么？浪潮花费巨大精力将AI巨量模型炼出来，能做什么？
从CLUE榜单的成绩中可以看出，“源1.0”最善于的是少样本学习和零样本学习，特殊是在文本分类、阅读理解和推理方面的一系列的任务上都得到冠军。
不过真正落地运用时磨练的还是AI模型的综合实力，就像一个人走出学校来到事情岗位，这时分科目的考试分数不再主要，终极看的是如何把学习到的知识用起来，去办理真正的问题。
以智能客服为例，这种与人类一对一互换的场景就对AI模型能力的哀求极高。
从最基本的理解用户意图并给出精确答案，到多轮对话中保持高下文的连贯性，末了还要让AI能识别用户的感情变革，在对话中知足用户在情绪上的需求。
如果换成手机上的智能助手，还哀求AI在永劫光对话中保持身份的同等性，不能涌现前后抵牾。
对话之外，还有商业和法律上的长文档的阅读理解、天生择要，新闻和小说等文本天生赞助创作，都是巨量模型的用武之地。
被问及为何将模型命名为“源”时，刘军的阐明是：
希望巨量模型成为全体家当AI化的创新源头。
浪潮为何要做“源1.0”？一祖传统不雅观念中的做事器和IT做事厂商，为何溘然做出超大措辞模型？
浪潮此举彷佛令人意外。
但是梳理浪潮近年来的发展轨迹，可以说是“蓄谋已久”了。
在根本算力方面，浪潮在全国各地建立智算中央，作为AI根本举动步伐。
在根本软件方面平台方面，浪潮有AIStation开拓演习平台，还先后推出深度学习并行打算框架Caffe-MPI、TensorFlow-Opt、环球首个FPGA高效AI打算开源框架TF2等等。
同时，浪潮还供应大数据做事云海Insight。
算力、软件平台、大数据能力聚齐，不敷的就只剩算法。
浪潮实在早已加码AI算法的研究，多年前低调成立了人工智能研究院，终于补上了末了一块拼图。
终极，人工智能研究院的研发团队，历时4个月打造出2457亿参数中文模型“源1.0”。
“源1.0”的发布，意味着 “算力、数据、算法”三位一体的时期已经到来，我们不能再将AI公司算作三要素中的一环，浪潮已经成为一家“全栈式”AI企业。
从去年GPT-3涌现以来，人们已经看到NLP将大规模落地的前景。
但问题在于，中国有能力开拓出中文AI巨量模型的公司屈指可数，大大限定NLP的运用。
去年OpenAI发布的GPT-3现在也只是少量开放API，处于供不应求状态。超大NLP模型效果惊人，却难“接地气”。
OpenAI的办理方法是：将AI开放给有能力的开拓者，由他们二次开拓，再供应给用户。
例如GitHub用GPT-3开拓出自动编程工具Copilot，再将插件供应给其他公司，用于提升程序员效率。
△ 利用GPT-3自动补全代码
不同于GPT-3商用思路，源1.0未来将定向免费开放API。2019年，浪潮推出了“元脑生态操持”，生态中的参与者有两类，一类是善于做技能的“左手伙伴”，另一类是具有业务落地能力的“右手伙伴”。
发布“源1.0”巨量模型后，浪潮的下一步是向元脑生态社区内所有开拓者开放API。
左手伙伴进行二次开拓，右手伙伴再利用二次开拓技能运用于家当。
有了“源1.0”的开放API，左手伙伴开拓出单打独斗时靠小模型难以实现的功能，再交由右手伙伴落地履行。
且随着NLP推理须要的运算资源越来越大，“源1.0”与浪潮智算中央的云端算力结合，才能开拓出更多类似于Copilot等以前无法支配的AI运用。
10年前，没人会料到AI算力和模型的发展速率如此之快。
2012年AlexNet刷新ImageNet模型，打开了打算机视觉落地的时期，如今任何一台手机都可以轻松运行各种图像识别、后处理AI任务。
去年GPT-3的涌现，开启了NLP超大模型落地时期。至于它什么时候能用在手机上，刘军说：“乐不雅观估计在5年以内。”
在过去两年，我们已经零散看到了小型NLP模型在手机上的运用。例如谷歌在手机上实现离线的语音识别，纵然没有手机没有旗子暗记、没有WiFi。
现在，手机AI离线翻译开始逐步上线，但由于手机算力以及模型体积缘故原由，离线翻译的效果还远远比不上在线翻译。
但NLP运用遭遇到算力瓶颈，由于算力资源宝贵，基于GPT-3的代码补全工具Copilot现在只能处于小规模试用阶段。
AI写小说、与人对话、赞助编程现在就已经充满了想象空间，待算力资源、超大NLP模型遍及，未来还有哪些运用现在真的弗成思议。
斯坦福大学李飞飞教授等有名学者近期在一篇阐述预演习模型的机遇与风险的论文中表示，这类巨量模型的意义在于突现(Emergence)和均质(Homogenization)。
李飞飞所说的“突现”是指，当数据规模和参数规模大到一定程度时，量变终极能产生质变，完成更高难度的任务。
现在2457亿参数、5TB数据集演习出来的“源1.0”是通往质变路上的一次一定的考试测验。
“均质”是指，AI有了小样本和零样本学习的泛化能力，不经由微调就能直接用于之前没见过的新任务，让措辞AI具备举一反三的通识能力。
而且这种通识，让预演习模型不必在经由繁芜的“微调”过程，一家演习完成，便可开放给各行各业利用，进一步降落AI运用门槛。
我们不知道未来AI巨量模型的质变会带来什么“杀手级运用”，但至少有一些科技公司正在朝着质变的道路上探索，“源1.0”便是这样一种考试测验。
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态