11月28日，NeurIPS 2022正式开幕。
作为目前环球最负盛名的人工智能盛会之一，NeurIPS在每年年末都是打算机科学领域瞩目的焦点。被NeurIPS吸收的论文，代表着当今神经科学和人工智能研究的最高水平，也反响着行业趋势的变革。
有趣的是，这届「参赛选手」们的研究彷佛都对「游戏」情有独钟。
比如，李飞飞团队基于Minecraft游戏环境的MineDojo，就拿下了最佳数据集和基准论文奖。依托游戏的开放性，研究职员可以在MineDojo中通过各种类型的任务对智能体进行演习，从而让AI具有更加通用的能力。
而通过严苛的录取率，同样是在游戏领域收录的另一篇论文，可能跟很多游戏玩家都干系。
毕竟，谁没玩过王者呢。
论文《<王者光彩>竞技场:竞争强化学习的泛化环境》
地址：https://openreview.net/pdf?id=7e6W6LEOBg3
文中，研究职员提出了一个基于MOBA游戏《王者光彩》的测试环境。目的嘛，实在和MineDojo类似——演习AI。
为何MOBA类游戏环境被青睐？
自DeepMind推出AlphaGo开始，游戏作为拥有高自由度、高繁芜性的拟真环境，早已成为了AI研究和实验的主要选择。
然而，比较于能够不断从开放式任务中学习的人类，在较低繁芜度的游戏里演习出的智能体，并不能将自己的能力泛化到特定的任务之外。大略来说便是，这些AI只能下下棋，或者打打古早的雅达利游戏。
为了开拓出能够更加「泛用」的AI，学界的研究重心也开始逐渐从棋盘类游戏转向了更繁芜的游戏，包括非完美信息博弈游戏（比如扑克）以及策略类游戏（比如MOBA和RTS游戏）。
同时，正如李飞飞团队在获奖论文里所言，想要让智能体能够泛化到更多的任务之中，演习环境还须要能供应足够多的任务。
凭借着AlphaGo及其衍生版AlphaZero打遍围棋圈无敌手的DeepMind，很快也意识到了这一点。
2016年，DeepMind便联合暴雪，基于空间繁芜度为10的1685次方的《星际争霸 II》，推出了「星际争霸 II 学习环境」（StarCraft II Learning Environment，SC2LE），为研究职员供应了智能体的行动和褒奖规范，以及一个开源的Python界面，用于与游戏引擎进行通信。
而在海内也有一个资质极佳的「AI演习场」——
作为有名的MOBA游戏，玩家在《王者光彩》中的动作状态空间高达10的20000次方，远远大于围棋及其他游戏，乃至超过全体宇宙的原子总数（10的80次方）。
和DeepMind一样，腾讯的AI Lab也联合《王者光彩》，共同开拓了更加适宜进行AI研究的「王者光彩AI开放研究环境」。
目前，「王者光彩AI开放研究环境」包含了1v1对战环境与baseline算法模型，并支持20位英雄的镜像对战任务以及非镜像类对战任务。
详细来说，「王者光彩AI开放研究环境」在只考虑双方英雄选择条件下，可以支持20×20=400对战子任务。如果算上召唤师技能，将会有40000种子任务。
为了让大家更好地理解智能体在「王者光彩AI开放研究环境」中接管的泛化性寻衅，我们可以利用论文中的两个测试，对其进行验证：
首先制作一个行为树AI（BT），其水平为入门级的「黄金」。与之相对的是便是由强化学习算法演习出来的智能体（RL）。
在第一个实验中，只让貂蝉（RL）和貂蝉（BT）进行对战，然后再拿演习好的RL（貂蝉）去寻衅不同英雄（BT）。
经由98轮测试后的结果如下图所示：
当对手英雄发生变革时，同一演习的策略的性能急剧低落。由于对手英雄的变革使测试环境与演习环境不同，因此现有方法学到的策略缺少泛化性。
图1 跨对手的泛化寻衅
在第二个实验中，依然只让貂蝉（RL）和貂蝉（BT）进行对战，然后拿演习好的RL模型掌握其他英雄去寻衅貂蝉（BT）。
经由98轮测试后的结果如下图所示：
当模型掌握的目标从貂蝉变成其他英雄时，相同的演习策略的性能急剧低落。由于目标英雄的变革使行动的意义与演习环境中貂蝉的行动不同。
图2 跨目标的泛化寻衅
造成这个结果的缘故原由很大略，每个英雄本身都有自己独特的操作技巧，经由单一演习的智能体在拿到新的英雄之后，并不知道如何利用，就只能两眼一抹黑了。
人类玩家也是类似，能在中路「乱杀」的选手，换了打野之后，也未必能打出不错的KDA。
不丢脸出，这实在就回到了我们一开始提出的问题，大略的环境难以演习出「通用」的AI。而繁芜度高的MOBA类游戏，恰好供应了一个便于测试模型泛化性的环境。
当然，游戏并不能直接拿来演习AI，于是经由特殊优化的「演习场」应运而生。
由此，研究职员就可以在诸如「星际争霸 II 学习环境」和「王者光彩AI开放研究环境」中，测试和演习自己的模型了。
海内研究职员如何接入得当的平台资源？
DeepMind的发展，离不开实力雄厚的谷歌托底。李飞飞团队提出的MineDojo，不仅用上了斯坦福这个顶级名校的资源，还有来自英伟达的大力支持。
而海内现阶段的人工智能行业在根本举动步伐层面仍旧不足踏实，尤其对付普通公司和高校来说，正面临着研发资源短缺的问题。
为了让更多研究者参与进来，腾讯于今年11月21日正式将「王者光彩AI开放研究环境」面向大众开放。
用户只需在开悟平台官网注册账号、提交资料并通过平台审核，即可免费下载。
网站链接：https://aiarena.tencent.com/aiarena/zh/open-gamecore
值得一提的是，为了更好地支持学者和算法开拓者进行研究，开悟平台不仅对「王者光彩AI开放研究环境」进行了易用性封装，还供应标准代码与演习框架。
接下来，我们就来「浅浅」地体验一下，如何在开悟平台开始一个AI演习项目吧！
既然要让AI「玩」《王者光彩》，那么我们要做的第一件事便是，把用来操控英雄的「智能体」做出来。
听起来彷佛有些繁芜？不过，在「王者光彩AI开放研究环境」中，这实在非常大略。
首先，启动gamecore做事器：
cd gamecoregamecore-server.exe server --server-address :23432
安装hok_env包：
git clone https://github.com/tencent-ailab/hok_env.gitcd hok_env/hok_env/pip install -e .
并运行测试脚本：
cd hok_env/hok_env/hok/unit_test/python test_env.py
现在，就可以导入hok，并调用 hok.HoK1v1.load_game创建环境了：
import hokenv = HoK1v1.load_game(runtime_id=0, game_log_path="./game_log", gamecore_path="~/.hok", config_path="config.dat",config_dicts=[{"hero":"diaochan", "skill":"rage"} for _ in range(2)])
紧接着，我们通过重置环境从智能体那里得到我们的第一个不雅观察结果：
obs, reward, done, infos = env.reset()
obs是一个NumPy数组的列表，描述了代理对环境的不雅观察。
reward是一个浮点标量的列表，描述了从环境中得到的即时褒奖。
done是一个布尔列表，描述了游戏的状态。
infos变量是一个字典的元组，其长度为智能体的数量。
然后在环境中实行操作，直到韶光用完或者智能体被干掉。
此处，只需采取env.step方法即可。
done = Falsewhile not done: action = env.get_random_action() obs, reward, done, state = env.step(action)
和「星际争霸 II 学习环境」一样，在「王者光彩AI开放研究环境」中同样可以利用可视化工具来查看智能体的回放。
至此，你的第一个智能体就已经创建完毕。
接下来，就可以拉着「她/他」去进行各种各样的演习了！
说到这，想必大家也不难创造，「王者光彩AI开放研究环境」并不但是纯挚地抛出来一个可以演习AI的环境，而是通过熟习的操作和丰富的文档，使全体流程都变得大略易懂。
如此一来，也就让更多有志于进入AI领域的人轻松上手了。
游戏+AI，还有哪些可能？
看到这，实在还有一个问题没有回答——腾讯开悟平台作为一个由企业主导的研究平台，为何要选择大范围开放？
今年8月，成都邑人工智能家当生态同盟联合智库雨前顾问，共同发布了全国首个游戏AI报告。从报告中不丢脸出，游戏是促进人工智能发展的关键点之一，详细来说，游戏可以从三个方面提升AI的落地运用。
首先，游戏是AI极佳的演习测试场。
迭代快速：游戏可以随便交互、随便试错，没有任何真实本钱，同时存在明显的褒奖机制，能让算法的有效性充分演习展现出来。任务丰富：游戏种类繁多，难度和繁芜性大概多样，人工智能必须采取繁芜的策略来应对，占领不同类型的游戏反响了算法水平的提升。成败标准清晰：通过游戏得分标定人工智能的能力，便于进一步对人工智能进行优化。其次，游戏能够演习AI的不同能力，牵引不同运用。
比如，棋类游戏演习AI序列决策，得到长线推演能力；牌类游戏演习AI动态自适应，得到随机应变能力；即时计策游戏演习了AI的机器影象能力、长期方案能力、多智能体协作能力、动作连贯性。
其余，游戏还能冲破环境制约，推动决策智能落地。
比如，游戏可以推动虚拟仿真实时渲染和虚拟仿真信息同步，升级虚拟仿真交互终端。
而开悟平台依托腾讯AI Lab和王者光彩在算法、算力、繁芜场景等方面的上风，开放之后，可以为游戏与AI发展之间搭建一座有效互助的桥梁，链接高校学科培植、竞赛组织、行业人才孵化。当人才储备足够了，科研的进步和商业运用的落地都将如雨后春笋般冒头。
过去两年，开悟平台在产学研领域的布局举措就很多：举办了「开悟多智能体强化学习大赛」，引来包括清北这样的TOP2名校在内的一片顶尖高校团队参加；组建了高校科教联合体，北大信息科学技能学院爆火的选修课《游戏AI中的算法》，课后作业便是用王者光彩1V1的环境做实验……
展望未来，可以期待：借助「开悟」平台走出去的这些人才，将辐射到AI家当的各个领域，实现平台高下游生态的全面着花。