图灵测试本身是一个定性的、观点性的测试，理论上随便哪个程序都可以通过缩窄测试范围、限定测试集然后通过所谓的图灵测试。
换成产品视角，情形则有所不同，这时候能否通过图灵测试就会限定在产品的边界以内，并且拳拳到肉，一旦不灵，AI驱动的产品就不成立了。本次测试便是抽取了真实产品的部分场景进行方便理解的再包装，目的紧张用于解释图灵测试2.0这观点。
考虑潜在的误读，预先做如下声明：
1. 本测试不威信也不全面，但可复现，过程数据有留存。可复现是指按照步骤每个人都可以测试。
2. 本测试不代表各个模型利害，只代表和设定场景的匹配度。
3. 本测试选择模型有主不雅观性，在用的起和好用上做了权衡。
一、角色中央式打算与图灵测试2.0
角色中央式打算是相对功能中央式打算说的。
到现在为止差不多所有我们用的APP因此功能来划分的，职能相对单一，比如IM、搜索、外卖、打车等等。
一个角色职责的完成每每须要组合很多的功能，比如那怕一个招聘的角色它背后都必须组合十几个工具（从IM到招聘APP等）才能完成招聘某个人的事情。
现在AI可以承担这个居中调度的角色，以是运用的下一步一定是角色中央式打算。
而角色中央式打算是否成立，核心则在于AI的智商程度是否能够处理角色边界内的统统事情，比如招聘的时候要能判断当前的JD的描述是否匹配需求方的需求也要判断一个候选人是否初步匹配对应的招聘需求等。
如果角色的每一个这种关键步骤的都可以用AI来完成，那对这个角色而言就不单通过对话无法区分出这是真人还是AI，从现实的反馈也无法区分。
这就算通过了图灵测试2.0。
这点之前展开比较多，这里不过多重复了。
在过去的文章里一贯缺一个往下一步，怎么设计和实现图灵测试2.0的例子，这篇文章重点在这里。
我们抽取一个真实场景的核心步骤，从易懂的角度包装成一个极简的例子，来解释图灵测试2.0的观点怎么分解，和一个详细的角色怎么领悟。
二、图灵测试2.0的示例
如果我们打造这么一个大略角色。
它是你的代理，可以帮助你按照你的设定在特定UGC平台上发布你天生的内容。（OpenAI发布会上Greg Brockman演示过类似的例子）
我们略客岁夜量细节来描述这个角色。
这样一来这个角色就有4个关键内涵：
1. 完成你对自己做的人设。
2. 针对特定话题或者问题天生内容。
3. 确保内容的质量。
4. 发布等实行步骤。
第四步的发布等是传统的RPA等技能，实在并不关键，后面就都略过了。
在这三个关键步骤里面，除了内容天生，还须要AI做的判断是：
1. 天生的内容是不是真的匹配对应的话题或者问题？（内容天生是一次性的，在多个平台发布是多次性的，以是要常常做匹配的判断）
2. 内容的根本质量到底怎么样？
这两项工作别看大略，但在没有AI大模型前还真的很难做好。在过去你就没办法针对特定问题、话题实时天生内容，也很难实时大批量的判断匹配度。
有点像无机物到单细胞生物。
为了缩减文章篇幅，我们进一步降落目标。
完成第一项事情就变成天生一个内容的概要，然后大模型判断内容概要和问题的匹配度。这里实在可以直接用模型，也可以用Embedding算法。
两者各有利弊，但这里只关注用模型的判断结果。
这步骤做完之后，比如你天生的内容是：青玉案元夕干系，那就可以匹配到古诗词的标签或者特定问题下面。
都测试完了之后，还须要用人来标注下终极测试结果，这样就供应个绝对的尺度，知道AI大模型算法能进行到什么程度了。
第二项的评测简化成利用BLEU算法来评测天生内容的相似度。
这是避免内容天生的重复。
为什么做这个呢？由于终极不肯望反复揭橥一样的内容。纵然输入相对同等，比如人设、话题等有相似性，也不肯望内容同等。
至于是不是内容天生的足够幽美，就先不管了，那十分麻烦。
为了完成这个测试，须要一些真实数据，这可以手动编辑或者抓取。这部分和详细你辐射的领域有关系，文艺青年、斜杠青年等须要的数据不怎么一样。但这和RPA一样是个传统的活，大部分程序员都会做。这里为了避免不必要的麻烦，数据先不公开了。
完成了上面的事情，实在就完成了从一个角色到图灵2.0测试集的根本映射：关键是要分解角色内涵，为关键判断建立测试集。
三、测试结果
在准备的1000条测试数据上，第一项测试终极结果是下面这样：
这里面检出率是指在1000条测试项目里，有多少模型判断为匹配的，准确率是指在认为匹配的项目里面和人的标注比，准确率什么样。
这个测试结果终极怎么用会和你的方向性干系，显然的数量优先和质量优先结果是不一样的。
结果里面最故意思的点是：至少在这一个判断项上，AI还不如人。以是如果判断项比较多，整体精度的掌握会是很有寻衅的问题。
然后我们测试的是内容天生部分的质量，这部分我们不测文辞是否幽美这些，就测天生内容的最大略的BLEU值，个中参数都用缺省参数，temperature这些就不改了。如果做的很细，这部分可以反复试多组值。但我们是为相识释图灵测试2.0观点，就不做这部分了。
终极测试结果中得分前三的是：
全部模型的测试结果是：
这里面和原文比拟是指创作内容和原始种子做比较，然后统计BLEU值小于0.75的比例，0.85就意味着85%的内容差异度大于0.75。（原文可以算作是内容的种子，基于原文和提示词天生对应内容。）
和改写结果比是指，同样的方法会天生3次内容，然后看BLEU值，把小于0.75的除以3便是上面的结果。当然提示词中会包含加大差异度的部分。
内容天生会比较耗费token，以是同步要记录下token数目和用度。终极出了个价格离谱的，解释模型初选的时候选错了。
四、例子的意义
当这种测试可以通过，那就意味着终极从技能视角看，对应的角色可以通过图灵测试2.0。如果精度达不到一定程度，那你设定的角色在当前AI的智商下就不成立。不管多酷炫、别人多么吹捧但对办理你设想的问题都没意义。
其次是要理解，任何一个角色的成立要涵盖对应角色的N多方面。
用AI来做亮眼的Demo，和用AI做真正能用的产品，两者的难度不在一个数量级，虽然看着都是差不多的东西。这便是一样平常镜头和哈勃望远镜的镜头的差异。
这种测试结果也可以标识从产品角度看到的AI的真实进展。每每和某些媒体上来的认知有很大偏差。
落地时里面的项目和繁芜度当然须要进一步增加。
但如果真想用AI，那现在开始就须要建立你自己的测试集，并且在模型还不稳定的时候定期测试。
假设这个测试集里面的数据采样足够丰富，再加上一个对接到各个大模型的测试框架，那在你的领域你会比任何人都威信，不用听任何人的。
这便是之前说的一手体验。
这里面对一样平常人有点寻衅的倒不是提示词怎么写，这部分资料比较多，反复测试可以找到办理方案，最不济还可以问AI。
麻烦一点的是怎么组合各种算法。
不是所有的时候都只用大模型一种算法就行的。
这部分只能陆续磋商，没有唯一办理方法。
限定
上述方法现在可以用于支持一些比较大略的角色。
但由于角色自身的行为模式还是基于规则，只能在限定的流程框架里面完成任务。
如果角色过于繁芜，可能还须要进一步的AI进步，暂时可以先别整。
但这已经能够打造一些和过去不一样的运用了。
五、小结
终极再总结下图灵测试2.0的全过程：先定义你认为有商业代价的角色，然后依据角色挖掘它的内涵，详细成相应的图灵测试2.0的测试集，然后就反复测试各种模型。如果能通过，那从技能角度角色也成立，产品可以启动。否则就得等等。回到现场的一手体验，是AI产品的最最关键的出发点。
专栏作家
琢磨事，微信"大众年夜众号：琢磨事，大家都是产品经理专栏作家。声智科技副总裁。著有《终极复制：人工智能将如何推动社会巨变》、《完美软件开拓：方法与逻辑》、《互联网+时期的7个引爆点》等书。
本文原创发布于大家都是产品经理。未经容许，禁止转载。
题图来自 Unsplash，基于 CC0 协议
该文不雅观点仅代表作者本人，大家都是产品经理平台仅供应信息存储空间做事。