大数据文摘作品

编译:惊蛰、一针、龙牧雪

想象一下,如果电脑可以把你心中所想表现出来会若何。

听起来觉得太迢遥?然而最近,四位来自日本京都大学的科学家的研究成果,让这样的想象离落地更进一步。
Shen Guohua、Tomoyasu Horikawa、Kei Majima 和Yukiyasu Kamitani在BioRxiv上揭橥了他们利用AI来解码人类思维的研究成果。

日本科学家的AI读心术解码脑电波还原人眼所见

机器学习以前就曾被用来研究脑部扫描(MRI,即核磁共振)。
给人类看一些大略的图像,比如黑白字母、大略的几何图形,AI能根据脑部活动的旗子暗记图还原人眼所见的图像。
这一研究成果曾揭橥在著名刊物Neurons上。

大数据文摘公众年夜众号后台对话框内回答“脑电波”即可下载以上两篇论文。

还原效果还不错

不过这次,京都的这些科学家们开拓了一种新技能,利用人工智能中的深度神经网络(deep neural networks) 来“解码”思想。
这种新技能让科学家们能够解码更繁芜的分层图像,即拥有多层颜色和构造的照片(比如一只鸟,或一个戴着牛仔帽的人)。
看一下动图。
左边是人眼看到的图像,右边是机器还原的图像。

有点胆怯= =

“我们一贯在研究通过不雅观察人类大脑活动来重修或重现图像的方法。
”个中一位科学家Kamitani表示,“以前我们假设图像是由像素或大略的形状组成的,但众所周知,大脑处理视觉信息时会分层次地提取不同层次上繁芜度各不相同的的特色或其他信息。

新的AI研究成果可以让打算机检测物体,而不仅仅是二进制像素。
Kamitani说:“这些神经网络构成的AI模型可以用来表示人脑的层次性构造。

在这项持续10个月的研究中,研究职员给三位受试职员分别展示一段韶光的自然图像(比如鸟或人的照片)、抽象几何形状或字母。

第一排是受试者所见到的图片,

后面几排是AI根据3位受试者

对这些图片的不同印象天生的还原图。

在一部分测试中,当正在不雅观看25张图像中的一张时,研究职员会丈量记录受试职员的大脑活动。
在另一部分的测试中,对大脑活动的记录是在之后受试职员回忆图像时进行的。

丈量完大脑活动之后,打算机把网络到的信息逆向解码(reverse-engineering)并天生受试职员心中所想的图像。

下面展示的流程图由京都大学Kamitani实验室的研究小组制作,并一步一步分解了这种可视化图像是如何被解码天生的。

下面两张图显示了受试者不雅观看自然图像或者字母的图像时大脑活动的打算机重修结果。

用DGN技能天生的其他一些自然景不雅观图像的重修结果。

黑框和灰框的图像分别是原图

和用DNN网络基于VC活动数据重修之后的图像,

三张重修的图片分别来自三位受试职员。

字母序列的所有重修结果

在另一组受试者不雅观看图片后的回忆过程中进行的脑电波丈量实验上,科学家们又有了新的打破。

Kamitani说:“和以前不一样的是,采取我们的方法可以重修人类在逐渐回顾过程中脑海里涌现的那些模糊的影像。

如下面的图表所示,当试图解码人们回忆图像过程中产生的脑旗子暗记时,AI系统重修出的结果就没那么好。
那是由于,比起自然图像或字母,人类更难完备确切地记住猎豹或鱼的形象。

一些含繁芜形象的图片的重修结果。

右下角的图片作为空缺对照,

是根据测试过程中未被展示图片时受试产生的脑旗子暗记重修的。

“涌现这样的结果是由于,那个时候大脑的被激活的程度变弱了。
”Kamitani阐明道。

他还提到,随着技能的精确度正在不断提高,这一研究成果潜在的运用前景无可限量。

人们可以大略地通过想象来绘制图片或进行艺术创作;你的梦想可以被打算机画出来;可以通过形象化精神病患者的幻觉帮助改进对他们的照顾;而脑机接口可能有一天会实现人与人之间进行想法或脑海中的图像的直接互换,而不再限于措辞。

虽然电脑读心这种事现在听起来可能来自利用脑电波互换的三体星人,但这些日本研究职员在这一联系大脑与打算设备的前沿研究中并不是孤军奋战。

比如,前GoogleX员工 Mary Lou Jepsen致力于在十年内打造一顶可以实现心灵感应的帽子,而企业家Bryan Johnson正在考试测验构建可以植入大脑以改进神经功能的打算机芯片。
更不用说Elon Musk的脑机接口公司Neuralink。

原文地址:

https://www.newscientist.com/article/2162862-ai-reconstructs-whatever-you-see-just-by-reading-a-brain-scan/amp/?__twitter_impression=true