”思维字幕”问世:所见所想可直接转化为文字!
11月5日,发表在《自然》新闻(Nature News)的文章显示,科学家创造出了”思维字幕”技术,可以将所见所想直接转化为文字描述。
日本 NTT 通信科学实验室的计算神经科学家报告的这项“思维字幕”的新技术,能够利用大脑活动数据生成描述性句子,以极高的精确度捕捉人们眼前所见或心中所想的画面。
这项技术首先利用一个深度语言 AI 模型分析了超过 2000 段视频的文字描述,将每段视频转化为独特的数字“意义特征”。随后,研究者基于 6 名被试的大脑扫描数据对另一款 AI 进行训练,令其学会在他们观看视频时识别与每个意义特征相匹配的大脑活动模式。一旦训练完成,该大脑解码器便能读取一个人在观看视频时的新脑部扫描数据,并预测其含义特征。
随后,此前构建好的 AI 文本生成器会寻找与从个体大脑解码出的含义特征最为接近的句子。在后续测试中,被试不论是观看视频还是回忆此前看过的视频片段,这套 AI 解码系统均能根据被试的大脑扫描数据生成对应的文字描述。
由于这项技术采用的功能性磁共振成像是非侵入式手段,因此有望改善未来的脑机接口技术,更方便地将人类非言语思维表征直接转化为文本。
热门微博 科技快讯 人工智能 黑科技


