视觉检测领先者
全国咨询热线:13812953225

中科院取得多模态神经感知研究进展有助研发高智能机器人

发布时间:2022-08-08 05:35:51 人气:4 来源:爱游戏体育注册地址  作者:爱游戏体育注册首页

  图1生物躯体感觉系统与人工体躯体感觉系统,a为人手感知杯子的温度、重量和水杯形状的示意图;b为由MFSN阵列和SNN分类器组成的人工躯体感觉系统模拟触觉感知的示意图,图片来自中科院微电子所

  前述团队共同研发了一种结构紧凑的多模态融合感知脉冲神经元(MFSN)阵列,并将其与脉冲神经网络(SNN)结合,构建了一种人工多模态感知系统。该成果使构建高效的多模态脉冲感知系统成为可能,为发展高智能机器人技术提供了新思路,并发表在国际材料领域期刊《先进材料》(Advanced Materials)上。

  与单模态感知相比,多模态融合感知在评估物体属性和提高物体识别精度方面具有明显优势。在传统的人工感知系统中,多模态信息的处理多采用串行计算架构,传感信号需转换为数字模式才能被处理器处理,产生较大功耗和通信带宽开销。

  此外,传统半导体技术在脉冲域构建多模态感知系统方面,还面临着器件集成和电路复杂性方面的挑战。因此,迫切需要开发更高效的多模态融合感知硬件方案。生物感知系统具有并行分布式感官信息处理、低能耗、高容错性等特点,显示出克服传统困境的重要潜力。

  此次,中科院微电子所刘明团队和复旦大学刘琦团队研发了结构紧凑的多模态融合感知脉冲神经元(MFSN)阵列,该阵列由异质集成的压力传感器和NbOx忆阻器构成(图1b)。其中,压力传感器用来感知压力,NbOx忆阻器用来产生脉冲输出并感知温度变化。当压力和温度两种激励同时作用于MFSN时,多模态的模拟感觉信息可以融合为一个脉冲序列,显示出优异的数据压缩和脉冲转换能力。

  此外,研究人员通过解耦输出脉冲的频率和振幅,还可从融合信号中获得独立的压力和温度信息,支持了神经元对于单模态信息的保真度和多模态感知能力。团队进一步将MFSN阵列与脉冲神经网络结合,构建了一种人工多模态感知系统,成功模拟了人体躯体感觉系统中的多模态信息(温度和压力)感知和多模态物体(即不同温度、重量和形状的物体)的分类能力。

在线留言

看不清?点击更换看不清?
在线客服
联系方式

热线电话

13812953225

上班时间

周一到周五

公司电话

13812953225

二维码
线