一种受人脑工作机制启发的新型图像传感器,能够同时完成光线探测与数据存储,甚至可以主动"遗忘"不再需要的数据,为未来机器人视觉效率的突破开辟了新路径。
当前数字相机普遍依赖互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD),这类器件负责将光子转化为电子信号,但本身无法存储图像,数据必须转移至独立的存储单元才能进一步处理。
俄勒冈州立大学电气工程与计算机科学教授拉里·程(Larry Cheng)表示:"传统相机传感器在捕捉图像后会立即'遗忘',除非将信息传输至单独的存储组件。我们的器件不仅能'看',还能'记住',更重要的是,它能逐渐'遗忘'。这种渐进式遗忘是该器件一项关键且极为重要的特性。"
拉里·程与团队成员上月在《先进功能材料》期刊上发表了对该器件的详细描述。该器件属于光电晶体管,不同于以往逐帧分析视频流来检测运动目标的AI图像识别算法,俄勒冈州立大学团队开发的器件会存储照射到其表面的光强变化历史记录,从而标记出感兴趣的变化规律。器件的记忆持续时长可根据具体需求进行调整。例如,以每小时250公里飞行的无人机只需记录短暂的变化轨迹,而监视门口是否有可疑人员徘徊的门铃摄像头则需要更长的记忆序列。
拉里·程表示:"记忆时间尺度的可调节性是我们这一方案的核心优势,使同一传感器能够适应不同的AI视觉任务,同时提升速度与能效。"
他还补充说,直接在传感器端完成基础处理的能力,有望大幅降低能耗。商用摄像机需要在传感器、存储设备与处理器之间频繁搬移数据,运行图像识别算法的能耗相对较高。
阵列结构
研究团队构建的原型器件为4×4像素阵列,尺寸约与U盘相当。阵列顶部覆盖了一层透明的有机光吸收材料,用于将入射光转化为电荷。
拉里·程解释,当光子照射到光活性层时,会产生电子并形成空穴。电子被传输至由铟镓锌氧化物(IGZO)构成的底层晶体管沟道,而空穴则是器件记忆功能的核心所在。
"由于光活性层中存在能量势垒,空穴被困在孤立的有机半导体聚集体中。即使在光线关闭后,这些被困空穴仍会持续以静电方式调制晶体管沟道,使器件得以保留近期光照的记忆。"拉里·程说道。
电荷量会随时间逐渐衰减,但研究人员通过向光活性层施加电压,可以改变记忆的持续时长。施加正电压时,被困空穴会被推离晶体管沟道,削弱其作用并加速衰减,从而实现更快的"遗忘";施加负电压时,空穴则被拉近晶体管沟道,减缓降解过程,使器件能够将记忆保持数小时甚至更长时间。
"可调节的记忆机制使同一器件能够根据不同应用场景调整时间响应,从追踪快速变化的事件到存储较长期的视觉信息皆可实现。"他同时透露,有机光活性层的记忆特性最初是一次意外发现。
研究人员选用铟镓锌氧化物晶体管,是因为其对可见光具有透明性,不会参与光吸收。
"这将电学传输与光感知功能解耦,后者由有机光活性记忆层单独负责。"拉里·程说。IGZO因电荷传输速度快、漏电流低等特点被广泛应用于显示技术,且与大面积制备工艺兼容。两种材料的结合,使每个像素能够在单一器件内同时实现光探测与近期光照记忆的存储。
拉里·程表示,该器件的工作原理受到人脑运作机制的启发——晶体管中的电荷类似于神经递质多巴胺,后者可增强突触间的连接强度,进而巩固记忆。
"我们目前的工作在器件层面验证了这一概念,并进行了简单的成像演示。下一步是将该技术扩展至更大规模的像素阵列,并开发集成成像原型,以展示实时时序成像与片上传感器处理能力。我们希望在不久的将来实现这些目标。"
Q&A
Q1:这款仿脑光传感器和传统相机传感器有什么区别?
A:传统相机传感器(如CMOS或CCD)捕获图像后无法自行存储,数据必须转移到独立存储单元才能处理,能耗较高。而这款新型光电晶体管传感器可以同时完成光线感知与数据存储,无需频繁在传感器、存储和处理器之间搬移数据,能够显著降低能耗并提高处理速度,更适合AI视觉任务。
Q2:这款传感器的"渐进式遗忘"功能是如何实现的?
A:传感器的记忆功能依赖于有机光活性层中被困的空穴。光线关闭后,空穴仍持续调制晶体管沟道,维持光照记忆。通过向光活性层施加不同电压,可控制记忆时长:正电压加速空穴衰减,实现快速遗忘;负电压减缓衰减,使记忆保持数小时甚至更长。这种可调节机制使传感器能适应不同应用场景的需求。
Q3:这款光传感器目前处于什么研发阶段,未来有哪些应用方向?
A:目前研究团队已在器件层面完成概念验证,构建了约U盘大小的4×4像素阵列原型,并进行了简单成像演示。下一步计划将技术扩展至更大规模像素阵列,开发集成成像原型,实现实时时序成像与片上传感器处理。潜在应用包括无人机视觉、门铃摄像头等对速度和能效要求较高的AI视觉场景。
好文章,需要你的鼓励
Savi Security由Patrick和Ryan Coughlin兄弟创立,融资700万美元,并正式推出iOS和Android应用。该应用可实时筛查短信、语音邮件和来电,识别AI生成的诈骗内容。其核心功能是通话实时监控,用户可在可疑通话中邀请AI助手同步监听,分析行为特征。产品以家庭为单位收费,每月8美元,不限用户数量。FTC数据显示,2025年冒充诈骗造成损失高达35亿美元,是2020年的三倍。
香港中文大学(深圳)与字节跳动联合提出FlexiSLM,首个支持动态与可控帧率的语音大模型,在输入输出两端均实现自适应帧合并,6.25赫兹下推理速度提升一倍,语音对话质量超越同规模固定帧率模型。
安全公司Synacktiv披露了Argo CD中一个未修复的高危漏洞,影响其repo-server组件的未认证gRPC端点。攻击者若能访问该端点及Redis数据库端口,可执行恶意命令、篡改部署数据,并在启用Auto Sync时自动推送恶意配置。由于Helm chart部署默认未启用网络策略保护,集群内任意受损Pod均可触发攻击。专家建议企业将Argo CD视为零级控制平面组件,实施严格的东西向流量隔离与特权访问管控。
这项研究提出DataEvolver框架,把被丢弃的"不合格训练图片"转化为改进数据收集策略的反馈,让AI文字图像生成训练数据的构建流程能自我进化,在相同数据量下显著提升文字渲染质量。