北京理工大学沈国震教授团队在动、静态解耦的仿生动态视觉传感芯片领域取得重要进展
近日，北京理工大学沈国震、王卓然、冉文浩团队联合香港城市大学何颂贤团队，在《Advanced Materials》发表了题为 “Differential Image Sensor with Decoupled Static and Dynamic Outputs” 的研究论文。
该研究提出一种具备动静态输出解耦功能的差分图像传感器（DIS），利用差分光电二极管实现了差分与隧穿模式的协同运行与信号解耦。在此基础上，研究团队成功在CMOS芯片上单片集成了分辨率为640×512的动态视觉相机。通过硬件级静态信息滤除与动静态输出解耦，该传感器构建了涵盖稀疏化运动检测、光流提取及三维深度估计的分级视觉处理架构，为低功耗AIoT的视觉应用提供了全新方案。
图 1. 差分图像传感器（DIS）的设计与分级任务实现
随着自动驾驶、机器人和AR/VR等边缘智能设备的快速迭代，视觉系统对低功耗、高集成度以及实时动态信息处理能力提出了更高要求。传统CMOS传感器仅捕获静态亮度，提取动态信息依赖高能耗、高时延的片外差分运算；而基于阈值触发的动态视觉传感器（DVS）虽能输出稀疏事件流，但丢失了光强变化的瞬态振幅信息，且高像素电路复杂度限制了阵列集成密度。因此，如何在确保与大规模读出集成电路（ROIC）高度兼容前提下，通过精简的像素结构完成动、静态特征分量的高效解耦，仍是当前该领域面临的核心挑战。
针对此挑战，研究团队基于宽谱响应、低温加工的AgBiS2纳米晶材料，采用 “一电容-一光电二极管”（1C-1PD）的精简像素架构，构筑了超薄介电势垒层的差分光电二极管（DPD）。在自驱动（V = 0）差分模式下，器件利用介电层在光强增强与减弱过程中的瞬态极化与去极化效应产生双极性电流脉冲，在有效抑制静态背景的同时，原位提取出高稀疏度的动态信息（极性与振幅）。在外加反向偏压下，电场增强引发隧穿效应使其切入隧穿模式，输出连续直流平台电流，实现静态信息的按需提取。器件响应速度达3.2 μs，实现了254 - 1342 nm的超宽谱探测，并具备122.7 dB的线性动态范围和10-8W/cm2的光强变化检测极限。
该器件精简的双端架构表现出与传统CMOS及TFT读出电路的优异适配性。团队在64 × 64及256 × 256的TFT读出芯片上完成阵列单片集成，捕捉了复杂多维真实场景的实时差分运动图像；随后，进一步在CMOS ROIC平台上制备了640×512的高分辨率动态视觉相机，实现了高清边缘捕获与感内差分计算成像，进一步验证了该传感器迈向工程化应用的潜力。
团队进一步构建了资源自适应分配的分级视觉处理架构。系统在初始的低功耗差分值守状态下，通过浅层前馈神经网络（SNN）处理感内过滤的高稀疏数据流，仅进行基础的感兴趣区域（ROI）检测与目标智能唤醒，大幅减轻了边缘端算力与存储负担。得益于对静态背景的抑制，该阶段浅层网络特征稀疏度高达82.6%（整体达68.9%），在显著降低边缘端算力与存储消耗的同时，为后续任务奠定了轻量化数据基础。
当系统被目标成功唤醒后，切入高阶机器视觉任务：首先利用深层网络进行精细的运动追踪与方向识别，在多场景下实现了超98%的准确率；其次，在时空相关光流估计中，直接利用稀疏化动态成像，高效提取运动矢量，免去了传统双帧片外差分的冗余计算；进一步地，通过按需激活隧穿模式引入低频静态纹理，系统将高频稀疏动态图像与低频静态图像进行时空特征深度融合，实现高质量单目深度地图重构。这一跨维度、分级递进的机器视觉系统级验证，全面展现了该芯片在智能监控、自主导航及机器人控制等边缘AIoT场景中的广阔前景。
该论文第一完成单位为北京理工大学。白小姐论坛 沈国震教授、王卓然教授，前沿交叉科白小姐论坛 冉文浩副教授及香港城市大学何颂贤教授为共同通讯作者；北京理工大学博士研究生梁业港、苏州大学博士研究生袁琳、南京信息工程大学刘毅博士为共同第一作者。
图 5. 差分-隧穿模式解耦与单目深度估计
论文详情：Yegang Liang+, Yi Liu+, Lin Yuan+, Wenhao Ran*, Shukun Li, Zeke Liu, Yang Song, Bin Wei, Qingsong Deng, Min Xia, You Meng, Zhuoran Wang*, Johnny C. Ho*, Guozhen Shen*. Differential Image Sensor with Decoupled Static and Dynamic Outputs. Advanced Materials, 2026.
论文链接：//doi.org/10.1002/adma.73884
