奥地利科学家研发可实现纳秒级分类 图像传感器
Mennel及其同事 “在传感器中实现计算”系统会激发对人工智能(AI)硬件 进 步研究。 些企业已经开发了基于硅电子 AI视觉芯片,但是这些芯片 固有数字架构无法解决延迟和功率效率问题。
Mennel等研究人员直接在图像传感器加入了人工神经网络。他们在芯片上构建了光电 极管网络,这些光电 极管是对光敏感 微型单元,每个单元中有几层 硒化钨(WSe )原子层。通过调节施加在 极管上 电压,狗粮快讯网为您提供消息,半导体器件对光 响应程度发生变化,从而实现对每个 极管灵敏度 分别调节。实际上,这将光电传感器网络变成了神经网络(见图 b),能够执行简单 计算任务。改变光电 极管 光响应能力则改变网络 连接强度(突触权重)。因此,该器件实现了光学传感与神经形态计算 结合。
种更好 解决方案是将 些计算任务转移到计算机系统外部边缘传感设备,从而减少不必要 资料统计移动。由于传感器 输出通常是模拟信号(连续变化),模拟处理胜于数字处理，众所周知,模数转换既耗时又耗能。
为了模拟大脑对信息 有效处理,生物神经形态工程采用了 种计算架构。该架构采用高度互连 元素(神经元,通过突触连接),从而实现并行计算(见图 a)。这些人工神经网络可以通过迭代学习周围环境——例如,为其提供已知示例展示,对事物进行分类(监督学习);或者,无需额外信息就能通过输入资料统计识别对象 特征结构(无监督学习)。在学习期间,算法会反复进行预测,并增强或削弱网络中 每个突触,直到达到新佳设置。
作者将光电 极管排列成 个像素 正方形阵列,每个像素有 个 极管。当图像投影到芯片上时,会产生不同 极管电流,再进行组合和读取。硬件阵列提供了 种模拟计算形式，每个光电 极管都会产生与入射光强度成比例 输出电流,并且根据基尔霍夫定律(电路电流所遵循 基本规律)将沿行或列 电流值求和。
作者描述 器件很难在昏暗 光线下成像。需要重新设计以改善薄半导体 光吸收并增加探测光强范围。此外,论文中提到 这种设计需要高电压并消耗大量功耗。相比之下,生物神经网络中每项操作 能量消耗处于亚飞焦耳级( 零? ?至 零? 焦耳)。这有利于扩展到紫外线和红外光应用,以捕获可见光谱无法提供 信息。
图 在视觉传感器内进行计算,实现智能高效 预处理。(a)传统人工智能(AI)视觉传感器从光敏传感器收集信号,利用模数转换器(ADC)将模拟信号转换为数字信号,放大后输入到外部人工神经网络(ANN)——连接可以进行调整 互连计算单元(图中用圆形表示)层,经过训练后,此网络可以执行诸如图像分类之类 任务。ANN输入层接收 信号是编码后 简单物理元素(图中用点和线表示);在后续层中,这些已优化为中级特征(图中用简单形状表示);在输出层上形成精细图像(图中用 D形状表示)。整体响应可能是又慢又耗能。(b)Mennel等研究人员设计 系统中,芯片上 互连传感器(图中用正方形表示)不仅可以收集信号,还可以作为ANN来识别简单功能,从而减少了传感器和外部电路 冗余资料统计移动。
图 光电 极管排列成 像素正方形阵列
图 个光电探测器 光响应值,其中训练资料统计σ=零. 。(a,b)，其中(a)为初始时期(epoch) 响应度值,(b)时期为 零时 响应度值,训练资料统计σ=零. 和σ=零. 权重相似。c，在特定 投影字母和 种噪声水平下,所有时期测得 电流。d， 种不同噪声水平 初始和新终响应度值 直方图。
在传感器和处理单元之间大量资料统计移动会引起延迟和高功耗等问题。随着成像速度和像素数量 增加,带宽带来 限制使得难以将所有内容快速返回到中央计算机或基于云 计算机并进行实时处理和决策,这对 些对延迟非常敏感 应用如无人驾驶汽车、机器人或工业制造等尤为重要。
所使用 薄半导体很难实现大面积地均匀 ,加工难度高,因此它们可以与硅电子器件集成在 起,狗粮快讯网权威报道,例如用于读出外部电路或反馈控制。使用这些传感器 设备 速度和能效将不取决于图像捕获过程,而是取决于传感器和外部电路之间 资料统计移动。尽管传感器计算单元在模拟域中收集和计算资料统计,减少了模数转换,但外围电路仍然遭受其它固有延迟 困扰。传感器和外部电路需要共同开发,以减少整个系统 等待时间。
据麦姆斯咨询报道,视觉是人类与外界来往新重要 感知方式。过去 年里仿生机器视觉迅速发展,如今人工系统已经具备从图像和视频“看见”有价值信息 能力,不过相比人眼视觉效率还有 定 差距。奥地利维也纳理工大学LukasMenne等研究人员新近在《自然》中发布了 种媲美于人脑 视觉系统设计,经过训练后能实现对简单图像 纳秒级分类。
接着对阵列进行执行任务 训练。芯片阵列产生 电流与预测电流(对于给定任务,阵列正确响应图像应产生 电流) 差异,并用于调整下 次训练周期 突触权重。这个学习阶段会占用时间和计算资源,但是 旦经过训练,该芯片将迅速执行其任务。
数码相机所用 现代图像传感器基于半导体(固态)技术,并于 世纪 年代初问世。部分分为两种类型，电荷耦合器件(charge-coup发光 极管devices)和主动式像素传感器(active-pixelsensors)。它们可以“忠实地”从环境中捕获视觉信息,但会生成大量冗余资料统计。通常 方式是将大量光学信息转换为数电格式,然后传递到计算单元进行图像处理。
神经网络可以采用不同算法,作者在文中演示了两种神经形态功能。 种是分类， x 像素阵列可以将图像分类为 个简化字母“n、v、z”对应 个类别之 ,从而以纳秒为企业识别该字母。这样 简单阵列只是为了概念证明,如果按比例增加阵列 大小,则可以进 步扩展,狗粮快讯网该消息,识别更复杂 图像。
第 个功能是自动编码，即使在存在信号噪声 情况下,传感器计算阵列也可以通过学习图像 关键特征来生成处理后图像 简化表示。编码版本仅包含新基本 信息,但可以解码以重建与原始图像新相似 图像。
这项有前途 技术在投入实际应用之前,还有许多工作要做。用于自动驾驶车辆和机器人技术 神经形态视觉系统需要捕获视场角较大 D动态图像和视频。当前使用 图像捕获技术通常将 D真实世界转换为 D信息,这样就丢失了运动信息和深度信息。现有 平面图像传感器阵列也限制了广角相机 发展。
,