导读

据统计，我们日常生活中的80%的信息都通过眼睛采集汇聚到大脑。近年来，机器视觉技术有了巨大的飞跃，现在正成为各种智能系统的组成部分，包括自动驾驶汽车和机器人。

来自奥地利的维也纳工业大学光子学研究所Lukas Mennel研究团队近日在超快机器视觉成像取得重要进展，他们提出利用二维材料构建神经网络光电图像传感器阵列，无需将光学图像转化为数字信息格式便能够同时实现光信号采集和处理，并且能够实现ns级别的实时图像采集运算，拥有百万量级的每秒信息处理量能力。

这项工作对于超快光谱分析和超快机器视觉成像的实现提供了一个新的思路。

图1 ANN光电传感器阵列（中间）

研究背景

现代图像传感器，例如数码相机中的图像传感器，是上世纪70年代基于半导体技术开发出来的，它们主要分为两种类型，即电荷耦合器件和有源像素传感器。这些传感器自从被制造出来就是固定的形态和性能，能够感知所有照射到元件上的光学信息，因此那些不必要的光学信息就造成了传感器资源的浪费，然后这些海量的光学信息通常被转换成数字电子格式并且传递给后续的计算机进行图像的处理和分析，传感器和处理单元之间大量的数据传送也导致延迟和高功耗。

随着现代技术例如人工智能和5G的发展，自动驾驶和机器人等需要快速成像和处理大量的成像数据，人们迫切需要一种短时延高效率的视觉成像技术。

同时，我们知道模拟信号到数字信号的转换既耗时又耗能。很自然想到一个较好的解决办法：将一些计算任务转移到计算机系统外部的感知设备上，减少不必要的数据移动。由于传感器通常产生模拟信号输出，因此如何将感知任务和计算任务兼容到传感器上面成为了一个关键问题。

在另一方面，如何增强计算机处理信息的能力也是一个问题，通过模拟生物大脑处理信息的形态和原理，科学家提出了一种类人脑的数据处理算法：人工神经网络(artifcial neural network,ANN)。

这些人工神经网络可以通过迭代从周围环境中学习，例如：学习对已知的例子进行分类(监督学习)，或者从没有额外信息的输入数据中识别一个对象的特征结构(非监督学习)。在学习过程中，算法不断地进行预测，增强或减弱网络中的每个突触(各层之间的权重)，直到达到最优设置。简单来讲：人工神经网络就是模拟大脑对信息的处理过程，通过对已知数据之间的关联和特征进行学习从而获得对未知数据进行处理的能力。

人工神经网络作为一种典型的机器学习算法在许多领域都取得了巨大的成功。执行机器学习任务所需的计算资源非常苛刻。因此，提供比传统计算机架构更好的性能和能源效率的专用硬件解决方案已经成为一个主要的研究重点。

然而，尽管在电信号或光学信号的有效神经形态处理方面已经取得了很大进展，但将光学图像转换成电信号域仍然是一个瓶颈，特别是在对时间要求苛刻的应用中。模拟神经生物学结构的成像系统可以帮助我们克服这些缺点。

综合以上背景，Lukas Mennel团队提出利用二维材料WSe2作为基本的光电转换元件，构建了神经网络图像传感器阵列，即：将原本计算部分的ANN算法集成到了硬件本身的特性上面，这样传感器阵列兼具图像感知和处理的功能，同时没有了数据迁移，减小了能耗和时延。

转自：长光所Light中心 中国光学